火山引擎4K修复影片入选北影节相关技术在CVPR2024夺冠

2024-04-23 04:16 来源：网络点击：

火山引擎4K修复影片入选北影节相关技术在CVPR2024夺冠

4 月 18 日，第十四届北京国际电影节正式开幕。由中国电影资料馆、抖音和火山引擎联合 4K 修复版的港片《A 计划》与《卖身契》入选 " 致敬 · 修复 " 单元，并于 4 月 18 日、19 日进行放映。

4K 版《A 计划》《卖身契》电影海报

《A 计划》《卖身契》分别上映于 1983、1978 年，距今已四十多年。2023 年 8 月，中国电影资料馆、抖音和火山引擎共同发起了 " 经典香港电影修复计划 "，宣布将 4K 修复 100 部香港电影。此次放映的这两部影片就来自上述项目，影片的原始拍摄底片在香港完成 4K 规格扫描，整个修复流程包括中国电影资料馆的物理和数字修复，火山引擎的 AI 技术修复，以及双方合作的艺术修复等环节。

火山引擎是字节跳动旗下的云服务平台，曾分别携手西瓜视频和抖音，完成 100 部国产经典动画和 Beyond 经典演唱会的 4K 修复。

在 " 经典香港电影修复计划 " 中，火山引擎首次将 AIGC 技术应用于老片修复场景，借助视觉大模型强大的生成能力和丰富的先验知识，实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。

" 一方面，大模型生成能力强，借助 Stable Diffusion 大模型的生成能力，修复效果优于之前的算法，画面细节更自然；另一方面，大模型具有非常强的信息结构化能力，在学习了海量数据对后，可以在其中提炼出大量的知识并 " 存储 " 在模型参数之中，其生成空间更丰富，能够应对更多的修复场景。" 火山引擎视频云技术架构总监王悦介绍。

目前，火山引擎已针对视觉大模型在一些场景下容易生成伪影或者虚假纹理，以及视频多帧场景的稳定性等问题，在算法和工程上进行了一系列优化，提升了大模型在 4K 场景下的处理效率并兼顾算力成本。

随着修复工作的深入，火山引擎多媒体实验室通过引入自适应特征加权模块、无监督学习与有监督学习相结合、文字语义先验等训练手段，对视觉大模型进一步的调优，在极低画质人像重建、褪色胶片颜色调整和文字缺失笔画生成等几个方面取得了较好效果。

修复前 vs 修复后

褪色胶片颜色调整前后对比

为保持 " 修旧如旧 " 的原片胶片质感，技术团队在提升受损图像纹理的平滑度、夜景噪声去除等效果的同时，还特意研发了自适应质感增强方案，添加模拟胶片噪声的颗粒。

与此同时，解决老片修复中的各项实际问题，也为火山引擎多媒体实验室的学术研究提供了价值。在计算机视觉顶级会议 CVPR 2024 中，火山引擎多媒体实验室一举夺得了 NTIRE（图像恢复与增强的新趋势 New Trends in Image Restoration and Enhancement）赛道的冠军，其夺冠方案是基于提示学习（Prompt Learning）的图像增强恢复，主要解决的问题，就是修复类似于老片中大量存在的不可预知的复杂损害（未知复杂退化）。

" 老片修复这件事情，其实我们每天都在做。" 王悦说，老片中常见的清晰度低、流畅度低、色彩失真、有瑕疵等画质问题，在抖音的海量投稿里也广泛存在。通过服务抖音，火山引擎在老片修复方面已经形成了一套较为完整的智能处理技术方案。

公开资料显示，电影修复工艺繁杂琐碎，一位经验丰富的修复师需要 1 个月才可以修复完成一部影片。近些年，通过深度学习等 AI 技术，大幅提升老片修复的质量和效率成为可能。

香港城市大学计算机系助理教授马柯德表示，当前人工智能技术的快速发展显现出巨大的潜力，未来不仅一些老电影中音画不同步的问题将借由 AIGC 得到更有效的解决，甚至有望让 AI 学会自动评判修复效果。

老港片承载着许多观众的青春记忆，成龙在《A 计划》中的精湛演技与惊险动作场面，以及许冠文在《卖身契》中幽默诙谐的表演，都曾给观众带来无数惊喜，伴随修复技术的提升，这些旧时光里的经典将重新焕发生机。

在《A 计划》的映前活动环节，曾任成龙中国副总裁的资深电影制片人孙嵘现场与影迷分享，成龙此前认为《飞鹰计划》里隧道的光不够亮，" 经典香港电影修复计划 " 团队根据意见调整，弥补了他当年创作的遗憾。