网易云音乐鲸云AI为新华社微电影《桥下人家》提供独家智能配乐解决方案
今天，新华社音乐视频部、新华社贵州分公司共同制作的微电影《桥下人家》上线，网易云音乐视频实验室鲸鱼云AI为这部电影提供了独家的视频音乐解决方案，这也是鲸鱼云AI作品首次视频音乐场景的实际应用。
贵州西部乌蒙山是典型的喀斯特地形发达地带，峡谷险峻，洞窟群生，山中北盘江隔断云贵两地，长期以来给当地村民的旅游和安全带来了很大的问题。随着“世界最高桥梁”北盘江大桥的开通，天沟改变了通道，不仅为村民开辟了出路，也拓宽了当地村民发展致富的思路和道路。微片《桥下的人》以当地真实人物和事件为题材，以主角小马哥和其他村民的经历为基础，表达了北盘江大桥建设给当地村民带来的巨大变化，反映了党的十八大以来党和国家事业取得的历史成就和变革。影片中小马兄原型为贵州省六盘水市水城区都格镇龙井市区村民马选军，其他人物为牧羊人、孙妹等也由当地村民本人出演。据了解，网易云音乐音频视频实验室的AI编曲能力，可以实现高匹配、快速响应的AI编曲创作，符合《桥下人》这部作品时间紧张、任务繁重的后期制作要求。网易云音乐鲸鱼云AI针对配乐难度提供了独特的AI创作解决方案，通过视频样本、文本脚本理解视频内容，结合视频情节、人物情绪、环境氛围的音乐，包括关键帧卡点、入口处及过渡音乐裁剪等。在技术实现中，鲸鱼云AI音轨技术采用视频帧速率检索技术，正确标记视频中动态差异较大的相关段落，从而确定关键时间节点，通过时间点的串联确定视频整体的动态曲线.之后，根据视频的标签主题定位视频整体的调性，也包含语气的大致范围，加上前面得到的视频动态曲线，结合视频音轨的音乐复杂度曲线进行定位。之后运用AI伴奏技术，输入确定好的主题，自动渲染出与该主题适合的BGM。以微电影《桥下的人家》AI配乐为例，这款BGM充分考虑了电影情节的动态发展和人物的情感变化，加上音乐的复杂度曲线，再通过进一步修改编排、旋律、和弦、节奏、风格等元素，达到与电影一致的效果。由于机器端到端的一键生成总是存在缺陷，人工智能伴奏编辑界面为创作者提供了实时修改功能，如编辑和弦进度、旋律线条和节奏，并提供了数十种不同的音乐风格，实时渲染原始曲目。该界面的简易模式进一步支持通过拖动音乐的复杂度曲线来完成自定义编辑。作为一支年轻的团队，网易云音乐视频实验室的大量成员来自国内外知名高校和实验室。该团队自成立以来就根据音乐AI领域的需求，深入技术，布局涵盖音乐内容分析、自动编曲、AI编曲、歌声合成、歌声美化、音视频交互等。此前，网易云音乐音频视频实验室在国际音频搜索领域顶级大赛MIREX上以“旋律提取”技术夺冠，刷新世界纪录，提出的“鲁棒”指纹算法方案也成功上线，为网易云音乐的所有业务提供了稳定的声纹识别服务。而《桥下人家》电影配乐属于智能音乐制作的大领域，此次通过与新华社的合作实践，团队探索了音画互动的编辑互动逻辑，进一步激发团队成员创新地完成了部分技术的构建和沉淀。为后续更有价值的应用场景提供了难得的探索机会。作为中国最大的音乐社区和最受年轻一代喜爱的音乐平台，网易云音乐致力于为用户提供最佳的音乐播放体验。未来，网易云音乐将不断优化平台音乐内容生态和聆听质量，让用户充分感受音乐之美。