跳到正文

用 AI 为视频配乐、加音效和混音

写出跟随剧情、而不是在底下循环的音乐需求,检查模型实际生成了什么,并围绕人声混合音乐、环境声和音效。附八段真实配乐和它们背后的需求描述。

更新于

大多数 AI 音乐听起来像素材库音乐,因为人们就是像要素材库音乐那样去要它的:“欢快的企业风配乐,60 秒”。视频音乐要跟着画面里发生的事走才有效:有变化时进入,有人说话时让开,故事结束时收尾。下面是 Bald Rhino 的智能体用 ElevenLabs Music 为真实制作项目创作的八段配乐,每段都配着它所属制作项目中的一个场景。时间轴是这段音乐实测的响度,每个刻度标出需求描述要求变化的位置。按下播放,音乐走到哪里,需求描述里对应的文字就会出现。需求描述按发送时的原文(英文)展示。

历史剧 · 3 分钟配乐

青铜时代史诗

要求于 0:00

Opens with near silence and a very low sustained drone, a single deep frame drum heartbeat entering slowly.

0:00 / 3:00

需求描述

Instrumental cinematic score for an ancient Chinese Bronze Age epic drama, 180 seconds, no vocals. Opens with near silence and a very low sustained drone, a single deep frame drum heartbeat entering slowly. A lone bowed string melody (erhu-like, sorrowful, sparse) enters around 20 seconds over the drone. Dry wooden bone clappers punctuate sparingly. Around 70 seconds the music thins to a hush for an intimate dialogue; keep it very quiet and sustained through 70 to 150 seconds with a slow tension rise and low bronze bell tones. At about 150 seconds the frame drum quickens and the strings climb to a sharp urgent build, then a sudden complete stop at 170 seconds followed by a long drone fade. Austere, restrained, dusty, never heroic-pop, no electronic synths.

1. 写下第一个音符之前,先看场景

先带着现有的声音播放剪辑版本。找出关键时刻:一次登场、一个发现、一次犹豫、一个动作、一次反转、一次释放。对每个时刻,决定声音应该在那里开始、增强、收回还是停止。音乐可以揭示什么、撑住一段空间、制造期待、与画面形成反差,或者为一个反应留出余地。它不必一直响,也不必标出每一个剪切点。

在你现有的剪辑里,把每个音乐提示点对准真正引发它的那句台词、那个动作或那个剪切点。重拍或修剪之后,剧本估计的秒数往往就不准了。一个连续的场景可能需要一段横跨好几个生成片段的音乐:一次视频生成结束的位置并不是音乐的分界。不配音乐、只有环境声或一句无伴奏台词的冷开场,也是一种选择。

2. 把需求描述写成随时间展开的变化

只写曲风的需求描述,得到的是一段循环;描述发生了什么的需求描述,得到的才是配乐。说清楚音乐的用途、质感和乐器、节奏感、如何发展以及如何结束。当另一段音乐需要与它衔接时,给出速度或调性。按顺序描述编配,说明哪些东西必须排除,并把对故事无关紧要的细节留给模型去发挥。

黑暗的青铜时代大殿里,一个男人双眼的特写,眼中映着火光。
像讲故事一样写配乐
需求描述

Instrumental cinematic score for an ancient Chinese Bronze Age epic drama, 180 seconds, no vocals. Opens with near silence and a very low sustained drone, a single deep frame drum heartbeat entering slowly. A lone bowed string melody (erhu-like, sorrowful, sparse) enters around 20 seconds over the drone. Dry wooden bone clappers punctuate sparingly. Around 70 seconds the music thins to a hush for an intimate dialogue; keep it very quiet and sustained through 70 to 150 seconds with a slow tension rise and low bronze bell tones. At about 150 seconds the frame drum quickens and the strings climb to a sharp urgent build, then a sudden complete stop at 170 seconds followed by a long drone fade. Austere, restrained, dusty, never heroic-pop, no electronic synths.

  • Opens with near silence and a very low sustained drone

    配乐几乎从无开始,戏剧才有发展的空间。

  • Around 70 seconds the music thins to a hush for an intimate dialogue

    音乐恰好在台词最重要的地方让开。

  • a sudden complete stop at 170 seconds followed by a long drone fade

    结尾是一个戏剧性的选择,所以需求描述就把它写成这样:骤然切到几乎无声。

  • never heroic-pop, no electronic synths

    必须排除的东西也写明了。一个合成器音色一小节就会打破时代感。

当一段音乐需要明确分开的几个阶段、各有自己的时长和编配时,Bald Rhino 会写一份作曲方案,而不是一段话(ElevenLabs 的作曲方案指南):按顺序排列的段落,每段有自己的时长、歌词,以及要包含和要避免的风格,第一段的风格决定整首曲子的基调。对于纯音乐,方案里不要出现可能被唱出来的词,并把 “vocals”(人声)写进每段要避免的风格里。

3. 用变化和对比营造情绪

配乐中的情绪来自变化,而不是重复一个情绪词。下面是可以根据故事调整的出发点,而不是预设:

观众应该感受到 有帮助的声音选择 需要守住的
好奇逐渐变成不安 从稀疏轻盈开始;当发现的意义改变时,让低沉的质感或不稳定的和声慢慢渗入。 不要在观众该起疑之前就把危险说破。
紧张感上升 让重复更紧凑,增加节奏或质感,推迟解决。一个安静而持续的声音也能制造压力。 动作和台词要始终听得清、看得懂。一直满强度就没有上升的余地。
喜悦或庆祝 轻快的节奏、开阔的质感、会回来的主题;让能量呼应角色的动作。 小小的私人喜悦可能更需要克制,而不是一段号角。
惊讶 先建立期待,再打断或撤走;决定揭晓时需要一个重音、一种新质感,还是只用它自身的声音。 渐强音效可能提前泄露惊喜;过大的重音会把发现变成惊吓。
喜剧 让一个自信的主题垮掉,让一次失败的尝试泄了气,让熟悉的动机变了样再回来。 给观众留时间反应过来。不要每句台词都用同样的方式点一下。
亲密、悲伤、释然 让声音变薄,只露出一个小小的声音,简化观众已经熟悉的动机。 音乐不能淹没克制的表演,也不能强迫观众只用一种方式理解一个开放的时刻。

上面的月下初遇就是一个缩影:魔法发生时一阵闪烁的声音,一段稀疏的旋律给两人留出说话的空间,第二件乐器回应第一件,只在结尾才渐强。

4. 检查生成的结果

你在需求描述里写的秒数只是请求,不是结果。上面每段音乐的时间轴都是实测的响度。青铜时代配乐在 1:10 变得稀薄,在 2:50 戛然而止,正是需求描述要求的位置。品牌片要求在 0:50 有 “a breath”(一次呼吸),鼓声退出,但它的电平在那里并没有下降,鼓声所在的高频部分也没有。测量无法告诉你一个变化在音乐上是否成立,所以要去听:在这里,这次呼吸到底有没有出现?

当一个变化必须落在某一帧上时,先在实际音频里确认,再让剪辑去配合音乐,或让音乐去配合剪辑。如果变化没有出现,就重新生成那一段,或者把音乐分段规划。缩短或拼接音乐时要顺着乐句:找到节拍与和声相符的位置,并听一听衔接处,因为在随意的位置交叉淡化,可能会让起音重叠或让两个和弦打架。在计划的结尾之后留足音乐,让它自然衰减,除非戛然而止正是你要的效果。

5. 保持统一的音乐身份

为整部作品选定一个动机、一套音色、一种节奏性格和一个声学空间,并带进每一段音乐。相同的速度和调性有助于衔接,但要检查实际的节拍与和声:数字一样,并不保证两次生成能接得上。当一个想法再次出现时,随着故事的变化改变它的配器、音区或密度;在一段繁密的段落之后只留一件乐器,能让余波清晰可感。

真正的重现要复用你已有的那段音乐。把同样的乐器描述给一次新的生成,并不能复现原来的旋律。当你自己的配乐撑起一个场景时,要让视频模型只生成对白、环境声和音效,不要它自带音乐,免得两段配乐互相争抢。

6. 环境声是地点,音效是事件

把环境声当作这个地点持续存在的声音。在仍处于同一地点的剪切之间让它一直延续,当距离、空间的封闭程度、天气或情境改变时再换:有鸟鸣的河岸、安静下来的同一片河岸、以及事后的河岸,彼此相关却各不相同。一声鸟鸣的停止,就能在任何东西入画之前改变观众的预期。对于循环的背景声,要连续播放几遍,听听衔接处有没有咔哒声、反复出现的事件或淡出。

给每个前景音效写明声源、动作和材质,再写距离、强度和尾音:

A single soft paper page turn, close and dry, in a quiet room;
one turn only, no other sounds.

(安静房间里,近距离、干声的一次轻柔翻纸声;只翻一页,没有其他声音。)

当事件需要各自的时间点或音量时,就分别生成。把能听到的那一刻,也就是撞击声或摩擦声,对准动作,而不是对准文件的开头,因为文件开头可能是一段静音。透视关系要匹配:门后或房间另一头的声音,不应该听起来和摄像机旁边的声音一样近。也不是每个词、每次摇镜或每个转场都需要一声“嗖”。

7. 针对每个时刻最重要的东西来混音

剪辑时把人声、环境声、音效和音乐放在不同的音轨上。然后围绕承载每一段的那个元素来平衡:当台词的意义重要时,把人声推到前面;在没有台词的动作段落,让音乐或音效接手。人声和音乐之间没有通用的比例。当某样东西听不清时,先检查它的电平、时间点以及和它竞争的东西,再决定是否把其他所有东西都调大;把冲突的那一层削薄往往效果更好。

在整句话下方压低音乐,并让压低和恢复都自然。围绕每个词快速而大幅地压低,会让音乐听起来一抽一抽的。在去掉某个声音会留下空洞的地方保留房间底噪,刻意的静默就让它保持静默。只有在平衡没问题之后,才按视频的播放平台设定最终响度:母带处理救不了一段进得太晚的音乐。

8. 完整地听一遍

先连同画面看完整个段落,再单独听你怀疑有问题的那一层。检查进入和退出、乐句结尾、跨剪切的环境声、音效是否同步、每个字是否完整、有没有被掩盖或失真的地方、尾音有没有被切掉。在相同的播放音量下比较不同版本,免得更响的那个自动胜出。如果观众可能用手机看,就用小扬声器、以单声道听一遍:重要的时刻不应该只靠一段低频轰鸣来支撑。