qq音乐音效处理，qq音乐音乐厅音效

声音渲染是音频或音乐播放器最重要的后处理模块之一。 LiveVideoStackCon 2023北京站邀请了——腾讯音乐银河音效开发负责人严振海，介绍银河音效在QQ音乐播放器上的创新应用，包括空间环绕效果和音效制作工具。

文/编辑杨振海/LiveVideoStack

嗨，大家好！我们非常高兴与大家分享一些关于QQ音乐银河音效的技术实践。相信大家都对音效处理很熟悉。广泛应用于各种音频、音乐信号渲染场景。本次分享的重点是音乐播放场景以及如何利用音效来修正和修饰最终的聆听体验。这主要包括四个方面： 1、音效在播放器中的应用：简单介绍音效及其在QQ音乐播放器中的应用。 2.设计空间环绕效果：空间环绕效果一直很受欢迎。用户收听偏好。我们将以空间环绕效果为例分享设计思路。 3、音效制作工具的设计：除了官方设计的效果数量有限外，还有大量的高端用户。他们有强烈的愿望创造自己的声音效果。这就是为什么我们设计并发布了一套音效制作工具供用户使用。 4.银河音效的未来。

-01-

在播放器中应用音效

维基百科对“声音效果”有一个描述性定义。从那里您可以分开两个关键字。一是声音，即音效就是声音。正如左下图所示，工作人员在录音棚中根据电影场景制作了拟音音效，模拟电影中角色发出的各种声音。有听书的场景，但如果是恐怖的话，会添加恐怖音效来渲染气氛。事实上，这种音效更准确的名称应该是强调声音属性的音效。我们也尝试将溪流、波浪、风等音效片段混入音乐中，营造出不同的聆听环境，但这也是银河音效重点关注的另一个关键词。这是指利用均衡器、混响器、压缩器等音效处理方式来实现同一首音乐的不同播放效果。这些技术统称为数字音效技术。

音效的起源可以追溯到音乐混合的模拟时代。在音乐录制和混音阶段，音乐制作人不仅追求现场音乐的真实还原，更注重音乐所营造的情感效果。就像拍照一样，通过添加滤镜来改变照片的风格。声音处理起着类似的作用。经典的音效处理方法主要有镶边、合唱、移调器、移相器等。以镶边为例，我们将向您展示音乐制作人如何在模拟时代创建音效。弗兰格首次出现在披头士乐队的音乐中。当您播放录音带时，有一个称为法兰的盘。使用两个设备同时播放同一首歌曲。然后手动移动其中一个磁盘。该设备具有流畅的播放延迟效果。将此信号与来自其他设备的原始信号叠加，以创建镶边音效。您可以听一下处理前和处理后的音频，感受两者之间的差异。在后续的发展中，音效逐渐从录音端向下游延伸，直到到达播放端。例如，音乐播放器处理解码的PCM 数据。还有扬声器、耳机等硬件终端设备中的音效处理。

QQ音乐集成的银河音效专注于音乐播放场景。在这种场景下，音效的目的可以分为两种。一是弥补播放设备的缺陷。由于播放环境和电声设备固有的缺陷，用户听到的声音信号与音乐家想要表达的效果有所不同。例如，扬声器的平坦度较差，立体声效果不清晰，或者低频再现能力不足。在上左图（红线）中，扬声器的频率响应不均匀导致音乐中出现严重的音染。通过均衡处理，获得更平坦的频响曲线（蓝线），抑制声音的音染问题。在设备自身低频表现能力不足的情况下，还可以利用心理声学中“基频消失”的物理现象，引入虚拟低音来增强人耳的低频感知。

另一个目的更为普遍，是基于审美目的的声音设计。不同的用户有不同的收听偏好。添加或增强某些组件可以增强聆听效果，例如环绕声、低音和人声。为了强调播放效果的差异，常见的音效技术包括扩大环绕声、增强低音、强调人声以及添加人工混响。 QQ音乐官方的很多音效也是为此目的而设计的。还有一种名为“Super DJ”的设计，具有增强音乐节奏的增强效果。任何人都可以体验到治疗前后的变化。

音频文件经过以下模块，直到用户最终听到该文件。 首先，通过互联网将音乐文件下载到移动客户端。然后QQ音乐播放器对其进行解码并获取PCM数据。最后调用播放接口，将音频数据发送到物理声卡进行播放。 QQ音乐音频处理模块主要对播放器解码后的PCM数据进行处理。因此，也称为音频后处理。到这里就结束了与文件存储相关的事情。具体处理流程如下图左侧所示。 PCM数据经过串行结构的信号处理模块，最终输出PCM数据。中间处理模块可以根据业务需求自由组合和适配，以达到理想的效果。

目前，QQ音乐播放器中实现的后处理技术主要有：银河音效和效果，如改变速度而不改变旋律、动态装饰播放页面等。由声音模块衍生出来的几个新功能、智能灯光效果以及与音频和音乐可视化的视觉协作。还有一个有趣的声音事件检测模块。应用于生日启动画面上的吹蜡烛效果。您可以通过麦克风录制声音来模拟蜡烛熄灭的效果。

-02-

空间环绕效果设计2.1

大多数混音工作室的立体声输出都遵循MS 假设。换句话说，由左声道和右声道组成的立体声信号可以分为两部分：中央信号和环绕信号。中心信号通常包括未放置在特殊位置的人声和鼓等成分，而环绕信号包括其他空间放置的乐器。通过调整两者的比例关系，可以获得各种环绕效果。中心比越大，感知到的声像越窄。相反，环绕比越大，感知到的声像就越宽。事实上，这种中置/环绕的划分可以被认为是一种相对粗略的分离。您还可以在此基础上分层各种效果以实现扩展效果。此外，某些信号源甚至更加困难，例如左声道和右声道具有完全相同信号的信号源。严格来说，这不再是立体声信号。用耳机聆听时，可以看到声像几乎集中在中央。然后，应用MS 假设，单通道信号成为中心信号。目前，可以使用多种去相关技术来生成环绕声信号，包括均衡、延迟和混响。将生成的环绕声信号与原始单声道信号叠加，形成左声道信号，并从原始单声道信号中减去，形成右声道信号。经过上述处理后形成的立体声信号的环绕效果将会得到明显的改善。 2.2. 多声道环绕效果

最理想的环绕效果是多声道真实扬声器阵列的环绕效果。在2 声道立体声的基础上，通过添加来自前方的中置信号和来自左右的环绕信号来创建5.1 声道音乐。继续将环绕信号分为左前、右、左后、右后。这就是常说的7.1声道音乐。这是真正的水平扬声器布局。在天花板上再添加四个可创建声场高度信息。基于这个想法，您还可以不断增加空间中扬声器的数量。目前，世界上声道数最高的配置是日本NHK提出的22.2声道扬声器阵列。更熟悉的杜比全景声(Dolby Atmos) 主要是通过7.1.4 扬声器布局来设计和实现的。虽然家庭影院是最有效的，但聆听场景现在越来越多地使用耳机。那么如何增强耳机场景中的环绕效果呢？ 2.3.增强双耳环绕效果

现在我们需要介绍与传递函数相关的HRTF 标头的概念。描述到达双耳鼓膜的空间点源的响应系统。如上左图所示，同一声源通过不同的传输路径到达左右耳，产生的声波也不同。根据这些差异，人耳判断声源的方向。如果我们能找到不同位置声源的HRTF函数，我们就可以模拟来自不同方向的声源的效果。理想情况下，戴着耳机听音乐就像根本不戴耳机一样，耳机中的多声道扬声器阵列营造出环绕的感觉。右下图显示了一种测量头部相关传递函数的方法。提前排列环形扬声器。同时，两个麦克风连接到人耳的两侧，同步拾取声音。当环形阵列摇摆时，可以从空间中的多个位置测量双耳传递函数。除了这种专业的测量方法外，也有在家中进行类似测量的情况。不断移动头部来模拟从不同角度到达您耳朵的声音。通过上述处理，得到了几乎到达双耳所有球面坐标点的HRTF函数。

在传递函数中，利用双耳传递函数对单声道信号进行处理，然后形成立体声信号。这时，用耳机聆听，就可以明显感受到方向感。利用这一原理，您甚至可以使用耳机聆听音乐库中的5.1 声道歌曲。具体来说，每个扬声器成为独立的声源，并具有独立的安装角度。使用双耳传递函数依次处理来自多个扬声器的信号，并叠加输出以形成立体声信号。这是设计5.1环绕声的基本原则。方向控制也有多种用途，例如旋转声音。在不同时间向不同方向调制声音可以给人一种旋转的感觉。业内有一款专注于睡眠的软件，利用这种旋转效果来按摩头皮。在网上，你经常会看到一种名为8D的用户制作的音效，它的工作原理其实是类似的。 QQ音乐还拥有数万个带有旋转效果的播放列表。我们开发了3D音效，帮助用户节省制作此类歌曲的成本，并且只需点击一下即可在任何歌曲上获得类似的效果。您也可以直接在QQ音乐上收听体验。

上面介绍了HRTF函数的应用。您可能有疑问。 HRTF 函数是在现场测量的。如果将这种测量数据用于特定个体，然后用于数百万用户，效果会一致吗？答案是否定的。用户的耳朵形状和头部形状不同，其听觉效果肯定会有所不同。对于这种差异我们能做些什么呢？是否能够实现真正的定制化效果呢？首先，差异主要来自于两个方面。一是每个人都应该有自己的HRTF能力。这会影响用户对声源的方位和角度的判断。另一方面，每个人感知声音频率的能力是不同的，这就是所谓的耳纹。最明显的例子是，随着年龄的增长，我们感知高频的能力会下降。有些人过度使用耳朵。那样的话，衰减会更加严重。方位感知和频率感知代表了不同维度听音效果的差异。考虑到HRTF特征的差异，可以将用户的头形、耳形等生理特征映射到现有的HRTF数据库中，从而省去HRTF现场测量的繁琐过程。当然，这只是公共模型和私有模型之间的近似和权衡。此外，还可以根据用户不同的听力水平定制耳印，并通过纯音测试获得用户对各个频段的敏感度。

定制过程相对简单。如图所示，用户只需拍摄正面和侧面照片即可计算出所需的头型、耳型等参数。类似地，在听力测定中，用户的选择捕获用户的听力阈值曲线，从而提供个性化定制。

我们还考虑不仅在耳机聆听情况下增强环绕感，而且在外部聆听情况下也增强环绕感。扬声器的角度决定了用户感知到的声场的宽度。理论上，利用HRTF功能将声源调制到更大的角度可以让用户感知到更宽的声场。然而我尝试的实际效果并不理想。因为HRTF本身就是用在耳机场景中的。当用于扬声器场景时，由于扬声器之间的串扰，其性能明显下降。为了解决这个问题，我们需要在角度调制和扬声器播放之间添加串扰消除预处理。这可以让您在外部播放场景中达到真正拓宽声场的效果。

我们根据这个原理设计了外部环绕声效果。在手机场景中，很多中高端手机都配备了立体声扬声器来播放音乐。您可以通过水平握住手机来体验这一点。此外，该音效还覆盖了音箱、汽车等常见的音箱播放场景。

声音从扬声器中传出后，继续向整个空间传播。在上图中，来自黄色点源的声音向各个方向传播。蓝色聆听位置接收直达声音，也接收通过墙壁和天花板反射的声音。这些声音的集体效果就是混响。在聆听位置，你可以感受到声音从四面八方传来，给你一种被笼罩的感觉。当然，缺点也很明显。来自多个声源的异步声音创建会产生一种浑浊的感觉。不同的房间有不同的反射效果。通过按照到达时间的顺序排列每个声音并考虑声音能量的衰减，形成了表征该房间的空间脉冲响应。如果想要模拟在某个空间中播放音乐的效果，只需要对相应的脉冲响应进行卷积即可。比如模拟厕所、地铁、音乐厅等各种场景。

-03-

设计音效制作工具3.1. 发布基础组件到目前为止，我们已经发布了30多个组件。这包括经典调音的三个主要组件（均衡器、压缩器、混响器）、用于聆听模拟的脉冲卷积、叠加器等，以及效果器（低音增强、人声增强、环绕增强等）。

这些组件遵循线性时不变系统，允许用户像搭积木一样设计自己想要的声音效果。每个效果都有独立的开关，让用户决定是否保留该效果。用户使用音效的场景集中在移动设备上。这就是为什么我们为每个人提供扫描二维码并在移动设备上立即体验的能力。为了让用户创作的音效能够被更广泛的受众所接受，并获得与官方音效相同的曝光度，用户还可以通过PC将自己创作的音效上传到后端审核系统。如果你通过了考试，你将被认定为音效大师。 3.2. 经典混合工具

大多数经典的混音工具都包含更高级的配置参数，例如混响空间大小、可调节的干/湿比以及压缩器启动释放时间。这些功能基本上可以满足您所有常见的混料设计需求。

其中，除了10段均衡器外，我们还单独开发了更专业、更强大的参数均衡器，其功能如下：

各频段精准控制，输入输出信号频谱图动态显示，效果前后对比直观清晰，均衡器多达9种效果。可供选择的选项。响铃、架子过滤器等全部打开。包括所有效果、品质因数Q 值、过渡带斜率和其他参数设置权限。可以说是目前业界参数种类最全、自由度最高的参数均衡器。 3.3. 听力模拟工具

听觉模拟主要是环境模拟。一种是堆垛机。将您的歌曲与您想要模拟的环境的独特声音元素混合，例如您听歌曲时的海浪声，或雨天的雨声。另一种是使用脉冲卷积。将音乐与特定的房间声学环境配对，打造特定空间的聆听体验。以下是比较著名的脉冲混响插件。它整合了世界各地著名的音乐演奏空间，如教堂、剧院等。这种脉冲卷积可以让用户想象自己坐在那个空间里听音乐。 3.4. 听力调节工具

最后，关于空间音频，我们正在尝试各种可能性，包括引入相关的空间音频制作工具，比如音乐空间中的虚拟聆听环境、线下展览的扬声器阵列、以及我所做的在线直播场景的全景渲染。请大家继续关注银河音效。这次的分享就到这里，非常感谢！

LiveVideoStackCon 2023上海讲师招聘LiveVideoStackCon欢迎您在团队或公司中拥有独特的职位，在特定领域或技术上有多年的工作经验，并热衷于技术交流。在LiveVideoStackCon 上。请将您的演讲通过电子邮件发送至speaker@livevideostack.com。