哔哩哔哩hd画质，哔哩哔哩云剪辑怎么调画质

以下文章来自LiveVideoStack，作者程超。

实时视频堆栈

.LiveVideoStack是直播技术社区的官方账号，分享音视频直播相关的技术资讯、产品研究、行业动态。随着视频赛道进入后期，尤其是在“寒冬”的行业环境下，肯定会面临体验与成本的冲突，在有限的条件下获得最佳的画质和观感变得异常困难。带宽。从视频云业务场景来看，如何有效解决跨域问题，如何在业务时延较低时突破算力瓶颈，如何增加单位码字承载的有效信息量是我们的目标。公司的挑战。实际应用范例。 LiveVideoStackCon 2023北京站邀请了哔哩哔哩云多媒体平台程超先生分享哔哩哔哩基于视频业务快速发展总结出的先进经验和理念。

文/陈超

编辑器/LiveVideoStack

大家好。我是bilibili云多媒体的程超。我们云多媒体主要负责bilibili直播技术业务，我所在的算法组是基于AI算法来增强bilibili直播相关业务，降低成本，提高效率。

尽管该行业过去经历过寒冬，但哔哩哔哩仍然是一家高速增长的公司，用户规模和游戏量以及相关的总带宽成本持续增长。参加LiveVideoStackCon2023北京站时您最常听到的词是：

降低成本，提高效率

这就对成本增长提出了非常高的要求，必须将成本增长控制在非常合理、高效的规模上。但与此同时，我认为B站的初衷并没有改变。我们始终相信“用户是哔哩哔哩的核心价值”，始终希望我们的用户在哔哩哔哩上体验到最好的音视频。

针对这个目标，我们深入做了很多工作，包括在预处理层面做了我们今天要讲的图像质量矩阵和AI预处理。我们有一支非常强大的团队。在高层次上，我们正在考虑使用编码器来完成窄带、高分辨率的工作，在低层次上，我们还建立了CDN 来进行网络、调度、节点优化等。

如果降本增效是业界向所有企业提出的主张，我们的答案是：

低代码，高绘制。

今天的分享主要分为四个部分。第一部分介绍视频云AI画质提升环节。第二部分我们将结合一场非常特别的实时游戏直播来分享4K游戏的实时超级成绩。第三部分转向低代码部分，描述基于低秩重构的AI窄带高分辨率预处理算法。第四部分是简要概述和观点，介绍其中的一些内容。我们所做的工作以及我们将来可能做的工作。

-01-视频云AI画质提升环节

首先我想简单介绍一下我们对画质业务的理念和理解，这也是我们在成本限制下继续提供高质量服务的原因。我认为这有四个原因：

首先是对于用户而言，我们认为更高的图像质量是技术发展的必然趋势，不受行业兴衰的影响。我们在公司内部提出了“全时高清”的概念。

用户可以随时随地、不受任何限制地享受高质量的音视频服务。

;

二是支持UP主，让他们能够全身心投入创意、创作内容，不受专业摄影设备或拍摄条件的束缚。

第三个方面是产品和运营方面，我们希望画质功能能够成为实施一些计划和活动的有效抓手，共同扩大B站的影响力。

第四，对于我们的商业伙伴，我们愿意以图像质量为切入点进行商业公关和促销活动的合作。

再来说说B站的老品质生成链接。随着过去长期的业务需求，我们积累了大量的图像质量原子函数，形成了图像质量矩阵。然而，应用模型实际上并没有更新。随着您的成长，实时监控您的原子能力。

举个简单的例子，在过去，如果你想给你的视频打高分，你可能必须遵循这个流程。上传动画时，运营商首先要查看视频内容，并在转码完成后做出决定。我们进行高质量的处理以确定什么样的动画适合它，如果我们确定它适合超级得分，我们将其发送到相应的超级得分服务。

这个过程的问题在于，所有内容都是预定义的，因此需要对视频同时进行多次增强处理（先去噪，然后增强，然后超分辨率等），但目前还没有相应的处理。服务。在这种情况下，具有在线功能的服务必须首先能够支持该视频所需的处理。因此，陈旧的链接时效性较差，这对于小型企业来说还好，但随着处理需求的增加，它们不可避免地受到运营商启发式的限制，无法实时响应业务需求。

新链接和旧链接最大的区别有两点。一是将QoE融入到图像质量决策系统中，形成一个体系。

辅以基于QoE 的决策模型和手动操作策略。 QoE提取视频的约40个特征，包括视频信息密度、噪声强度、动态分析结果以及一些业务指标，例如上传的视频是否成为特色视频。它还包括内部参考。图像质量评价。

也就是说，将QoE策略和操作策略最终得到的特征向量发送给决策者，以决定什么样的图像质量处理适合当前的应用。超分辨率适用于信息密度不够的情况。如果时域不够强，还有改进的空间，可以做超帧。如果想要进行完美的画质还原，可能还需要进行超分辨率和超帧。后续的处理步骤可能非常多样且复杂。基于此，为了满足视频复杂的画质处理需求，需要增强可定制画质处理环节的工程支持。

最后我们

我们重新设计了图像质量矩阵底层的一套AI处理框架

这也是新旧链接的第二大区别。其思想是尽可能将所有图像质量原子函数节点化，将其处理流程构建成计算图，并以计算图的形式支持所有图像质量处理流程。就像使用中的积木一样。

自从该流程在线化以来，生产力显着提高。让我给你举一个简单的例子。众所周知，去年网络上发生了一件非常重要的公告事件。那是周杰伦新专辑《最伟大的作品》的发行，这张专辑的所有曲目也随之跟进。新专辑的宣传工作。这个工作可以说是最典型的CASE，但主要有两点：

首先是1080P问题。可能大家都不是很清楚。像Jewel 这样的音频、视频和文化媒体公司实际上仍在制作1080P 分辨率的视频，并没有更新到4K 或60FPS 等新技术。但实际上，4K 对于我们的用户来说是如此迫切的需求，以至于我们当时提出了这个问题，并询问我们是否可以提供4K 媒体。

如果用户有需求，应该怎么做？

我们提出以下建议：

使用AI 将原始视频转换为4K 高分辨率

接下来我们来分析一下比赛场景。游戏超调实际上比常规超调更容易。游戏视频信号主要包含高频重复纹理，因此如果某个地方缺少纹理，可以在另一个地方找到它。其次，游戏的特征空间和模型在训练过程中的参数搜索空间都非常小，因此学习起来比常规超级分数难度要小。

现场游戏场景的另一个特点是接收到的原始流实际上是经过编码的。这个问题在整个直播业务中一直存在，GAN 被用来解决因对源流进行编码而导致的细节丢失问题。这实现了迭代纹理生成的目标，并与像素损失一起使用，首先限制GAN 可能产生的伪影。

在正常情况下，GAN 与感知损失结合使用。感知损失通常在imagenet 等大数据级别上进行训练，但由于游戏屏幕的特征空间较小，因此在引入这些非常常见的特征时没有必要。 Contilos 最终被放弃，因为损失减慢了训练速度。然后，为了进一步约束游戏中生成的结构化纹理，我们引入基于索贝尔算子的边缘损失来增强纹理。

关于网络的具体结构，我们描述了一个微计算单元，它没有使用ESA非常常见的空间注意力，而是设计了一种更有效的高通通道注意力机制。最初，通过计算简单地提取补丁的高频部分，最后加权以获得最终的注意力权重。当与接下来描述的重参数相结合时，该解决方案可以实现非常强大的高频学习目标。

重参数原理可以概括为利用卷积的同质性和可加性来融合不同的卷积。从上图可以看出，初始的计算结构有三个环节：跳跃环节、1×1卷积和3×3卷积。由于卷积的两个特性，它们最终被合并为3×3 卷积。你可能想知道为什么不能直接使用3×3 卷积。这是因为三个环节的学习强度不同。 1×1 和3×3 具有不同的特征提取强度，因此可以使用非常简单的策略。可以在不增加额外计算的情况下提高卷积模块的学习性能。重参数用于训练阶段，并在推理阶段合并为单个卷积。

接下来我们介绍一种性价比最高的加速方式Unshuffle。 Unshuffle可以理解为Pixelshuffle的翻倍。如果你对超分辨率算法有很好的了解，你就可以明白，目前主流的超分辨率网络的主要计算量并不是在中心瓶颈或骨干部分，而是在特征图相对较大的开头和结尾处。我明白。过去不使用Unshuffle如何实现降维呢？可能只有两种方法。使用池化或步幅进行卷积。带有攻击的卷积会在网络的开头放置大量计算，这会使池化效率非常低，并引入人为的特征丢失。

所谓“Unshuffle就是两个Pixelshuffle”看似简单，但实际上pytorch或者tensorflow是去年才开始支持Unshuffle的。如果没有这些工具，我如何使用Unshuffle？

这实际上是一个纯粹的矩阵变换问题，将其拆分为三个简单的运算符，reshape、转置和第二次reshape调整各个维度即可得到最终结果。

另外，Unshuffle 的一个很好的特性是在降维过程中不会丢失信息。您还可以辨别哪些像素是原始像素，哪些像素是新像素。少量的卷积产生与前两个相同的结果。相同或更好的图像质量功能。经过全局优化后，与原生网络相比，主干计算量可以减少75%，从而允许瓶颈适当扩大（例如，扩大2 倍）以容纳更多功能。之前的网游超分算法只使用了106K参数，不到1M，计算量也只有49G。

最后一个悬而未决的问题是，我们在训练策略中引入了生成对抗网络技术，但每个人都说这可能会引入工件，但我们如何理解这个问题呢？如果我们示意性地说明上图中的特征搜索路径，我们可以看到，如果在GAN 训练中不添加约束，参数搜索会变得非常不稳定。

图像最外圈代表人眼的最佳感知点。距离圆心越近，需要的纹理就越少。使用巧妙的阻尼策略来逐步对每一步学习到的参数进行加权。这可以看作是网络学习参数的过滤机制。

通过这种方法，可以使参数搜索路径尽可能平滑，并且可以大大降低超出圆外的概率。我还参考了CVPR2023论文中关于局部歧视性学习的策略。这个想法是，如果当前步骤网络预测的某个像素距离EMA 网络预测的像素很远，则将其定义为伪影并受到惩罚。

该策略极大地抑制了伪影问题。由于B站没有对S12比赛进行转录，而是使用了S11和S3世界总决赛账号来演示本次比赛的实时在线效果。

可以看出，超分辨率算法在保留结构纹理和生成重复纹理方面显着改善了原始视频效果。使用V100单显卡，视频可以以75fps的帧率运行。 B站也是唯一以4K模式参与S12直播的平台。

-03-基于低秩重构的窄带高清预处理

高级绘制部分的解释到此结束，介绍一下低级代码部分。这次给大家介绍一种基于低秩重构的AI窄带高清预处理算法。

首先，我们来讨论一下传统的编码视角。编码实际上是在DCT 频域中人为地制造精度缺陷，以实现比特率节省。然而，从高层次的角度来看这个问题，编码器并不关注编码单元的内容，而是均匀地进行有损编码，从高频到低频消除某些频率分量。它在压缩有用信息的同时压缩噪声，使编码内容的频谱保持不变，反之亦然。

第二个角度是去噪，这也是目前窄带高清采用的传统方案，即窄带高清增强去噪。由于源码流中已经含有大量的编码噪声和其他类型的噪声，因此提高编码码流的信噪比可以提高二次编码的效率。但该方法严重依赖去噪网络的去噪能力，且去噪能力需要足够强大，一般无法满足工业生产的需求。虽然这可以消除噪声，但它也不可避免地会删除有用的信息，最终导致图像质量较差。

我今天主要讲的是我是从重构的角度来做这个工作的。低阶重建有两个主要出发点。第一个是：

重建图像的变化人眼几乎察觉不到。

，第二个是

将原始图像复制为多个副本，并在其中引入连续变换，以获得简单的单图像动画效果。然后，它通过人为引入变形和时域变化对图像进行编码，最后解码某一特定帧。这意味着需要添加一帧才能形成最终构建的LR/HR 对。

此方法允许您向图像添加编码噪声。

在实际部署阶段，使用上述训练策略和方法训练网络是非常容易的。它是逐帧处理，没有时域工作，可以无缝插入到任何基本转码过程中以实现其优势。该算法最终仅使用3000个参数就实现了低秩学习分解函数，即使在CPU上也能获得良好的推理性能。目前基于TensorRT部署的T4卡可以超过300fps运行，满足大规模需求。用户的大规模生产需求。

上述算法仅针对空域设计，并未针对时域进行专门的优化，推理过程也是逐帧进行时域推理。但该算法对时域有亲和力，虽然背景中码率不会出现变化，但由于拍摄时的热噪声以及拍摄的影响，可能会造成人眼难以识别的干扰包含很多条件。编码器还将比特率分配到这些位置，这些位置对于人眼来说不会改变。当使用该算法处理时，我们可以看到大多数块被跳过，并且仅在存在实际差异的地方执行帧内编码。这使得编码器能够实现高效的码率分配，从而无形中提高了时域压缩性能。

在这里，我们将从三个主要部分来介绍编码的好处。第一部分是使用ssim编码的同学都知道，在264上很难实现一次优化。 265 甚至AV1。

如果将评估指标改为vmaf，好处会更大。

算法从灰度开始，基于常见码率段进行分析。在1080P以上分辨率下实现码率降低18%以上。 16%。

-04-总结及未来展望今天的主要内容就到此结束。接下来我想介绍一下我未来会继续创作的作品。

高粘贴修复。在本次LiveVideoStackCon上与很多同事见面交流后，我意识到这也是同事们在做视频云业务时面临的问题。高模糊恢复在某些特定场景中非常重要，例如恢复旧电影或恢复一些质量非常低的视频。

我想大家多年来一直在研究高雾修复，但目前还没有找到好的解决方案。去噪、增强、瑕疵修复和色彩校正会使模糊的视频缺乏材质、纹理和其他人眼最基本的细节。在老电影中，你可以看到经过高清处理后，人物非常清晰，但衣服的质感还是丢失了。

为了解决这个问题，我们做了很多尝试，也对早期历史摄影器材进行了专题研究。例如电视剧《西游记》中，采用阴极射线管摄像机进行拍摄，研究了这种摄像机的成像原理，从镜头组到感光部件再到最终曝光的图像介质，以及成像过程如何工作。原始图像已被降级。

理解这个原理非常重要。这可能和大家做超分的道理是一样的。

或者修复预想的不同，一般超分或修复会使用一些典型的降质算子，如高斯模糊、中值模糊和各种各样的压缩，但高糊修复和前述的这些算子关系相去甚远。
近期AIGC以及大模型的兴起对高糊修复是很好的信号，可以看到LDM已经具备非常不错的图像细节修复能力，但它还不能很好地适应生产应用场景。
目前针对图像大模型调优已经出现了一些低成本调优方案，例如lora，基于lora可以对LDM像类似于condition-GAN一样的方式训练，把低清和高清pair当做condition/target，采用这样的图像对来微调大模型。
通过研究各类古早片原始画质的降质过程可以对画质改善起到很大的积极作用，我认为如果持续跟进大模型调优，它将是非常好的解决方案，可以解决很多应用上的痛点。
大家可以看展示的CASE，原图相当模糊。
经过大模型处理后，吉他上的木纹、衣服上的材质和柜子上的木纹等在原视频中几乎没有的材质都被进行了丰富与补充。
为了达到这个效果，还需要做很多工作去约束扩散模型产生的时域不连续问题，如果不采用一些trick进行抑制，不连续情况可能会很严重。
我相信通过后续不断的研究和应用，这些问题都会或早或晚的解决。
我认为低码高画工作非常有意思，虽然当下的环境艰难，但期间也促成了行业全体同仁优化工作的明显进步，对于技术人员也是挑战与机遇并存，相信接下来的工作仍然任重道远，谢谢大家！