字节旗下火山引擎流露自研芯片牵手英伟达缓解视频算力压力

近日，字节高出旗下火山引擎视频云文告其自研的视频编解码芯片已告捷出片。与具备通用打算能力的CPU芯片比较，该自研芯片仅支捏视频编解码任务，在特定场景具备更高的打算密度。

另外，这次火山与NVIDIA的配合东如若通过NVIDIA GPU进行算力方面的谐和与治愈，同期配合开源BMF（Babit MultiMedia Framework）多媒体处理框架，通过由CPU、GPU以及视频编解码专用芯片等构成的异构打算资源底层，复古表层，提高复用与恶果，裁减收集视频奇迹的打算、存储及传输带宽成本。

牵手英伟达GPU布局框架平台

在架构相干上，BMF异构层包括了CPU、CUDA、FPGA，以及字节这次自研的ASIC算力。再之上分裂是包括视频编解码在内的模块层、框架层，以及利用层。

视频自研芯片与BMF框架的降生基于当下视频化徐徐普及的趋势。火山引擎总裁谭待暗示，视频数据量呈爆发式增长，利用场景也在不断拓展。初心成本结伴东说念主许旸洋合计视频正吞食一切是当下大的趋势，而视频化的形状将变得愈加难民化，每个东说念主王人不错是视频创作家，视频大宗出现倒逼底层期间升级。

NVIDIA开发与期间部门亚太区总司理李曦鹏对记者暗示，这次火山引擎与NVIDIA的配合东如若指新的视频处理框架。往常的视频处理主要通过FFmpeg（一种敕令行用具，用来对视频文献转机密害），后者形状主要包括调用C + + 的API，以及敕令领导。但在视频复杂及时交互的裁剪需求下，FFmpeg很难与现存AI利用蚁合起来。现在该框架主要面向开发者群体，会令往常使用FFmpeg等AI框架进行视频处理的开发者受益，也利于更多的翻新降生。

谈及这次与火山在BMF框架方面的配合，NVIDIA 高档打算各人王晓伟对记者暗示，NVIDIA对框架进行了深度矫正，增强框架的GPU亲和力，在框架层面提供更多的GPU加快能力，改进了BMF对FFmpeg CUDA filter的支捏，添加GPU数据要害转机以及完了BMF与其他深度学习框架和SDK的数据兼容，这些特质不错便捷开发者更快地在GPU上定制所需的BMF模块，从而快速反应业务需求，使用BMF搭建GPU活水线。

同期，NVIDIA还提供了好多精采优化的BMF模块，这些模块不错作念到开箱即用，况兼手脚示例向开发者展示怎么高效地开发 BMF GPU 模块。如BMF中的东说念主脸识别示例使用 NVIDIA TensorRT（一种高性能深度学习推理优化器和运转时加快库）对模子推理进行加快，况兼调用 CV-CUDA （NVIDIA开发的专用于构建加快型端到端打算机视觉和图像处理管说念的开源面目）进行模子后处理，圆善地展示了如安在 GPU 上使用 BMF 开发一个CV活水线及筹谋GPU模块。

王晓伟对记者暗示，BMF大要提供简易易用的跨讲话接口、机动的治愈和扩张性，以模块化的形状动态扩张、科罚和复用视频处理的原子能力；而现存的常用框架基本王人存在着讲话接口单一，治愈扩张不机动以及开发门槛高等问题，截止了 AI 时期下业务场景的进化。

通过硬件翻新缓解算力瓶颈

这次火山并未具体涌现自研视频芯片的具体代工场等信息，字节高出视频架构厚爱东说念主火山引擎视频云架构期间总监王悦暗示，这次推出火山引擎自研视频编码芯片，不错使一台芯片奇迹器的转码能力很是于百台CPU奇迹器的算力；压缩恶果比行业主流硬件编码器提高30%+。据此将单个视频的打算、存储和传输的边缘成本达到均衡。

另外，王悦暗示，该芯片支捏ASIC算力，是一种比较折中的算力资源，浑沌诚然差一些，但其上风是可擦写、更机动，大要完成渐进迭代，也为火山ASIC决策提供了先行考据。

现在火山视频云的图片和动图转码奇迹王人跑在FPGA上，部分点播、直播奇迹里也在使用FPGA。此外，王悦暗示，火山还有ARM板卡阵列，这个决策蓝本是用来支捏云游戏、云手机等场景需求而研发的，火山把编转码和处理引擎在ARM指示集上深度集成和优化之后，经由大界限实测发现这种算力资源在密度、成本方面相较X86奇迹器也有很大上风，因此也在点播场景里不断提高这种资源的使用量，作念到与云游戏等场景的并池降本。王悦称现在最新一代板卡仍是支捏开源大模子llama2。

对视频芯片的自研参加早已在海表里大厂内进行，2016年，时任谷歌云打算副总裁的帕塔·兰加纳坦（Partha Ranganathan ）向时任YouTube 副总裁 Scott Silver 肯求视频芯片面目。2021年，YouTube 流露自研视频芯片Argos的弘扬。本年，Facebook 母公司Meta首度公开了其自研 AI 芯片的弘扬，不错支捏其最近推出的告白联想和创作用具的生成式 AI期间。

2022年，腾讯公布自研视频转码芯片“沧海”于2022年3月5日流片。2022年8月，快手文告研制出云霄智能视频处理SoC(System on Chip)芯片SL200。火山引擎方面东说念主士对记者暗示，不同平台的视频自研芯片适用于各自不同的业务场景，火山自研视频芯片对内主要奇迹于抖音业务。

火山引擎视频云架构期间总监王悦合计，“视频编码每升级一代，质料码率减少50%，但大界限的视频数据量增长不啻2倍，视频编码尺度的迭代速率仍是追逐不上视频数据量的增长速率，必须通过硬件翻新来冲突算力瓶颈”。

第一财经告白配合，请点击这里此内容为第一财经原创，文章权归第一财经悉数。未经第一财经籍面授权，不得以任何形状加以使用，包括转载、摘编、复制或开辟镜像。第一财经保留讲究侵权者法律株连的权柄。如需得到授权请筹谋第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。文章作家