近日，字節(jié)跳動旗下火山引擎視頻云宣布其自研的視頻編解碼芯片已成功出片。與具備通用計算能力的CPU芯片相比，該自研芯片僅支持視頻編解碼任務(wù)，在特定場景具備更高的計算密度。

另外，此次火山與NVIDIA的合作主要是通過NVIDIA GPU進(jìn)行算力方面的協(xié)調(diào)與調(diào)度，同時合作開源BMF（Babit MultiMedia Framework）多媒體處理框架，通過由CPU、GPU以及視頻編解碼專用芯片等組成的異構(gòu)計算資源底層，支撐上層，提升復(fù)用與效率，降低網(wǎng)絡(luò)視頻服務(wù)的計算、存儲及傳輸帶寬成本。

牽手英偉達(dá)GPU布局框架平臺

(相關(guān)資料圖)

在架構(gòu)關(guān)系上，BMF異構(gòu)層包括了CPU、CUDA、FPGA，以及字節(jié)此次自研的ASIC算力。再之上分別是包括視頻編解碼在內(nèi)的模塊層、框架層，以及應(yīng)用層。

視頻自研芯片與BMF框架的誕生基于當(dāng)下視頻化逐漸普及的趨勢。火山引擎總裁譚待表示，視頻數(shù)據(jù)量呈爆發(fā)式增長，應(yīng)用場景也在不斷拓展。初心資本合伙人許旸洋認(rèn)為視頻正吞食一切是當(dāng)下大的趨勢，而視頻化的形式將變得更加平民化，每個人都可以是視頻創(chuàng)作者，視頻大量出現(xiàn)倒逼底層技術(shù)升級。

NVIDIA開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬對記者表示，此次火山引擎與NVIDIA的合作主要是指新的視頻處理框架。過去的視頻處理主要通過FFmpeg（一種命令行工具，用來對視頻文件轉(zhuǎn)換格式），后者方式主要包括調(diào)用C + + 的API，以及命令提示。但在視頻復(fù)雜實時交互的編輯需求下，F(xiàn)Fmpeg很難與現(xiàn)有AI應(yīng)用連接起來。目前該框架主要面向開發(fā)者群體，會令過去使用FFmpeg等AI框架進(jìn)行視頻處理的開發(fā)者受益，也利于更多的創(chuàng)新誕生。

談及此次與火山在BMF框架方面的合作，NVIDIA 高級計算專家王曉偉對記者表示，NVIDIA對框架進(jìn)行了深度改造，增強框架的GPU親和力，在框架層面提供更多的GPU加速能力，改進(jìn)了BMF對FFmpeg CUDA filter的支持，添加GPU數(shù)據(jù)格式轉(zhuǎn)換以及實現(xiàn)BMF與其他深度學(xué)習(xí)框架和SDK的數(shù)據(jù)兼容，這些特性可以方便開發(fā)者更快地在GPU上定制所需的BMF模塊，從而快速響應(yīng)業(yè)務(wù)需求，使用BMF搭建GPU流水線。

同時，NVIDIA還提供了許多精細(xì)優(yōu)化的BMF模塊，這些模塊可以做到開箱即用，并且作為示例向開發(fā)者展示如何高效地開發(fā) BMF GPU 模塊。如BMF中的人臉識別示例使用 NVIDIA TensorRT（一種高性能深度學(xué)習(xí)推理優(yōu)化器和運行時加速庫）對模型推理進(jìn)行加速，并且調(diào)用 CV-CUDA （NVIDIA開發(fā)的專用于構(gòu)建加速型端到端計算機視覺和圖像處理管道的開源項目）進(jìn)行模型后處理，完整地展示了如何在 GPU 上使用 BMF 開發(fā)一個CV流水線及相關(guān)GPU模塊。

王曉偉對記者表示，BMF能夠提供簡潔易用的跨語言接口、靈活的調(diào)度和擴展性，以模塊化的方式動態(tài)擴展、管理和復(fù)用視頻處理的原子能力；而現(xiàn)有的常用框架基本都存在著語言接口單一，調(diào)度擴展不靈活以及開發(fā)門檻高等問題，限制了 AI 時代下業(yè)務(wù)場景的進(jìn)化。

通過硬件創(chuàng)新緩解算力瓶頸

此次火山并未具體透露自研視頻芯片的具體代工廠等信息，字節(jié)跳動視頻架構(gòu)負(fù)責(zé)人火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示，此次推出火山引擎自研視頻編碼芯片，可以使一臺芯片服務(wù)器的轉(zhuǎn)碼能力相當(dāng)于百臺CPU服務(wù)器的算力；壓縮效率比行業(yè)主流硬件編碼器提升30%+。據(jù)此將單個視頻的計算、存儲和傳輸?shù)倪呺H成本達(dá)到平衡。

另外，王悅表示，該芯片支持ASIC算力，是一種比較折中的算力資源，吞吐雖然差一些，但其優(yōu)勢是可擦寫、更靈活，能夠完成漸進(jìn)迭代，也為火山ASIC方案提供了先行驗證。

目前火山視頻云的圖片和動圖轉(zhuǎn)碼服務(wù)都跑在FPGA上，部分點播、直播服務(wù)里也在使用FPGA。此外，王悅表示，火山還有ARM板卡陣列，這個方案本來是用來支持云游戲、云手機等場景需求而研發(fā)的，火山把編轉(zhuǎn)碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后，經(jīng)過大規(guī)模實測發(fā)現(xiàn)這種算力資源在密度、成本方面相較X86服務(wù)器也有很大優(yōu)勢，因此也在點播場景里不斷提升這種資源的使用量，做到與云游戲等場景的并池降本。王悅稱目前最新一代板卡已經(jīng)支持開源大模型llama2。

對視頻芯片的自研投入早已在海內(nèi)外大廠內(nèi)進(jìn)行，2016年，時任谷歌云計算副總裁的帕塔·蘭加納坦（Partha Ranganathan ）向時任YouTube 副總裁 Scott Silver 申請視頻芯片項目。2021年，YouTube 披露自研視頻芯片Argos的進(jìn)展。今年，F(xiàn)acebook 母公司Meta首度公開了其自研 AI 芯片的進(jìn)展，可以支持其最近推出的廣告設(shè)計和創(chuàng)作工具的生成式 AI技術(shù)。

2022年，騰訊公布自研視頻轉(zhuǎn)碼芯片“滄海”于2022年3月5日流片。2022年8月，快手宣布研制出云端智能視頻處理SoC(System on Chip)芯片SL200?；鹕揭娣矫嫒耸繉τ浾弑硎荆煌脚_的視頻自研芯片適用于各自不同的業(yè)務(wù)場景，火山自研視頻芯片對內(nèi)主要服務(wù)于抖音業(yè)務(wù)。

火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅認(rèn)為，“視頻編碼每升級一代，質(zhì)量碼率減少50%，但大規(guī)模的視頻數(shù)據(jù)量增長不止2倍，視頻編碼標(biāo)準(zhǔn)的迭代速度已經(jīng)追趕不上視頻數(shù)據(jù)量的增長速度，必須通過硬件創(chuàng)新來突破算力瓶頸”。

標(biāo)簽：