AVS3視頻編碼技術(shù)：賦能8K時(shí)代 助力科技冬奧

編者薦語(yǔ)：

最新出版的《科技縱覽》刊發(fā)中國(guó)工程院院士高文、北京大學(xué)教授黃鐵軍、馬思偉等人的署名文章。

文章提到，海思、AVS產(chǎn)業(yè)聯(lián)盟、當(dāng)虹科技、廣東省超高清視頻創(chuàng)新中心、鵬城實(shí)驗(yàn)室，已于2019年聯(lián)合發(fā)布首個(gè)基于AVS3標(biāo)準(zhǔn)的8K端到端視頻技術(shù)解決方案。

以下文章來(lái)源于悅智網(wǎng) ，作者高文、黃鐵軍 等

第三代數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)（AVS3標(biāo)準(zhǔn)）是全球首個(gè)面向8K超高清及5G產(chǎn)業(yè)應(yīng)用的音視頻信源編碼標(biāo)準(zhǔn)。北京2022年冬奧會(huì)和冬殘奧會(huì)采用了AVS3標(biāo)準(zhǔn)，助力實(shí)現(xiàn)奧運(yùn)史上首次通過(guò)8K視頻技術(shù)直播開幕式和轉(zhuǎn)播重要賽事的目標(biāo)；打造冰雪項(xiàng)目交互式多維度觀賽的全新視覺體驗(yàn)，使用戶通過(guò)虛擬現(xiàn)實(shí)設(shè)備、8K電視和戶外大屏收獲極致享受，成為“科技冬奧”的一大亮點(diǎn)。同時(shí)，AVS3標(biāo)準(zhǔn)支撐中央廣播電視總臺(tái)全球首個(gè)8K超高清廣播電視頻道開播，在咪咕視頻移動(dòng)端直播場(chǎng)景落地，配合國(guó)家“百城千屏”項(xiàng)目推廣，加速推動(dòng)我國(guó)邁進(jìn)8K超高清時(shí)代。超高清（UHD）、人工智能（AI）、虛擬現(xiàn)實(shí)（VR）和5G等新技術(shù)正帶來(lái)新一輪重大原始創(chuàng)新機(jī)遇，而現(xiàn)代奧運(yùn)會(huì)更是成為各主辦國(guó)展現(xiàn)多領(lǐng)域科技創(chuàng)新實(shí)力的重要舞臺(tái)。自2019年起，北京大學(xué)、中央廣播電視總臺(tái)、咪咕公司、上海交通大學(xué)等單位通力協(xié)作，面向北京2022年冬奧會(huì)和冬殘奧會(huì)科技保障重大需求，圍繞冬奧科學(xué)辦賽、多維度交互體驗(yàn)等重點(diǎn)方向的關(guān)鍵科技瓶頸問(wèn)題開展研究，攻克核心技術(shù)，示范前沿引領(lǐng)技術(shù)，重點(diǎn)突破了8K超高清壓縮技術(shù)、自由視角多維度智慧觀賽等關(guān)鍵技術(shù)任務(wù)科研攻關(guān)，從核心技術(shù)、平臺(tái)構(gòu)建和應(yīng)用示范3個(gè)層面進(jìn)行研發(fā)和實(shí)踐，助推我國(guó)邁進(jìn)8K超高清時(shí)代，助力打造冬奧極致體驗(yàn)。

邁向8K時(shí)代的核心技術(shù)：AVS3視頻編碼

先進(jìn)、自主、開放的數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)對(duì)我國(guó)相關(guān)產(chǎn)業(yè)和領(lǐng)域發(fā)展具有重要支撐作用。數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組（簡(jiǎn)稱AVS工作組）是由原信息產(chǎn)業(yè)部科學(xué)技術(shù)司于2002年6月批準(zhǔn)成立的標(biāo)準(zhǔn)組織，至今已扎根視頻編碼技術(shù)研究20年，有力地解決了我國(guó)數(shù)字音視頻領(lǐng)域的知識(shí)產(chǎn)權(quán)問(wèn)題，完成三代AVS標(biāo)準(zhǔn)的制定，在該領(lǐng)域?qū)崿F(xiàn)了從跟跑、并跑到領(lǐng)跑的跨越式發(fā)展。此外，AVS工作組還建立有一套完備、公平、合理的知識(shí)產(chǎn)權(quán)政策，有利于AVS標(biāo)準(zhǔn)技術(shù)的市場(chǎng)推廣；工作組成立初期專門設(shè)立專利池管理委員會(huì)，時(shí)至今日每年可為國(guó)家節(jié)省數(shù)以億計(jì)的專利費(fèi)用；2005年成立AVS產(chǎn)業(yè)聯(lián)盟，形成結(jié)構(gòu)合理、規(guī)則清晰、分工明確、權(quán)利和義務(wù)相平衡的創(chuàng)新體系。

第一代AVS標(biāo)準(zhǔn)（包括AVS1標(biāo)準(zhǔn)和AVS+標(biāo)準(zhǔn)）從源頭上解決了自主音視頻編碼標(biāo)準(zhǔn)的缺失問(wèn)題，帶動(dòng)了我國(guó)自主標(biāo)準(zhǔn)、自主研發(fā)的編碼設(shè)備、終端產(chǎn)品的發(fā)展，其中AVS+標(biāo)準(zhǔn)已實(shí)現(xiàn)全國(guó)地面數(shù)字電視覆蓋及衛(wèi)星高清頻道使用。第二代AVS標(biāo)準(zhǔn)則實(shí)現(xiàn)了同國(guó)際標(biāo)準(zhǔn)并跑的目標(biāo)，由于在最初的設(shè)計(jì)時(shí)考慮了對(duì)大量高清視頻流以及4K內(nèi)容的支持，其架構(gòu)也可用于8K圖像編碼，Main-10bit檔次支持從典型的60fps到120fps多個(gè)級(jí)別的4K和8K內(nèi)容。2018年10月1日開播的中央廣播電視總臺(tái)4K超高清頻道（CCTV-4K），以及各地新上的4K超高清頻道均采用了AVS2視頻編碼標(biāo)準(zhǔn)。AVS3標(biāo)準(zhǔn)是全球首個(gè)已推出使用的面向8K及5G產(chǎn)業(yè)應(yīng)用的音視頻信源編碼標(biāo)準(zhǔn)，且我國(guó)具備完整的自主知識(shí)產(chǎn)權(quán)，這對(duì)加速AVS3標(biāo)準(zhǔn)與5G新媒體的融合發(fā)展、完成我國(guó)AVS3+5G+8K產(chǎn)業(yè)發(fā)展領(lǐng)先全球的部署具有重大意義。AVS3標(biāo)準(zhǔn)包括視頻編碼標(biāo)準(zhǔn)、音頻編碼標(biāo)準(zhǔn)和系統(tǒng)接口，主要面向8K視頻需求，視頻編碼標(biāo)準(zhǔn)分為基準(zhǔn)檔次和加強(qiáng)檔次，分別于2019年3月和2021年6月完成制定。AVS3視頻編碼標(biāo)準(zhǔn)基準(zhǔn)檔次完成時(shí)間早于H.266/VVC國(guó)際標(biāo)準(zhǔn)，實(shí)現(xiàn)我國(guó)在該領(lǐng)域的首次國(guó)際領(lǐng)跑，并率先發(fā)布面向8K超高清視頻的新一代編碼標(biāo)準(zhǔn)，推動(dòng)產(chǎn)業(yè)領(lǐng)先布局。在性能方面，AVS3的壓縮效率比AVS2提升1倍，能夠有效解決8K壓縮難題；同時(shí)，AVS3標(biāo)準(zhǔn)率先引入人工智能神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行編碼，是具有“智能化基因”的視頻編碼標(biāo)準(zhǔn)，為后續(xù)與其他智能化行業(yè)實(shí)現(xiàn)“互聯(lián)互通”奠定堅(jiān)實(shí)基礎(chǔ)。因此，技術(shù)先進(jìn)、專利清晰、產(chǎn)業(yè)鏈齊全的AVS3標(biāo)準(zhǔn)可謂是8K和5G進(jìn)行編碼的最優(yōu)選擇與最佳“搭檔”，在我國(guó)邁向8K超高清時(shí)代進(jìn)程中發(fā)揮著重要作用。

助推邁進(jìn)8K超高清時(shí)代

2019年2月，工業(yè)和信息化部、國(guó)家廣播電視總局、中央廣播電視總臺(tái)印發(fā)《超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃（2019—2022年）》指出，我國(guó)將大力推進(jìn)超高清視頻產(chǎn)業(yè)發(fā)展和相關(guān)領(lǐng)域的應(yīng)用。國(guó)家“十四五”規(guī)劃明確指出，我國(guó)將加快提升超高清電視節(jié)目制播能力，推進(jìn)電視頻道高清化改造，推進(jìn)沉浸式視頻、云轉(zhuǎn)播等應(yīng)用。

得益于AVS3視頻編碼技術(shù)與標(biāo)準(zhǔn)，我國(guó)當(dāng)前正加速邁進(jìn)8K超高清時(shí)代。這將推動(dòng)超高清視頻產(chǎn)業(yè)鏈在內(nèi)容、網(wǎng)絡(luò)和終端等重要環(huán)節(jié)上的空前融合，帶動(dòng)終端整機(jī)、視頻制作設(shè)備、存儲(chǔ)設(shè)備、傳輸設(shè)備、顯示面板等的升級(jí)換代，補(bǔ)強(qiáng)編解碼芯片、核心元器件等薄弱環(huán)節(jié)，提高產(chǎn)業(yè)供給體系質(zhì)量；持續(xù)拉動(dòng)5G寬帶通信網(wǎng)絡(luò)建設(shè)投資和業(yè)務(wù)發(fā)展，加速拓寬5G應(yīng)用覆蓋面，并為人工智能、虛擬現(xiàn)實(shí)等新一代信息技術(shù)提供重要應(yīng)用場(chǎng)景，加快在廣播電視、文教娛樂(lè)、安防監(jiān)控、醫(yī)療健康、智能交通、工業(yè)制造等領(lǐng)域的創(chuàng)新應(yīng)用，推動(dòng)形成國(guó)際領(lǐng)先的新興信息產(chǎn)業(yè)集群，搶占發(fā)展先機(jī)。2019年，上海海思技術(shù)有限公司、AVS產(chǎn)業(yè)聯(lián)盟、當(dāng)虹科技、廣東省超高清視頻創(chuàng)新中心和鵬城實(shí)驗(yàn)室聯(lián)合發(fā)布首個(gè)基于AVS3標(biāo)準(zhǔn)的8K端到端視頻技術(shù)解決方案，同時(shí)推出全球首款基于AVS3標(biāo)準(zhǔn)的8K超高清解碼芯片Hi3796CV300。

該芯片支持8K@120fps解碼和顯示，集成8核64位Cortex-A73 CPU和Mali-G52 MC6 GPU，是適用于8K超高清機(jī)頂盒與智慧家庭大腦等市場(chǎng)的高性能系統(tǒng)級(jí)芯片（SoC），可為用戶提供絢麗的人機(jī)交互界面和豐富的智能應(yīng)用體驗(yàn)。至此，我國(guó)在AVS3視頻編碼標(biāo)準(zhǔn)制定、芯片技術(shù)和編解碼器研發(fā)等方面均已占據(jù)先發(fā)優(yōu)勢(shì)，并率先完成從AVS3源頭標(biāo)準(zhǔn)技術(shù)到落地應(yīng)用的產(chǎn)業(yè)鏈貫通探索。

2020年11月，江蘇有線、國(guó)家廣電總局超高清電視技術(shù)研究和應(yīng)用實(shí)驗(yàn)室、體奧動(dòng)力、上海海思技術(shù)、當(dāng)虹科技、京東方等單位聯(lián)合在蘇州奧體中心成功完成中國(guó)足球協(xié)會(huì)超級(jí)聯(lián)賽冠亞軍決賽8K超高清直播試驗(yàn)，搭建原生8K信號(hào)的制作系統(tǒng)，使用7 680×4 320P分辨率、50P幀率、HLG-HDR、BT2020寬色域等信號(hào)制作規(guī)范。這是國(guó)內(nèi)首次大型體育賽事端到端的8K超高清直播試驗(yàn)，成功打通了8K超高清直播信號(hào)的采集制作、壓縮編碼、調(diào)制傳輸、入戶接收、終端解碼及大屏顯示等全流程。

2021年2月1日，中央廣播電視總臺(tái)8K超高清頻道（CCTV-8K）試播，標(biāo)志著全球首次實(shí)現(xiàn)8K超高清電視直播和5G網(wǎng)絡(luò)下的8K電視播出；2021年2月11日，中央廣播電視總臺(tái)春節(jié)聯(lián)歡晚會(huì)在CCTV-8K頻道進(jìn)行首次8K直播，并在北京、上海、廣州、深圳、成都、杭州、濟(jì)南、海口、青島、福州等10個(gè)城市公共場(chǎng)所的30多個(gè)8K超高清戶外大屏及8K電視終端同步播放，這標(biāo)志著我國(guó)從8K標(biāo)準(zhǔn)到8K制作流程技術(shù)已全面成熟；2021年12月31日，北京廣播電視臺(tái)冬奧紀(jì)實(shí)8K超高清試驗(yàn)頻道正式開播；2022年1月24日，CCTV-8K頻道正式開播，“百城千屏”公共大屏項(xiàng)目同時(shí)啟動(dòng)。當(dāng)前，8K超高清生態(tài)構(gòu)建正從多角度持續(xù)推進(jìn)，貫穿8K內(nèi)容制作、8K廣播電視、8K點(diǎn)播視頻等領(lǐng)域。同時(shí)，5G技術(shù)的全面推廣和冬奧冰雪項(xiàng)目賽事轉(zhuǎn)播等契機(jī)為我國(guó)8K電視市場(chǎng)規(guī)模持續(xù)增長(zhǎng)創(chuàng)造了良好的外部條件。據(jù)相關(guān)統(tǒng)計(jì)，2022年1月我國(guó)8K電視市場(chǎng)規(guī)模環(huán)比增長(zhǎng)38.2%，其中線下規(guī)模環(huán)比增長(zhǎng)92.8%。有專家預(yù)測(cè)，2022年我國(guó)8K電視市場(chǎng)規(guī)模有望翻番。在8K市場(chǎng)品牌方面，三星和長(zhǎng)虹的2021年零售量占比達(dá)76.6%；而隨著更多電視整機(jī)品牌廠商在8K市場(chǎng)加大投入，2022年8K市場(chǎng)品牌競(jìng)爭(zhēng)將進(jìn)一步分化，品牌陣營(yíng)將進(jìn)一步擴(kuò)大，其中創(chuàng)維和海信在8K領(lǐng)域的布局更為迅速，創(chuàng)維則率先采用5G+8K+AVS3技術(shù)構(gòu)建了低延遲直播系統(tǒng)（見圖2）。

助力打造冬奧極致體驗(yàn)

中央廣播電視總臺(tái)8K超高清頻道、北京廣播電視臺(tái)冬奧紀(jì)實(shí)8K超高清試驗(yàn)頻道均采用中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟（AVS產(chǎn)業(yè)聯(lián)盟）頒布的AVS3視頻編碼標(biāo)準(zhǔn)，為北京2022年冬奧會(huì)提供開閉幕式直播和重要賽事轉(zhuǎn)播服務(wù)。經(jīng)統(tǒng)計(jì)，在北京冬奧會(huì)期間，中央廣播電視總臺(tái)8K超高清頻道完成開閉幕式直播與各類賽事節(jié)目直播35場(chǎng)，共計(jì)92小時(shí)；截至冬奧會(huì)閉幕，賽事重播節(jié)目整備50條，共計(jì)38小時(shí)；在播出節(jié)目單中，冬奧節(jié)目編排日均11.5小時(shí)，約占每日播出時(shí)長(zhǎng)的72%。在奧運(yùn)轉(zhuǎn)播任務(wù)結(jié)束后，兩個(gè)頻道將進(jìn)入常態(tài)化運(yùn)轉(zhuǎn)，全國(guó)各IPTV平臺(tái)也將進(jìn)一步擁抱8K，為我國(guó)8K超高清產(chǎn)業(yè)持續(xù)注入強(qiáng)勁動(dòng)力。

此外，作為中國(guó)大陸地區(qū)唯一獲得國(guó)際奧委會(huì)授權(quán)使用奧林匹克名稱和五環(huán)標(biāo)識(shí)的傳播平臺(tái)、全球首個(gè)以4K超高清標(biāo)準(zhǔn)24小時(shí)上星同步播出的專業(yè)體育頻道，中央廣播電視總臺(tái)奧林匹克頻道（CCTV-16）則采用了AVS工作組組織制定的AVS2和AVS+標(biāo)準(zhǔn)。在移動(dòng)端直播場(chǎng)景中，咪咕視頻應(yīng)用同樣采用AVS3編碼標(biāo)準(zhǔn)，使用戶可以通過(guò)移動(dòng)終端隨時(shí)隨地欣賞精彩的冬奧賽事。這也是AVS3標(biāo)準(zhǔn)在移動(dòng)端直播場(chǎng)景首次應(yīng)用及落地，為進(jìn)一步促進(jìn)AVS生態(tài)建設(shè)提供支撐。除了追求8K超高清帶來(lái)的視覺效果、呈現(xiàn)史上“最清晰”冬奧會(huì)之外，北京2022年冬奧會(huì)更是成為追求“最沉浸式”觀賽感受的歷史轉(zhuǎn)折點(diǎn)。為打造冰雪項(xiàng)目交互多維度觀賽體驗(yàn)，基于北京大學(xué)牽頭的國(guó)家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”專項(xiàng)項(xiàng)目課題，研究團(tuán)隊(duì)利用人工智能技術(shù)進(jìn)行虛擬視角合成和三維場(chǎng)景實(shí)時(shí)重建，研發(fā)冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)（見圖3）。借助虛擬現(xiàn)實(shí)設(shè)備和移動(dòng)終端等平臺(tái)，觀眾可獲得接近360度旋轉(zhuǎn)的“自由視點(diǎn)”沉浸感。此外，該系統(tǒng)也將為未來(lái)高水平賽事轉(zhuǎn)播標(biāo)準(zhǔn)的建立提供重要參考。

在北京2022年冬奧會(huì)期間，AVS3編碼標(biāo)準(zhǔn)、8K超高清技術(shù)以及多維度自由視角交互觀賽系統(tǒng)已經(jīng)得到實(shí)際應(yīng)用檢驗(yàn)與全球用戶的廣泛認(rèn)可，助力北京冬奧會(huì)完美實(shí)現(xiàn)“簡(jiǎn)約、安全、精彩”的辦賽要求。未來(lái)，北京大學(xué)研究團(tuán)隊(duì)將進(jìn)一步提升應(yīng)用效果、提升系統(tǒng)效能，推廣應(yīng)用于其他重大活動(dòng)保障，開拓8K超高清技術(shù)的應(yīng)用前景，充分發(fā)揮8K超高清技術(shù)的應(yīng)用價(jià)值，以期為我國(guó)在提升大型活動(dòng)管理、直播/轉(zhuǎn)播保障等方面提供重要技術(shù)支撐。

致謝：感謝國(guó)家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”重點(diǎn)專項(xiàng)項(xiàng)目“冬奧超高清8K數(shù)字轉(zhuǎn)播技術(shù)與系統(tǒng)”課題“面向8K超高清視頻應(yīng)用的高效編碼標(biāo)準(zhǔn)及編解碼器”（課題編號(hào)：2019YFF0302703）的支持。

本文刊登于IEEE Spectrum中文版《科技縱覽》2022年3月刊。