當(dāng)虹科技跨模態(tài)AIGC產(chǎn)品，成功應(yīng)用于直播帶貨

最近，在中國國際電視臺（CGTN）的直播間里，龍年新頂流“龍辰辰”深受外國友人喜愛。

抽獎環(huán)節(jié)，一只“龍辰辰”從禮盒中蹦出來。

你能分辨出來，這段3D動態(tài)內(nèi)容是人工建模還是AI生成的嗎？

可能有一點(diǎn)點(diǎn)難度。

這是當(dāng)虹科技利用AIGC技術(shù)生成的跨模態(tài)三維體積視頻。

01  體積視頻是個(gè)啥？

傳統(tǒng)視頻每秒播放30幀的畫面，而體積視頻則每秒播放30個(gè)3D模型。

觀眾可以自由選擇從任意視角、任意距離（6 degrees of freedom，即6Dof），探索體積視頻內(nèi)容。

在直播帶貨、全息通信、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和遠(yuǎn)程教育等領(lǐng)域，體積視頻的應(yīng)用可以實(shí)現(xiàn)更沉浸和動態(tài)的互動觀看體驗(yàn)。

但是根據(jù)傳統(tǒng)技術(shù)，體積視頻生產(chǎn)對設(shè)備要求高，需要幾十臺到上百臺相機(jī)同時(shí)捕捉三維場景的數(shù)據(jù)。

同時(shí)，高精度的3D重建也是體積視頻制作的一大難點(diǎn)。

“龍辰辰”的造型復(fù)雜，設(shè)計(jì)元素都來自于珍貴文物，需要大量的時(shí)間去細(xì)化模型的每一個(gè)部分。

一個(gè)有經(jīng)驗(yàn)的建模師可能需要幾天到一周的時(shí)間來完成，確保高度的真實(shí)性和精確度。

02 當(dāng)虹做的體積視頻，有什么特別？

當(dāng)虹科技跨模態(tài)三維體積視頻AIGC產(chǎn)品，這就來啦！

對于資源有限，或需要快速原型制作的場景，用手機(jī)拍攝幾張多角度的靜態(tài)圖片或視頻，就可以在短時(shí)間內(nèi)自動化生成高質(zhì)量的三維體積視頻。

在三維模型轉(zhuǎn)換方面，利用AI能力，可以進(jìn)行圖像特征匹配，輕松重建動態(tài)對象的三維運(yùn)動軌跡。

從數(shù)據(jù)采集、處理到模型生成和優(yōu)化，整個(gè)過程耗時(shí)僅幾分鐘。

03 算法升級，畫質(zhì)和速度大幅提升

當(dāng)虹科技算法工程師豪哥說，調(diào)試體積平臺性能的過程，就像“打怪升級”。

一開始的建模速度要1小時(shí)左右。

生成的模型可能還有各種“缺陷”。

比如像這樣，顏色失真，邊緣銳利，表面粗糙，坑坑洼洼。

為了提升建模制作效率，并把模型打磨得更精細(xì)一些，當(dāng)虹體積視頻項(xiàng)目組進(jìn)行了算法優(yōu)化。

技術(shù)團(tuán)隊(duì)“磨”了一個(gè)半月，建模質(zhì)量和速度都得到了質(zhì)的飛躍：

從1小時(shí)到幾分鐘，速度提升了95%以上。

模型關(guān)鍵特征的紋理信息都更加真實(shí)細(xì)膩。

來看改進(jìn)后的生成結(jié)果！

“龍辰辰”的龍面、龍眉、龍肩、龍腹、龍脊、龍鰭乃至龍爪，每個(gè)細(xì)節(jié)都經(jīng)過精確建模和呈現(xiàn)。

這就是質(zhì)感！

04 將在更多場景中落地應(yīng)用

要在動態(tài)和交互場景中成功應(yīng)用，體積視頻還需要支持實(shí)時(shí)渲染。

目前，當(dāng)虹科技的體積視頻平臺渲染速度已經(jīng)可以達(dá)到100fps，顯著快于業(yè)內(nèi)平均水平。

想象一下，在線體驗(yàn)一場真正的體育比賽，又或者虛擬訪問名勝古跡，可以任意切換視角或縮放大小。

各種旋轉(zhuǎn)、查看、移動都絲滑流暢，享受身臨其境的體驗(yàn)。