【上海證券報】當(dāng)虹科技發(fā)布多模態(tài)視聽大模型BlackEye

來源：上海證券報
作者：王子霖

上證報中國證券網(wǎng)訊（記者 王子霖）記者從當(dāng)虹科技獲悉，在4月27日舉行的“2024中關(guān)村論壇·超高清視聽科技創(chuàng)新發(fā)展論壇”上，當(dāng)虹科技與北京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)聯(lián)合發(fā)布BlackEye大模型基座及應(yīng)用場景。

會上，依托BlackEye多模態(tài)視聽大模型生成的AI視頻短片《BlackEye：讓每一個視聽的想象都成為現(xiàn)實》驚艷全場，該短片憑借卓越的畫面連貫性、優(yōu)異的畫質(zhì)及立體震撼的三維聲效，贏得了在場觀眾的高度贊譽(yù)。從“青萍之末的風(fēng)”到“吹皺一池春水”，從“微瀾之間的浪”到“驚濤拍岸”，不管是遠(yuǎn)景、近景，還是全景、特寫，這個基于BlackEye生成的AI短片，都體現(xiàn)出其對物理世界豐富的理解能力。

據(jù)了解，BlackEye融合了多種深度神經(jīng)網(wǎng)絡(luò)組件，包括Transformer、Diffusion等組件，通過文本、圖像、視音頻、三維模型等多種模態(tài)的編碼、解碼、多模態(tài)潛空間對齊、多模態(tài)語言推理及生成等技術(shù)，實現(xiàn)不同模態(tài)信息之間的推理和預(yù)測生成。

同時，BlackEye深度整合了視頻、音頻、圖像、文本和三維模型等跨模態(tài)內(nèi)容的推理與生成能力，包括文本生成、文生視頻、圖生視頻等生成式算法，以及AI視覺增強(qiáng)、AI橫豎轉(zhuǎn)換、AI智能集錦等編輯式算法。這些技術(shù)的融合應(yīng)用，可為視聽傳媒、空間計算、工業(yè)視覺和智能座艙等行業(yè)提供完整的創(chuàng)新解決方案。