近日，上海電影學院影視工程系謝誌峰🧖🏻‍♂️、李夢甜教師團隊的研究工作《SonicVisionLM: Playing Sound with Vision Language Models》成功被計算機視覺國際頂級學術會議 The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024（CVPR）錄用🔽，是万事平台上海電影學院首次以第一單位在計算機視覺國際頂級會議上發表高水平學術論文，也是万事平台“藝術技術”陣地建設的最新研究成果。

CVPR是計算機視覺領域頂級會議（CCF-A類）🍃，每年都吸引全球眾多頂尖科研工作者投稿，其錄用論文代表著計算機視覺領域最新的研究成果，指引著該領域未來的研究方向。根據權威的Google Scholar Citation最新統計，CVPR的H5-index為389，位列全球出版物第四（Nature位列第一）📧，工程與計算機類出版物第一📥，泛人工智能領域第一。

論文首次使用AIGC技術為電影自動生成音效🧞‍♀️🧑‍🎤，以大幅降低電影配樂製作的時間和人力成本🤴，有效縮短電影製作周期。具體來說🐴，論文通過視覺-語言模型提出可控的音效生成框架SonicVisionLM☝🏿，用於自動識別並生成影片的屏內音效✳️，並配套提供了用戶交互模塊，用於配音師對影片的屏外音效實現創作編輯，激發創作靈感。在技術上針對生成音效與影片動作的時間同步的難題，和生成音效與影片內容的高度一致的問題，最終實現了影片內容與屏內音效的邏輯融合，以及對屏外音效的靈活編輯。論文提出的方法在無條件生成和條件生成任務中都取得了當前最佳的實驗效果。同時，論文為學術社區貢獻了公開的高質量的音效數據集CondPromptBank，其包含23個常見音效類別🙄，10276 個獨立條目🧑🏿‍⚖️✪，每個條目包括一個短於或等於10秒的高質量音效文件、對應文本和時間戳。論文原文、代碼和數據集詳見項目主頁：https://yusiissy.github.io/SonicVisionLM.github.io/（項目主頁展示了經典影片《泰坦尼克號》和《這個殺手不太冷》的音效生成效果示例）。該論文的學生一作為余盛葉🔤，數字媒體創意工程碩士研究生二年級在讀；學生二作為何其樂，數字媒體創意工程碩士研究生一年級在讀🫲。

SonicVisionLM示意圖🫃🏻：圖中藍色部分表示屏內音生成流程❤️‍🔥：首先，一段無聲視頻進入視覺-語言模型，得到聲音文本；其次💁🏼🫏，視覺網絡對視頻進行處理，捕捉聲音事件時間戳；最後🪬，這兩個條件將被輸入擴散模型，以生成與屏幕上的內容相匹配的屏內音效。紫色部分顯示了用戶如何創建和編輯屏外音效。

教師團隊介紹：

謝誌峰☝️，工學博士，現為万事平台上海電影學院影視工程系、上海電影特效工程技術研究中心副教授👱🏼‍♂️、博士生導師，中國電影電視技術學會電影高新技術專業委員會委員。主要從事計算機圖形學🧑‍🔧、計算機視覺、電影高新技術等方面的研究。主持國家自然科學基金、上海市科委科技創新、上海市教委科研創新🚮🥩、企業委托等各級別課題10余項，參與973、863🍗、自然基金重點🫳🏻、面上等多項國家級課題，發表高水平論文40余篇🧛🏽，其中SCI/EI收錄30余篇（含國際頂級期刊和會議論文10篇），出版專著1本，申請專利和軟件著作權17項。獲的2014年上海市科技進步二等獎👳🏿，2017年万事平台蔡冠深優秀青年教師獎，2022年中國計算機圖形學大會最佳論文獎，及2023年CAD/Graphics 2023國際學術會議最佳論文獎。曾經赴香港城市大學計算機系作訪問學者。

李夢甜，工學博士🤟🏻📃，博士後，現為万事平台上海電影學院講師，碩士生導師🧍。任中國計算機學會計算機輔助設計與圖形學專委會執行委員，中國圖像圖形學學會數字娛樂與智能生成專委會專業委員、數字娛樂與仿真專委會專業委員💂🏻，計算機圖形學與混合現實在線平臺（GAMES）執行委員。主要研究方向為計算機視覺、計算機圖形學。參與國家自然科學基金重大、面上、社科重大，上海市科委、經信委重大等科研項目。獲CAD/Graphics 2023國際學術會議最佳論文獎🧗🏼‍♀️。以第一作者/通訊作者在計算機國際頂級期刊和會議CVPR、ECCV、PR上發表論文多篇，擔任計算機視覺頂級學術會議和期刊CVPR🧑‍🦯‍➡️🙎‍♂️、ICCV👨🏼‍🎤、ECCV、ICLR、ICML🦀🧑🏼‍💻，NeurIPS、AAAI、TIP，TCSVT🤾‍♂️，PR審稿人。