字節跳動推出新一代單圖視頻驅動技術——X-Portrait 2,該技術僅需一張靜態圖片和一段驅動視頻,便能生成高品質、“電影級”的視頻內容。
X-Portrait 2技術的亮點在于,它不僅完美保留了原圖的身份特征(ID),同時能夠精準捕捉并遷移各種細致入微乃至夸張的表情和情緒。這一創新極大地簡化了動作捕捉、角色動畫以及內容創作的流程。
與以往依賴人臉關鍵點檢測的技術不同,X-Portrait 2通過構建一個先進的表情編碼器模型,并采用端到端的自監督訓練框架,從海量的人像視頻中自我學習,提取出與身份無關的運動隱式表征。
該技術進一步融合了強大的生成式擴散模型,從而能夠生成出流暢且極具表現力的視頻。在經過大規模高質量表情視頻的訓練后,X-Portrait 2在運動表現力和身份保持性上均顯著超越了之前的技術。
業界專家表示,X-Portrait 2的推出將極大地推動視頻創作領域的進步,為創作者們提供更為便捷高效的工具,同時也將為用戶帶來更加豐富多樣的視覺體驗。
感興趣的用戶和開發者可以通過訪問項目地址:https://byteaigc.github.io/X-Portrait2/,了解更多關于X-Portrait 2的詳細信息,并體驗其強大的功能。