圖森未來近期在人工智能領(lǐng)域邁出了重要一步，正式推出了名為“Ruyi”的圖生視頻大模型，并慷慨地將Ruyi-Mini-7B版本向公眾開源，用戶現(xiàn)可通過huggingface平臺(tái)輕松下載并使用這一創(chuàng)新工具。

Ruyi是一款基于DiT架構(gòu)的視頻生成模型，其設(shè)計(jì)理念獨(dú)特，由兩大核心模塊構(gòu)成：一是Casual VAE模塊，負(fù)責(zé)高效處理視頻數(shù)據(jù)的壓縮與解壓；二是Diffusion Transformer模塊，專注于生成經(jīng)過壓縮的視頻內(nèi)容。這款模型擁有約71億個(gè)參數(shù)，經(jīng)過大量訓(xùn)練，涉及約2億個(gè)視頻片段，旨在為用戶提供前所未有的視頻生成體驗(yàn)。

圖森未來在設(shè)計(jì)Ruyi時(shí)，充分考慮了用戶的實(shí)際需求，特別優(yōu)化了模型在消費(fèi)級(jí)顯卡上的運(yùn)行效率，如RTX 4090等，確保用戶無需高端硬件也能輕松體驗(yàn)。Ruyi還配備了詳盡的部署指南和ComfyUI工作流，即便是初次接觸的用戶也能迅速上手。

Ruyi的功能性同樣令人矚目，支持多分辨率、多時(shí)長的視頻生成，分辨率范圍從384*384到1024*1024，任意長寬比，最長可達(dá)120幀或5秒的視頻內(nèi)容。用戶還可通過控制首幀和首尾幀來定制視頻，最多可設(shè)置5個(gè)起始幀和5個(gè)結(jié)束幀，通過循環(huán)疊加，實(shí)現(xiàn)任意長度的視頻創(chuàng)作。

更Ruyi還提供了4檔運(yùn)動(dòng)幅度控制和5種鏡頭控制選項(xiàng)，包括上、下、左、右移動(dòng)和靜止，使用戶能夠更精細(xì)地調(diào)控畫面變化和鏡頭切換，為視頻創(chuàng)作增添更多可能性。

然而，Ruyi目前仍存在一些不足，如手部動(dòng)作可能顯得不夠自然，多人場景中的面部細(xì)節(jié)有時(shí)會(huì)出現(xiàn)失真，以及不可預(yù)測的轉(zhuǎn)場效果。圖森未來對此表示，團(tuán)隊(duì)正在積極改進(jìn)這些缺點(diǎn)，并計(jì)劃在未來的更新中逐步修復(fù)。

圖森未來強(qiáng)調(diào)，Ruyi的發(fā)布旨在利用大模型技術(shù)縮短動(dòng)漫和游戲內(nèi)容的開發(fā)周期，降低制作成本。目前，Ruyi已經(jīng)能夠根據(jù)用戶輸入的關(guān)鍵幀，自動(dòng)生成接下來的5秒內(nèi)容，或根據(jù)兩個(gè)關(guān)鍵幀生成中間的過渡畫面，極大地提升了創(chuàng)作效率。未來，圖森未來還將推出更多版本的Ruyi，以滿足不同創(chuàng)作者的多樣化需求。

對于想要探索Ruyi-Mini-7B版本的開發(fā)者，可以訪問以下開源鏈接：