【AI】顛覆動畫行業的突破性AI工具：ToonCrafter詳解與演示

最近這幾天 各大AI博主都在介紹一個工具 稱之爲將會改變動畫產業的 突破性的技術進展 那今天我們就來看一下 這個工具到底效果怎麼樣 我們先來看看它的介紹 ToonCrafter生成式卡通插值 它是由香港中文大學 香港城市大學和騰訊AI實驗室開發的 這項技術主要的功能是 根據一個開始幀和一個結尾幀 生成中間的過渡畫面 從而生成一個完整的動畫 我們來看看它官網上 這個最主要的例子 這個是ToonCrafter生成的 這個是EISAI生成的 我們可以看到它這個眨眼的動作 過渡的非常的自然 幾乎可以和專業的動畫片相媲美 下面也是一些它發佈的比較好的例子 這個是起始幀 這個是結尾幀 那我們可以看到 雖然起始幀和結尾幀非常相似 但是它在中間仍然生成了大量的 火光四射的 這個動態的畫面 就生成了非常豐富的動畫效果 那下面這個例子 我們可以看到它這個起始幀和結尾幀 它這個背景非常的穩定 這個是pixverse的效果 首先它這個背景有變形和變化 看上去就不穩定 另外它這個人物的變化也不自然 而這個是Haiper生成的效果 Haiper這個生成的效果它違反物理規律 因爲它右面這個火車軌道是不變的 而左面這個柵欄在不停的向後移 所以整個看上去就非常的違和 這裏是ToonCrafter的GitHub的項目地址 對！它是一個開源的項目 也就是說任何人都 可以免費的使用它 你可以將它的代碼下載 並在本地安裝使用 但是一般生成視頻的軟件 都需要很高的顯存 我就不在這裏給大家演示了 它有一些網上免費試用的地方 我們來看看 它實際使用的效果是怎麼樣的 這裏是它在huggingface上的 一個演示版本 它的操作非常簡單 這裏上傳一個起始幀的圖像 這裏上傳一個結尾幀的圖像 然後這裏輸入提示詞 我們就輸入眼睛 下面有一些簡單的參數設置 這個基本上就保持默認值都可以 Random Seed 如果你多次生成視頻 你希望在這些視頻中保持一致性 那麼你輸入同一個種子值 它就會生成相似的視頻 ETA 這個是AI算法中的某一個參數 具體的影響不太清楚 但是保持默認值1 是效果比較好的 CFG scale 這個用過stable diffusion的觀衆 應該都很熟悉了 就是它的值越高 那麼它就越精確的符合你的提示詞 它的值越低 那麼它的創造力就會越強 但是太高或者太低的值 出來的效果也並不是很理想 所以我們也就是放在默認值7.5 採樣步數 這個採樣步數越高的話 那麼生成的效果質量就會越高 我們看它這幾個例子都是用了50 我們這裏也用默認值50 FPS就是幀率 每秒鐘10幀 這個數值越高也是質量越高 但是花費的時間也越多 就這幾個簡單的設置 然後下面生成就可以了 我們看這裏 因爲使用的用戶比較多 所以這裏要排隊獲取GPU 並不是每次都能成功的獲取到GPU的 有的時候它會出現error 也就是說沒能獲取GPU資源 那這時候解決的辦法就是 一個是你註冊一個用戶 它會提高你的優先級 第二個方法就是訂閱它的付費服務 這樣的話 也會提高你獲得GPU資源的機會 我們看它生成的速度很快 大概不到一分鐘左右的時間 就生成好了 我們看看它這個效果 這個眼睛的這個變換 就使用這樣的視頻 來製作一個專業的動畫 應該是完全不成問題的 接下來我們看另外一個例子 這個是我在冰雪女王中截取的兩幀 對於這個工具來講 這個開始幀和結束幀 需要儘可能的相近 因爲它生成的視頻一共只有2秒 在2秒鐘之內 它這個人物的動作 不能有太大的幅度變化 不然的話 它生成的效果就會變形或者是失真 同樣也是不到1分鐘的時間 就生成好了 可以看到這個人物的面部 從開始幀到結束幀 基本上能夠保持這個人物的一致性 我們可以看到 這個人物在各個角度 都保持了這個Elsa的這個面部特徵 這個生成的效果 幾乎可以媲美這個原始的電影 那對於專業的動畫創作者來說 它需要繪製起始幀和終止幀 然後就會生成中間的這個圖像 對於我們普通的AI玩家來說 怎麼樣獲得兩個相似的圖像 那麼一個最簡單的方法 就是將這個圖像進行一定程度的放大 比如說這張圖像 那麼這樣就會造成一種 鏡頭拉近的效果 它還給這個小女孩眨了一下眼睛 接下來我們來看另外一個試用的地方 這個是在Replicate裏面 它這裏提供的功能 比huggingface的試用版要強 我們看它這裏 一共最多可以輸入10張圖像 也就是說生成10個關鍵幀的視頻 這裏它有一定的免費額度 用完之後就需要付費了 之前在huggingface裏面 我試着用這兩幅圖像 來生成眨眼的動畫 但是始終也無法生成 最後生成的效果就是這樣的 那麼我們使用這個Replicate這個工具 我們可以使用3個關鍵幀 來生成它眨眼的動畫 我們中間加一個 眼睛閉上的這一瞬間的關鍵幀 這裏輸入提示詞 反向提示詞 隨便輸入幾個 這裏可以輸入視頻的尺寸 最大的寬和高 最大到768 我們將它改爲768 這個改爲768 它會根據你輸入的圖像 來確定視頻的寬高比 好接下來這幾個參數loop loop這個我們就不選了 interpolate這個就是插值 這個是使用兩倍的插值算法 顏色校正 種子值 OK, Run 我們可以看到 它生成的效果非常的完美 我們都知道 製作動畫是要耗費大量的時間的 它需要逐幀的去繪製 如果這個工具 能夠達到可接受的效果的話 那麼它真的是可以改變動畫產業的 它可以節省大量的時間 創作者只需要繪製一些關鍵幀 中間的動畫都可以交給這個AI工具來生成 今天的視頻就到這裏 感謝大家的觀看 我們下一期視頻再見