免費把任何視頻反推成提示詞！Colab T4 實測 Qwen3-VL 逆向神器

平常我們在刷視頻的時候 經常會看到一些非常不錯的AI視頻 那些視頻的畫面呀運鏡呀 包括人物動作都做得非常的好 但是有一個問題 我們雖然看到了這個視頻它是這樣子的 我們並不知道它的提示詞是怎麼寫的 或者是通過AI如何把這個視頻生成出來的 尤其是像Google VEO這樣的AI視頻生成工具 包括像Sora、可靈、Vidu等等 有時候我們自己寫了很長一段的提示詞 生成出來的效果 跟我們自己想象的完全不一樣 那所以今天這期視頻 我準備做一個小實驗 我們使用阿里開源的 千問3 VL2B視覺語言模型 搭建一個 Video-to-Prompt 也就是視頻提示詞的逆向工具 簡單來說 就是把一段視頻上傳上去 讓模型分析裏面的場景 人物動作 鏡頭運動 光影和整體的風格 然後反推出一段 可以用於AI視頻生成的提示詞 而且我們這次不使用自己電腦的顯卡 也不購買服務器 我們直接使用谷歌 Colab 提供的 T4 GPU 來運行 哪怕你是谷歌的免費賬戶 都是可以來免費運行這個 T4 GPU 的 那至於這個 2B 的小模型 能不能夠準確的分析視頻 生成出來的提示詞效果怎麼樣 我們等一下來實際做一個測試 我們首先打開谷歌Club 這個呢是谷歌提供的一個在線Python的運行環境 它有一個比較方便的地方 就是我們不需要在自己電腦上安裝Python 也不需要提前配置CUDA這些東西 所有的代碼都在谷歌的雲端運行 而且它還提供GPU的資源 那當然了 這個免費的GPU 它不是無限量的使用的 並且也不保證每次它都能分配得到 我們今天主要使用的是T4 顯存呢，大約16個GB 對於像千問 VL 2B 這樣的小參數模型來說 用來做推理是比較合適的 也完全能夠在T4這樣的配置上面來運行 我們首先呢準備了這樣子一份文件 這份文件呢是我提前整理好的 Notebook一個文件 包含了像模型安裝 視頻的處理 提示詞的生成 以及Gradio網頁的一個界面 我們需要把這份文件上傳到 Colab 裏面去 回到 Colab 點擊上傳筆記 我們把這份文件把它拖拽到裏面來 等它上傳完畢 進來之後呢 我們就能看到它分了很多個步驟 1 2 3 4 5 它這些步驟呢都是按順序來進行運行的 我們首先第一步要檢查GPU它的一個連接 我們可以點擊右上方這裏有一個下拉三角 我們點擊這裏的更改運行室類型 它默認的硬件加速是CPU 我們要把它改成T4 GPU的類型 點擊保存 然後點擊右上角的這裏連接 我們要先連接到T4的GPU OK這裏顯示連接了就OK 我們回到這裏點擊運行一下 如果我們是第一次使用Colab的話 要一步一步來進行一個安裝 不建議大家使用全部運行 第一步7秒鐘檢查完畢沒問題 接下來進行到第二步運行 一鍵安裝它的依賴 我們直接點擊這裏的運行 在第二步安裝的時候 它有可能會自動重啓 它的Colab會自動恢復連接 我們就不用管它 我們等待它安裝完畢 剛剛重啓了之後 我們就來到第三步環境質檢 我們直接點擊這裏運行 環境檢查通過 我們接下來就來到第四步 要下載這個模型 我們當前使用的是千問3VL2B模型 這裏呢 我們要把下載好的模型 要存到谷歌Drive這個雲盤裏面 在這裏呢 我覺得有必要給大家講一下 Colab使用的是谷歌提供的一個雲端的運行環境 我們可以把它理解成 臨時分配給我們的一臺雲電腦 我們在這臺電腦裏面安裝的軟件 下載的模型 默認都是放在它的臨時磁盤裏面的 當運行環境被回收 或者是被重置之後 這些文件就可能被清理掉了 我們下次再使用的時候 它又得重新下載這些模型 雖然這個模型文件只有2B的參數 但是它也有好幾個GB 如果我們每次運行都要重新下載的話 還是挺浪費時間的 所以這次把它存到谷歌Drive裏面 它下次我們再使用 它就直接從裏面來讀取這個模型 就不需要我們重新下載了 我們直接來進行運行一下 它會提示允許該筆記本 訪問我們的谷歌雲盤 我們要做一個連接 點擊繼續 在這裏要做一個全選 點擊繼續 谷歌Drive呢 大家應該都知道 就是谷歌提供的雲端的硬盤 我們把這個模型保存到谷歌Drive之後呢 只要自己不刪除 而且你的雲端硬盤空間足夠 那這些文件就可以一直保留 我們就等待它這裏下載完畢 它正在下載它所需要的一些文件 和它的一些依賴 那也能看得到它的模型目錄呢 是存在我的雲端硬盤裏面的 整個下載過程當中就一分鐘的時間 速度還是非常快的 下載好了之後 我們就進入下一步 從谷歌 Drive 加載模型到 T4 的 GPU 這裏 我們直接點擊運行一下 這裏顯示模型加載成功 我們到了最後一步 就是啓動這個網頁端 我們直接點擊運行 一直往下面翻 那這個時候在下方就可以看得到 我們出來了一個UI的一個界面 這裏面呢，操作的空間比較小 我們可以複製 它這裏給我們提供了一個 URL 鏈接 我們把它打開 在這裏就更好操作了 我們接下來就直接來上傳視頻 進行提示詞的一個立項 我這邊給大家準備了一個視頻 比如說我們就立項這個視頻 我們可以先打開看一下 原視頻是 什麼樣子的 看完了之後 我們直接把它上傳上來 翻到下方 這裏直接點擊開始立項 那他就正在讀取這個視頻和分析他的一個畫面了 在最右邊呢 也有他的一個需要的時間 不到一分鐘的時間 他這邊就已經立項出來了 下方是他採樣針的一個預覽 包括最後面也有下載 txt 或者是 json 的文檔 那我們翻到這裏 在這個界面呢 就能看得到他的一些提示詞 像這個主要是針對於 Google Flow 的一個提示詞 這裏也有一個通用的提示詞 包括中文的一個拆解 這裏面會分析它的主體場景動作順序 包括鏡頭的一個構圖 運鏡啊 它都有詳細的一個說明 在後面呢 也有時間線 包括觀察的接省文件 在這裏都有 讓我們直接使用這個 Google Flow 的這個提示詞 我們把它複製下來 複製了之後呢 我們打開 Google Flow 我們在這裏做一個粘貼 我們在視頻選擇這裏 我們選擇 9 比 16 的 時間呢選擇 10 秒 選好了之後 我們直接回車發送 我們看它生成出來的一個質量 到底怎麼樣 這邊生成出來了 我們來播放一下 誒質量 還可以哈 整體的這種感覺 包括它的一個動作 只是這裏的聲音不太一樣 那至此呢 我們就跑通了今天的這個 視頻到提示詞的逆向 這樣子一個功能 我們使用了谷歌Club的T4GPU 運行的千問 3VL 2B 的這個模型 並且搭建了一個可以通過網頁操作的視頻提示詞逆向工具 那整個過程當中呢 不需要我們在本地安裝模型 也不需要自己電腦有獨立的顯卡 千問 2B 的這個模型呢 它的優勢主要是資源佔用相對比較低 那至於對視頻的理解的一個準確率 還是有待商榷的 特別是對於其他很複雜的一些動作和鏡頭的運動方面 它這個還是有一些問題 我們剛剛演示的這個只是一個很簡單動作的這樣子一個視頻 所以大家在實際的運用的時候 需要根據自己實測的效果來看 大家也可以通過這些內容 來進行對自己項目的一個優化 今天視頻的所有資源鏈接 我都放在了我的博客網站裏面 大家可以前往自取