又爛又貴
我真的覺得，市面上生成影片的方案又爛又貴，真是令我厭惡啊。
那些生成點數什麼的，根本就是吸人骨髓：每一次都要花很多時間重複生成，出片的速度也沒比較快。
如果想把影片做得好一點，基本上困難重重，完全不符合真正進入創作階段的需求。
我最討厭的，就是這些「粗製濫造」的商業產品，還必須花錢。
而在本機執行的工具，基本上完全不考慮真正的操作需求跟加速需求，例如 ComfyUI。
所以，我自己做
因此，我就決定自己開發。
說到技術，更多是在做工程優化。
模型的技術方面，我的算力其實不多：一張 RTX 5080，加一張 RTX 3060。現在的配置裡，文字編碼另外放在一台 DGX Spark（GB10）上跑。
- RTX 508016 GB
- DiT、影片 VAE
- RTX 306012 GB
- 音訊 VAE
- DGX SparkGB10
- 文字編碼、反推
只要那台機器有對應的執行環境與模型檔，元件就能在已加入的機器之間重新分配；這只是我現在的擺法。
所以這套系統更多是我自己個人使用；之後實驗完成，再慢慢釋出。
現在能做什麼
專案整合了「文字 → 圖片 → 影片」的整套流程。
圖片
生成、轉換、編輯圖片。
去背即將加入
參考轉影片
用文字、圖片、影片、聲音當參考，轉成影片。
同時，我也把反推，跟一鍵替換整支影片的功能加了進來。
反推
把一張圖片轉換回 Prompt；影片反推已實作，尚未驗證。
- 測試中
一鍵替換
約 1 分鐘的影片，自動分批轉換，替換裡面的人物。
為擴充而設計
它同時有很好的擴充性與可用性：如果你有多台電腦可以用，這個專案能設定讓它們協調。
我把元件拆分得很細，每個都能放在適合它的機器上執行。
因為有分散式的能力，你其實能自己租機器，少少地花錢，可能就用這一兩個小時：部署、啟動、處理、匯出，結束關閉。
不過這目前還是設計目標：租用雲端 GPU 用的打包還沒做好，沒有安裝程式，執行環境也只支援 RTX 50、RTX 30 系列與 GB10。
- 部署
- 啟動
- 處理
- 匯出
- 關閉
比較專業的人，也能從數據分析出是哪個步驟很慢、是不是資料頻繁搬運等等。
太專業？看不懂？沒關係，專案提供 Skill，直接接入 Agent，讓它幫你優化。
編輯與 Prompt
再來是編輯的部分。開發的時候，我對 Prompt 推薦做了調整，能夠很好地導入 Prompt 需求。
其實我參考了 ArtCraft 的相關功能，但目前還沒整合進去。
規劃中接下來要做的
之後還有很多功能會慢慢加入：
TTS 與聲音遷移
開發中把文字念成語音，或把一段聲音換成另一種音色。我這邊也開發了一套 TTS 系統，當然也能接入其他人的。
超解析度與補幀
開發中讓畫面更清晰、動作更順。這邊我選了幾個技術，一樣在整合中。
多層級渲染
開發中我正在開發分級別的渲染：先用很快的粗略渲染把鏡頭跟分鏡定好，再一層層加上去，最後才花時間出片。
第一層
骨架與分鏡
只有骨架跟大致分鏡，連背景都是線條就好。速度很快，先把鏡頭跟分鏡做好。
第二層
套入人物
開始把人物等等套進去。
最後
出片
渲染壓力大，但基本上都固定了，就花時間出片。
生成外掛與滑桿
規劃中增加細部的控制系統：用 Slider 滑桿微調細節，或套用 LoRA 風格。
擴充模型支援
規劃中未來能自己接入第三方的模組與模型，例如整合 Suno 的音樂。
VAE 與 DiT 優化
規劃中讓最吃資源的步驟更快。目前還有幾個實驗沒處理，影片 VAE 的編碼與解碼，壓力還是太大。
諸如此類。開發進度，應該會以我的需求為主。
公開實測速度
我會發佈自己實際測試的結果：相關模型跑在我系統上的速度。大家可以根據表格，選擇用什麼方式來跑。
每一個數字，都會標明每個步驟是在哪一台機器上跑的；舊實驗封存沒記錄的，直接標「未記錄裝置」。
看實測速度
