ひどくて、高い
正直なところ、市販の動画生成サービスはひどいうえに高くて、本当にうんざりしています。
生成クレジットなんて、骨の髄までしゃぶり尽くす仕組みです。何度も生成し直すたびに時間がかかるのに、仕上がりが速くなるわけでもありません。
少しでも良い映像を作ろうとすると困難だらけで、本当の意味で創作に入れる状態にはまったくなっていません。
いちばん嫌いなのは、こうした「粗製乱造」の商用サービスに、お金まで払わされることです。
ローカルで動くツールは、実際の操作や高速化のニーズを、まったくと言っていいほど考えていません。ComfyUI がその一例です。
だから、自分で作る
だから、自分で開発することにしました。
技術的に言えば、その多くはエンジニアリングの最適化です。
モデルの面では、手元の計算資源は実はそれほど多くありません。RTX 5080 と RTX 3060 が 1 枚ずつです。今の構成では、テキストエンコードを別の DGX Spark（GB10）で動かしています。
- RTX 508016 GB
- DiT、映像 VAE
- RTX 306012 GB
- 音声 VAE
- DGX SparkGB10
- テキストエンコード、逆引き
対応する実行環境とモデルファイルがあれば、コンポーネントは参加しているマシンの間で配置を変えられます。これはあくまで今の私の配置です。
なので、基本的には自分で使うためのものです。実験が終わったものから、少しずつ公開していきます。
今できること
テキスト → 画像 → 動画の流れ全体を、ひとつにまとめています。
画像
画像の生成、変換、編集。
背景除去近日追加予定
参照から動画
テキスト、画像、動画、音声を参照にして、動画を作ります。
さらに、逆引きと、動画まるごとのワンクリック差し替えも加えました。
逆引き
1 枚の画像からプロンプトを書き起こします。動画の逆引きは実装済みで、検証はまだです。
- テスト中
ワンクリック差し替え
約 1 分の動画を自動で分割して順に変換し、人物を差し替えます。
拡張を前提にした設計
拡張性と使いやすさも重視しています。複数のコンピューターがあれば、このプロジェクトで連携させられます。
コンポーネントはとても細かく分けてあり、それぞれに合ったマシンで動かせます。
分散処理ができるので、自分でマシンを借りて、わずかな費用で 1〜2 時間だけ使う、といった使い方もできるようになります。デプロイ、起動、処理、書き出し、そして終了です。
ただし、これはまだ設計目標の段階です。レンタルのクラウド GPU 向けのパッケージやインストーラーはまだなく、実行環境も今は RTX 50／RTX 30 シリーズと GB10 向けだけです。
- デプロイ
- 起動
- 処理
- 書き出し
- 終了
詳しい人なら、どのステップが遅いのか、データを頻繁に移動していないかといったことまで、計測値から分析できます。
専門的すぎてわからない？ 大丈夫です。付属の Skill をエージェントにつなげば、最適化を任せられます。
編集とプロンプト
次に編集です。開発の過程でプロンプトの提案機能を調整し、必要な要素をうまく取り込めるようにしました。
実は ArtCraft の機能も参考にしていますが、まだ統合していません。
計画中これから作るもの
これからも、少しずつ機能を追加していきます。
TTS と声質変換
開発中テキストの読み上げと、声を別の声質に変える機能です。自前の TTS システムも開発していますが、もちろんほかの TTS もつなげられます。
超解像とフレーム補間
開発中映像をより鮮明に、動きをより滑らかにします。いくつかの技術を選んで、統合を進めています。
多段階レンダリング
開発中段階的なレンダリングを開発中です。速いラフでカメラとカット割りを先に固め、少しずつ要素を足して、時間をかけるのは最後の書き出しだけにします。
第 1 段階
骨格と絵コンテ
骨格と大まかな絵コンテだけ。背景も線画で十分です。速いので、先にカメラとカット割りを決めます。
第 2 段階
人物を入れる
人物などを当てはめていきます。
最終段階
書き出し
負荷は大きいものの、内容はほぼ固まっているので、あとは時間をかけて書き出すだけです。
生成プラグインとスライダー
計画中細かな制御を加えます。スライダーで細部を調整したり、LoRA でスタイルを適用したりできるようにします。
対応モデルの拡充
計画中サードパーティのモジュールやモデルを、自分でつなげられるようにします。たとえば Suno の音楽との統合です。
VAE と DiT の最適化
計画中いちばん重い処理を速くします。まだ手をつけていない実験がいくつかあり、動画 VAE のエンコードとデコードは今も負荷が大きすぎます。
ほかにもありますが、開発の優先順位は基本的に自分の必要に合わせて決めます。
実測の速度を公開
各モデルが私のシステムで実際にどのくらいの速度で動くのか、実測した結果を公開します。表を見て、どの方法で動かすか選んでください。
どの数値にも、各ステップをどのマシンで動かしたかを明記します。古い実験の記録に残っていないものは「実行デバイス未記録」と表示します。
実測の速度を見る
