· TongFlow Team · お知らせ  · 4 min read

TongFlow が SCAIL-2 を統合 — GPU で動かす制御可能なキャラクターアニメーション

公式プラグイン tongflow-modal-scail2 が、エンドツーエンドの制御可能なキャラクターアニメーションをキャンバスに追加。任意の参照動画で 1 枚のキャラクター画像を動かし、Modal 経由で単一の A100 上で実行します。

公式プラグイン tongflow-modal-scail2 が、エンドツーエンドの制御可能なキャラクターアニメーションをキャンバスに追加。任意の参照動画で 1 枚のキャラクター画像を動かし、Modal 経由で単一の A100 上で実行します。

TongFlow が SCAIL-2 を統合しました。 公式プラグイン tongflow-modal-scail2 が、エンドツーエンドの制御可能なキャラクターアニメーションをキャンバスに追加します——キャラクター画像と駆動動画を渡すと、キャラクターがその動きに合わせて動きます。GPU は Modal が提供します。

TongFlow での SCAIL-2 制御可能なキャラクターアニメーション

何ができるか

SCAIL-2(zai-org/SCAIL-2)は Wan2.1 ベースの制御可能なキャラクターアニメーションモデルです。プラグインはこのモデルを、すぐに実行できる 2 つのノードとして組み込みます。スロット構成は tongflow-modal-wan-animateまったく同じ 2 つなので、既存のワークフローのバックエンドをそのまま差し替えられます。

  • アニメーション(video-image-gen-video-move——駆動動画の動きをキャラクターに演じさせる。
  • 置き換え(video-image-gen-video-mix——動画内の人物をあなたのキャラクターに置き換える。

入力はキャラクター画像 + 駆動動画、出力は駆動音声を保持した mp4 です。内部ではヘッドレスの ComfyUI + WanVideoWrapper + WanAnimatePlus とコアの SAM3 ノードが動き、カラーマスクを自動生成します——手作業のロトスコープは不要です。共有グラフ内の 1 つのブール値で 2 つのモードを切り替えます。

単一 GPU に収まる設計

プラグインは SCAIL-2 14B DiT を fp8 で、BlockSwap と組み合わせて実行し、パイプライン全体を単一の A100-80GB に収めます。長辺 896px・約 5 秒のクリップなら、エンドツーエンドでおよそ 9 分です(fp8、6 ステップ lightx2v、BlockSwap 10、コールドスタート時のモデル読み込みを含む)。出力の長さは min(駆動動画の長さ, duration) に従います。VRAM、アテンションモード、ウォーム維持などのチューニング項目はプラグインの README に記載されています。

無料で始める

プラグインは Modal 上で動作し、新規アカウントには毎月最大 $30 分の無料 GPU クレジットが付与されます(A100 クラスの実機)。GPU を持っていなくても、たくさんのクリップを動かせる量です。TongFlow の設定には次の 3 つの認証情報が必要です:MODAL_TOKEN_IDMODAL_TOKEN_SECRET、そしてゲート付きの重み Comfy-Org/sam3.1 へのアクセスが認可された HF_TOKEN(先にライセンスに同意してください)。

試してみる

  1. プラグインをインストール——TongFlow でプラグインマネージャを開き、tongflow-modal-scail2 をインストール。再起動なしですぐ使えます。
  2. 認証情報を追加——設定に Modal トークンと HF_TOKEN を入力。
  3. キャラクター画像と駆動動画をキャンバスに置きアニメーションまたは置き換えを選んで実行。初回利用時にプラットフォームが自動で Modal にデプロイします。

TongFlow は初めてですか? まずは v0.1.0 リリース記事をどうぞ。デスクトップアプリは Releases から入手できるほか、ホスト版スタジオ app.tongflow.com ならインストールなしで始められます。役に立ったら、GitHub でのスターが大きな励みになります。

想像を広げ、アイデアを伸ばそう——ぜひお試しを。

TongFlow の新機能 — v0.1.2 以降のすべて

最初のオープンソースリリース以降、TongFlow は新しいモデル、新しいノードタイプ、そして刷新されたキャンバスを届けてきました。v0.1.2 から v0.1.8 までのすべてのアップデートをまとめてご紹介します。

TongFlow がオープンソース化 — v0.1.0 リリース

TongFlow がオープンソースになりました。最初の公開リリース v0.1.0 では、デスクトップアプリ、プラグイン SDK、公式プラグインカタログを同時に公開——1 枚のキャンバスでマルチモーダル GenAI ワークフローを組むために必要なものが、すべて揃っています。