TongFlow는 오픈소스 멀티모달 GenAI 워크플로 스튜디오입니다. 모든 AI 모델을 무한 캔버스 위의 노드로 바꿔, 텍스트·이미지·영상·오디오·문서·3D 모델을 블록을 끼워 맞추듯 연결할 수 있습니다. 단일 모델로는 만들 수 없는 결과물을 만들기 위해서입니다.

30초로 보는 TongFlow

자료를 캔버스에 놓고 다음 단계를 고르면 연결은 자동으로 이루어집니다. 남은 일은 실행뿐입니다. 파라미터 패널도, 수동 배선도 필요 없습니다. 이게 전부입니다. 사람들이 이미 만들어 낸 것들을 몇 가지 소개합니다:

기본 — 텍스트를 입력해 이미지를 생성하고, 그 이미지들을 한 장으로 합성합니다.
토킹 헤드 영상 — 주제 → 대본 → 음성에 캐릭터 설명 → 이미지를 더해, 립싱크된 아바타 영상으로 완성합니다.
뮤직비디오 — 가사 + 곡 + 캐릭터 + 장면 + 스토리보드를 생성해 한 편의 MV로 조립합니다.

각 결과물 뒤에 있는 워크플로는 GitHub의 데모와 GIF에서 확인할 수 있습니다.

우리가 만든 이유

AI 능력은 폭발적으로 늘고 있습니다. text-to-image, image-to-video, text-to-speech, 립싱크, 초해상도까지. 하지만 이들은 제각기 다른 도구에 흩어져 있습니다. 인터페이스도 파라미터도 도구마다 다르고, 파일을 다음 도구로 옮기는 일은 전부 수작업입니다. 아이디어가 모달리티 하나를 넘어서는 순간, 창작보다 번거로움이 앞서게 됩니다.

TongFlow의 답은 하나의 캔버스입니다. 모든 능력이 노드가 되고, 모든 노드가 타입이 정의된 계약을 따르며, 연결은 자동으로 이루어집니다. 그러면 어려운 부분은 다시 창작 그 자체가 됩니다.

핵심 아이디어

모든 모델을, 하나의 멘탈 모델로

어떤 AI 모델이든 ‘무엇을 무엇으로 바꾸는가’로 볼 수 있습니다. LLM은 text → text, 디퓨전 모델은 text → image, text-to-speech는 text → audio, 음성 인식은 audio → text, 3D 생성기는 image → 3D입니다. 결국 모든 능력은 같은 종류의 것, 즉 모달리티 변환입니다. 그래서 TongFlow는 각 모델을 타입이 정의된 입출력을 가진 노드로 감쌉니다. 끝없이 불어나는 AI 모델의 세계가 일관된 멘탈 모델 하나로 정리됩니다. 새 모델이 나와도 노드 하나가 늘어날 뿐, 작업 방식은 그대로입니다.

생성에서 그치지 않는, 모든 모달리티

이미지·영상·오디오·텍스트·문서·3D, 사람들이 실제로 웹에서 주고받는 형식을 모두 동등하게 다룹니다. 생성만 하는 것도 아닙니다. 편집하고, 이해하고, 업스케일하고, 받아쓰고, 모달리티 사이를 오갈 수 있습니다. 텍스트가 이미지가 되고, 이미지가 영상으로 움직이고, 영상에는 생성된 음성이 립싱크됩니다. 문서나 URL도 텍스트로 바꿔 다음 단계에 넘길 수 있습니다. 무엇을 가져오든, 원하는 결과까지 가는 길이 있습니다.

낮은 진입 장벽

CFG 스케일도, 샘플러 설정도, 파라미터 패널 깊숙이 숨은 시드 값도 없습니다. 수동 배선도 물론 없습니다. 필요한 동작은 세 가지뿐입니다. 자료를 **추가(Add)**하고, **변환(Transform)**하고, 결과를 **조합(Combine)**합니다. 캔버스에 무언가를 놓고 다음 단계를 고르면 연결은 자동으로 이루어집니다. 데스크톱 앱을 설치하면 몇 분 안에 만들기 시작할 수 있습니다. 머신러닝 지식은 필요 없습니다.

높은 천장

모든 노드가 다른 모든 노드와 조합되기 때문에, 단순한 부품이 이어져 야심 찬 결과물이 됩니다. 가사 → 곡 → 캐릭터 → 장면 → 스토리보드 → 완성된 뮤직비디오까지, 전부 캔버스 하나에서 이루어집니다. 인터페이스는 쉬운 그대로지만 조합의 가짓수는 방대합니다. 모델을 자유롭게 엮어 만든 결과물은 어떤 도구가 찍어 낸 정해진 출력이 아니라 온전히 나만의 작품입니다. 진입 장벽은 낮고, 천장은 모델 생태계가 커질수록 계속 높아집니다.

열린 생태계

TongFlow의 코어는 일부러 작게 유지합니다. 모든 능력 노드는 계약으로 정의되고, 적어도 하나의 공식 플러그인이 이를 구현해 별도 설정 없이 바로 동작합니다. 동시에 누구나 대체 구현을 공개할 수 있습니다. API 제공자든 GPU 호스트든 CPU 서비스든 같은 방식으로 자체 플러그인을 패키징할 수 있으므로, 각 능력의 최고 구현은 그 일을 가장 잘하는 쪽에서 나올 수 있습니다. 코어는 작게, 생태계는 열려 있게.

능력 지도

전체 인터페이스는 네 그룹으로 정리됩니다:

추가(Add) — 자료를 캔버스로 가져옵니다: 텍스트, 이미지, 촬영, 스케치, 오디오, 녹음, 영상, 문서, URL, 3D 모델.
변환(Transform) — 모달리티 사이를 변환합니다: 텍스트 재작성; 이미지 생성 / 편집 / 이해 / 업스케일; text-to-video / image-to-video / 첫·끝 프레임 / 영상 이해; 음악 생성; text-to-speech(보이스 클로닝 포함); 음성 인식.
조합(Combine) — 결과를 합칩니다: 이미지 융합, 립싱크, 캐릭터 교체, 모션 전이, 텍스트 병합.
헬퍼(Helpers) — 제작을 잇는 접착제입니다: 클립 이어 붙이기, 오디오 + 영상 합치기, 샷 단위 분할, 트랙 추출, 긴 텍스트 나누기 등.

README에서 ✅ 표시가 있는 노드는 공식 플러그인으로 바로 쓸 수 있고, ⬜ 노드는 캔버스에는 있지만 아직 계획 단계입니다.

5분 안에 시작하기

데스크톱 앱 설치 — macOS(Apple Silicon / Intel)와 Windows 빌드는 Releases 페이지에 있습니다. 처음 열면 캔버스에 예제 워크플로가 미리 열려 있습니다.
플러그인 설치 — 앱에는 플러그인이 기본 포함되어 있지 않습니다. 플러그인 매니저를 열어 필요한 것을 설치하세요. 새 플러그인은 재시작 없이 바로 쓸 수 있습니다.
자격 증명 설정 — Settings를 열고 플러그인에 필요한 환경 변수(예: OPENAI_API_KEY, GPU 플러그인이라면 MODAL_TOKEN_*)를 추가합니다. 값은 로컬에 저장되고 재시작 없이 적용됩니다.
예제 실행 — 노드를 하나씩 실행해도 되고, Execute 모드로 전환해 그래프 전체를 클릭 한 번으로 실행해도 됩니다.

무료로 시작할 수 있습니다. 체험판 미끼가 아닙니다. 공식 GPU/CPU 플러그인은 Modal에서 실행됩니다. Modal은 신규 계정마다 H100/A100급 실제 하드웨어에서 쓸 수 있는 매월 최대 $30 상당의 무료 GPU 컴퓨팅을 제공합니다. 이미지 생성, 영상 애니메이션, 음성·음악 합성은 물론 여러 단계짜리 파이프라인을 통째로 돌리기에 충분한 양입니다. GPU가 없어도, 한 푼도 쓰지 않아도 됩니다. 매달 비용 없이 워크플로를 아이디어에서 완성작까지 끌고 갈 수 있습니다. 자신의 키를 쓰거나, 준비됐을 때만 규모를 키우면 됩니다.

개발자를 위한: 플러그인 아키텍처

실행 가능한 모든 노드의 바탕에는 계약, 곧 ABI(config/tongflow.abi.json)가 있습니다. ABI는 어떤 능력이 존재하는지와 각 능력의 입력·출력이 어떤 모양인지를, 누가 구현하는지와는 무관하게 정의합니다.

플러그인은 작은 Python 패키지입니다. ABI 슬롯을 하나 이상 골라 실제 구현을 제공하며, tongflow Python SDK를 통해 ABI에서 생성된 타입으로 어노테이션합니다.
컴파일 타임 계약. ABI에서 생성된 TypeScript 타입과 Python Pydantic 모델이 유일한 관문입니다. 오타와 형태 불일치는 tsc / pyright가 잡아내고, 런타임 검증 오버헤드는 없습니다.
백엔드 중립. SDK는 Modal에 의존하지 않습니다. API 제공자, GPU 호스트, CPU 서비스 등 어떤 플랫폼이든 같은 방식으로 자체 플러그인을 공개할 수 있습니다.

공식 카탈로그에는 이미 API 플러그인(OpenAI, Gemini, OpenRouter)과 GPU/CPU 플러그인(Z-Image, FLUX.2 Klein 9B, LTX, InfiniteTalk, Wan-Animate, SeedVR2, Whisper, Qwen3, ACE-Step 등)이 들어 있습니다. 전체 개발 흐름은 docs/PLUGINS.md를 참고하세요.

누구를 위한 것인가

크리에이터 — 도구를 손으로 이어 붙이지 않고 토킹 헤드 영상, 뮤직비디오, 숏폼 파이프라인을 만듭니다.
개발자 & 플랫폼 — 자체 모델을 플러그인으로 패키징해 생태계에 연결합니다.
기업 — 로컬 GPU에 배포하고, 커스텀 노드를 만들고, 비공개 모델을 통합합니다.

오픈소스, 라이선스, 커뮤니티

TongFlow는 듀얼 라이선스로 제공됩니다. 개인·연구·오픈소스 프로젝트는 AGPL-3.0으로 무료로 쓸 수 있고, 클로즈드 소스나 SaaS 용도에는 상용 라이선스가 있습니다. 비즈니스 문의는 [email protected] 으로 보내 주세요.

이 프로젝트가 유용했다면 GitHub 스타가 큰 힘이 됩니다. Discord에서 함께 만들거나, 호스팅 스튜디오 app.tongflow.com에서 바로 시작해 보세요.

상상을 넓히고 아이디어를 펼쳐 보세요. 지금 바로 시작해 보세요.

TongFlow: 오픈소스 멀티모달 GenAI 워크플로 스튜디오