Seedance 2.5 - 한 번에 30초, 레퍼런스 50개를 받는 오디오·비디오 합동 생성

이 글은 Introducing Seedance 2.5를 참고하여 작성했습니다.

ByteDance Seed가 Seedance 2.5를 공개했습니다. 목표를 클립이 아니라 완성작으로 잡았다고 밝힙니다.

발표에서 검증 가능한 구조적 주장은 사실상 하나입니다. 30초를 단일 패스로 생성한다는 것.

30초 단일 패스

지금 영상 생성 제품 대부분은 5초에서 10초짜리 클립을 만들고, 긴 영상은 그 클립을 이어 붙여 만듭니다. 이어 붙이는 방식의 문제는 경계에서 드러납니다. 조명이 튀고, 캐릭터 얼굴이 미묘하게 바뀌고, 운동량이 끊깁니다.

30초를 한 번에 뽑는다는 것은 그 경계가 없다는 뜻입니다. 대신 두 가지 비용을 감당해야 합니다. 어텐션 비용이 프레임 수에 대해 초선형으로 늘어나고, 시간적 일관성을 유지해야 할 구간이 길어집니다. 5초에서 30초는 6배가 아니라 그 이상입니다.

Seedance 2.0의 오디오·비디오 합동 생성 아키텍처를 이어받았다고만 밝히고, 이 비용을 어떻게 처리했는지는 공개하지 않았습니다.

연장 방식이 핵심 질문입니다. 발표는 다회 연장(multi-round extension)으로 수분 길이를 만든다고 적습니다. 여기서 갈립니다. 앞 구간의 잠재 상태를 조건으로 뒤를 이어 생성하는 진짜 조건부 연장이라면 경계 문제가 상당 부분 해소됩니다. 앞 구간의 마지막 프레임 몇 장만 참조해 새로 생성하는 방식이면 30초짜리 클립을 이어 붙이는 것과 구조적으로 같습니다. 단위가 커졌을 뿐입니다.

발표는 캐릭터 일관성이 연장에서 유지되고 샷 전환이 개선됐다고 주장하지만, 어느 방식인지는 적지 않았습니다.

레퍼런스 50개

입력 쪽이 특이합니다. 이미지 30장, 영상 클립 10개, 오디오 10개를 동시에 받습니다.

무엇을 풀려는 설계인지는 분명합니다. 다중 피사체 장면에서 캐릭터 일관성이 무너지는 문제입니다. 참조 이미지를 하나만 받는 모델은 인물이 둘 이상 나오는 순간 특징이 섞입니다. 참조를 늘리면 각 피사체마다 근거를 줄 수 있습니다.

그런데 참조 개수가 늘면 새 문제가 생깁니다. 결속(binding) 입니다. 30장의 이미지 중 어느 것이 어느 피사체에 붙는지를 모델이 알아야 합니다. 프롬프트에 명시하지 않으면 모델이 추론해야 하고, 비슷한 외모의 두 인물이 있으면 뒤바뀝니다. 참조가 많아질수록 잘못 붙을 조합의 수가 빠르게 늘어납니다.

발표는 클레이 렌더, 모션, 크리에이티브 레퍼런싱이라는 세 가지 참조 유형을 언급합니다. 유형을 나눈 것 자체가 결속 문제를 의식한 설계로 보입니다. 이 참조는 재질용, 저 참조는 운동용이라고 역할을 고정하면 뒤섞일 여지가 줄어듭니다. 다만 같은 유형 안에서 여러 개를 줄 때 어떻게 구분하는지는 나와 있지 않습니다.

편집은 타임스탬프 단위로 오디오와 비디오를 따로 지정할 수 있습니다. 그린스크린, 카메라 시점, 레퍼런스 기반 편집을 지원합니다.

오디오와 비디오를 같이 만든다는 것

Seedance 2.0에서 넘어온 합동 생성 아키텍처가 실질적으로 무엇을 바꾸는지가 이 릴리스에서 가장 덜 강조되고 가장 중요한 부분입니다.

영상을 만들고 나중에 소리를 붙이는 파이프라인에서는 동기화가 후처리 문제가 됩니다. 립싱크를 맞추려면 생성된 입 모양을 분석해 음성을 정렬해야 하고, 발소리를 넣으려면 발이 땅에 닿는 프레임을 찾아야 합니다. 정확도는 그 분석기의 성능에 묶입니다.

합동 생성에서는 이 정렬이 생성 시점에 잡힙니다. 모델이 프레임과 오디오 샘플을 같은 잠재 공간에서 함께 예측하니 발이 닿는 순간과 소리가 나는 순간이 애초에 같은 사건입니다. 잘 되면 후처리 파이프라인 전체가 사라집니다.

품질 개선으로 발표가 든 항목은 물체 텍스처, 피부 표현, 조명, 채도의 체계적 최적화입니다.

수치가 없습니다

이 발표에는 벤치마크 수치가 하나도 없습니다.

VBench-2.0도, 물리 일관성 지표도, 사용자 선호 비교도 제시되지 않았습니다. 30초 단일 패스가 실제로 얼마나 일관된지, 참조 50개가 결속을 얼마나 지키는지, 오디오 동기화가 후처리 방식 대비 얼마나 정확한지를 판단할 근거가 없습니다.

데모 위주 발표입니다. 제품 릴리스에서는 흔한 형태이지만, 그렇게 읽어야 합니다.

같은 주에 나온 논문들과 대비하면 차이가 선명합니다. VideoCoCo - Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System은 PhyGenBench 0.475에서 0.558, VBench-2.0 52.18%에서 77.88%라는 수치를 내고 절제 실험으로 어느 단계가 기여했는지까지 나눠 보고합니다. Self Gradient Forcing - Native Long Video Extrapolation이나 World-R1 - Reinforcing 3D Constraints for Text-to-Video Generation도 마찬가지입니다.

이 차이는 성실성의 문제가 아니라 유인의 문제입니다. 논문은 재현 가능한 비교로 심사받고, 제품은 데모로 채택됩니다. 다만 독자 입장에서는 두 종류의 발표를 같은 기준으로 읽으면 안 됩니다. "SOTA를 달성했다"와 "이 데모가 잘 나왔다"는 다른 주장입니다.

배포

즉멍(Jimeng) 웹과 더우바오 Pro에서 바로 쓸 수 있고, API는 BytePlus ModelArk에서 제공 예정입니다.

가중치 공개 계획은 없습니다. 참고로 Seedance 2.0은 VideoCoCo가 학습 데이터의 교사 편집기로 쓰기도 했습니다. 연구 쪽에서 상용 영상 모델을 교사로 삼는 흐름이 자리를 잡는 중이고, 그만큼 재현이 API 접근에 묶입니다.

정리

30초 단일 패스가 실질적 주장입니다. 나머지 기능은 대부분 편의성이고, 이것만이 생성 구조를 건드립니다. 연장이 조건부인지 재생성인지가 확인되면 이 릴리스의 무게가 정해집니다.

참조 50개는 결속 문제를 새로 만듭니다. 참조 유형을 셋으로 나눈 것이 그 대응으로 보이지만, 같은 유형 여러 개를 어떻게 구분하는지는 공개되지 않았습니다.

수치가 없는 발표입니다. 데모로 판단해야 하고, 논문 릴리스와 같은 선상에서 비교하면 안 됩니다.

이 글은 Introducing Seedance 2.5의 관점에서 작성되었습니다.