DeepSeek-V4-Flash-Vision-Exp

🏷️ 정보 LLM 멀티모달 벤치마크

DeepSeek가 8월 21일 deepseek-v4-flash-vision-exp를 API에 올렸습니다. V4-Flash-0731에 이미지 입력을 붙인 실험판입니다. 284B 총 파라미터에 활성 13B의 희소 MoE 구조는 그대로이고, 컨텍스트도 1,048,576토큰 그대로입니다.

"저가 모델이 프런티어에 근접했다"는 발표는 올해만 여러 번 나왔으니 그 서사는 접어두겠습니다. 이 릴리스에서 실제로 봐야 할 것은 두 가지입니다. 이미지를 토큰으로 환산하는 방식이 어떻게 설계됐는지, 그리고 벤치마크 표가 가리키는 경쟁자와 실제 사용량이 가리키는 경쟁자가 왜 다른지입니다.

이미지 한 장 384토큰

공식 문서의 토큰 회계가 이 모델의 성격을 거의 다 설명합니다.

추론 전에 모든 이미지가 자동으로 리사이즈됩니다. 총 픽셀 수가 대략 384×384 아래면 종횡비를 유지한 채 확대되고, 그보다 크면 총 픽셀 수가 대략 800×800이 되도록 축소됩니다. 결과적으로 이미지 한 장이 소비하는 토큰에 384라는 상한이 걸립니다. 2000×2000 이미지와 5000×5000 이미지가 리사이즈 후 같은 토큰을 씁니다. 요청에 이미지가 여러 장이면 각각 같은 규칙으로 독립 계산되고, 다중 이미지 요청을 위한 별도 계산은 없습니다.

숫자를 붙여보면 설계 의도가 보입니다. 입력 가격이 100만 토큰당 0.22달러이므로 이미지 한 장은 최대 약 0.0000845달러입니다. 요청당 허용되는 600장을 꽉 채우면 230,400토큰, 약 0.05달러입니다. 문서 한 뭉치를 통째로 넣어도 이미지 비용이 예측 가능한 상수로 떨어진다는 뜻입니다.

이건 품질 상한인 동시에 가격 설계입니다. 해상도에 따라 토큰이 늘어나는 구조였다면 600장 동시 입력이라는 사양 자체가 성립하기 어렵습니다. 장당 고정 상한을 걸었기 때문에 대량 문서 처리의 단가를 미리 계산할 수 있습니다.

대가는 명확합니다. 800×800은 64만 화소, 0.64메가픽셀입니다. HN 스레드에서 한 사용자가 지적했듯 1995년 SVGA(약 0.79메가픽셀)보다 낮습니다. A4나 레터 크기 페이지를 통째로 넣어 OCR을 시키기에는 부족하고, 작은 글자와 미세한 디테일이 먼저 무너집니다.

그런데 이 제약을 걸고도 Chartography에서 64.3이 나옵니다. 차트 판독은 해상도 손실에 가장 민감한 과제 중 하나인데, Anthropic Opus 4.8의 65.0과 0.7점 차이입니다. 낮은 해상도로도 차트의 구조와 축과 계열을 읽어내는 데는 큰 지장이 없다는 이야기가 됩니다. 무너지는 곳은 따로 있습니다.

벤치마크가 말하지 않는 것

DeepSeek는 11개 벤치마크에서 Opus 4.8과 비교한 표를 냈습니다. 이긴 것은 세 개입니다.

벤치마크

격차 (Opus 4.8 대비)

DeepSWE

+1.3

Agents' Last Exam

+1.6

ZeroBench

+1.0

Toolathlon-Verified

75.9 대 76.2

Chartography

64.3 대 65.0

DSBench-Hard

63.6 대 71.7

NL2Repo

57.7 대 69.7

표를 위에서 아래로 훑으면 이야기가 뒤집힙니다. 이기는 곳에서는 1점대로 이기고, 지는 곳에서는 8점과 12점으로 집니다. NL2Repo의 12점 격차는 요약 한 줄로 넘길 크기가 아닙니다.

비교 대상 선택도 짚어야 합니다. Opus 4.8은 Anthropic의 이전 플래그십이고, Opus 5는 7월에 이미 나왔습니다. DeepSeek가 굳이 한 세대 앞 모델을 표에 올린 이유는 설명돼 있지 않습니다. 벤치마크도 자사 하네스에서 자사가 지정한 파라미터로 돌린 결과입니다.

반대로 DeepSeek가 스스로를 과소평가한 대목도 있습니다. 발표문은 비전 모델이 텍스트 능력에서 기존 V4-Flash와 "동등하다"고 적었는데, 실제 표를 보면 7개 텍스트 벤치마크 중 6개에서 기존 모델을 앞섭니다. 비전 학습이 텍스트를 깎아먹지 않았을 뿐 아니라 오히려 올렸다는 뜻입니다.

다만 여기에 각주가 하나 붙습니다. 텍스트 전용 V4-Flash는 테스트에서 멀티모달 요소를 무시하고 답하므로, 개선 폭 일부는 비교 조건 자체에서 나옵니다.

실사용에서 갈리는 곳

HN 스레드에 실측 보고가 여럿 올라왔습니다. 결론이 서로 엇갈리는데, 그 엇갈림 자체가 정보입니다.

한 사용자가 12장짜리 랜드마크 식별 벤치마크를 돌렸습니다. 웰스 대성당 사진을 주고 "이것이 솔즈베리 대성당인가"라고 물으면 "그렇습니다, 솔즈베리 대성당의 서쪽 파사드입니다"라고 답합니다. 맨해튼 브리지를 브루클린 브리지로, 샤르트르를 노트르담으로 물어도 마찬가지입니다. 12개 중 6개를 맞혔고, 같은 테스트에서 ByteDance Seed 2.1 Turbo는 11개를 맞혔습니다. 세계 지식이 필요한 시각 식별은 활성 13B 모델의 약점입니다.

아날로그 시계 판독 테스트에서는 재현성 문제가 드러났습니다. 한 사용자는 틀린 답(5:10)을 받았고, 다른 사용자는 같은 이미지로 세션을 새로 열어 10번 돌려 9번 맞혔습니다. 같은 스레드에서 Gemini 3.7 Flash와 GPT-5.6 Sol도 같은 오답을 낸다는 보고가 나왔습니다. 단발 스크린샷 하나로 비전 모델을 평가하는 관행이 얼마나 약한지를 보여주는 대목입니다.

정작 실무에서 가장 크게 걸리는 것은 모델 품질이 아니라 API 표면이었습니다. 에이전트에게 스크린샷 도구를 쥐여주고 자기 작업 결과를 검증하게 하는 것이 비전 모델의 핵심 용도인데, 이를 위해서는 도구 호출 결과가 이미지 타입일 수 있어야 합니다. OpenAI Chat Completions API에서는 도구 출력이 텍스트로 제한됩니다. 다만 이 모델은 OpenAI와 Anthropic 양쪽 포맷을 모두 받으므로, Responses API나 Anthropic Messages API 경로에서는 이미지 도구 출력이 가능합니다. 벤치마크 11개 어디에도 이 차이는 잡히지 않습니다.

또 하나 반복해서 올라온 이야기는 기존 V4-Flash가 자기에게 비전이 있다고 착각하는 문제였습니다. 시키지도 않았는데 연결된 기기에서 스크린샷을 끌어와 놓고 볼 수 없다는 것을 뒤늦게 깨닫고 세션을 망가뜨렸다는 보고가 여럿입니다. 이번 릴리스는 새 기능 추가라기보다 그 구멍을 메운 쪽에 가깝습니다.

표와 사용량이 다른 곳을 가리킨다

OpenRouter에 공개된 이 모델의 상위 소비 애플리케이션이 흥미롭습니다(2026년 8월 25일 기준 집계, 실시간으로 계속 바뀝니다).

애플리케이션

누적 토큰

Claude Code

110억

pi

65.7억

DeepSeek Harness

61.0억

Hermes Agent

59.1억

omp

36.7억

DeepSeek는 벤치마크 표에서 Anthropic의 Opus 4.8과 겨루고 있는데, 이 모델을 가장 많이 소비하는 클라이언트는 Anthropic의 코딩 하네스입니다. 1위와 2위의 격차는 뚜렷하지만(110억 대 65.7억), 2위 아래로는 pi, DeepSeek Harness, Hermes Agent 세 곳이 60억 안팎에 몰려 순위가 계속 뒤집힙니다. 이름으로 미루어 DeepSeek 자신의 코딩 하네스로 보이는 DeepSeek Harness가 이번 집계에서 새로 3위에 올랐습니다.

이 두 표를 겹쳐 놓으면 경쟁 구도가 생각보다 단순하지 않다는 것이 보입니다. 하네스와 모델이 분리된 시장에서는, 벤치마크에서 지는 것과 그 회사 제품 안에서 기본 선택지가 되는 것이 동시에 일어납니다. Anthropic이 파는 것은 Opus만이 아니라 Claude Code라는 하네스이고, 그 하네스는 모델을 갈아 끼울 수 있습니다. DeepSeek 입장에서 이기고 있는 싸움은 벤치마크 표가 아니라 라우팅 기본값 쪽입니다.

성능 수치도 이 해석을 뒷받침합니다. OpenRouter 실측 P50 처리량이 초당 73토큰, 지연 1.91초입니다. 캐시 리드가 100만 토큰당 0.007달러라는 것도 긴 세션을 반복해서 도는 코딩 에이전트에 유리한 조건입니다.

정리

이 모델의 설계 중심은 성능이 아니라 예측 가능한 단가입니다. 이미지 한 장 384토큰 상한, 요청당 600장, 100만 컨텍스트, 캐시 리드 0.007달러라는 조합은 문서 배치 처리와 장시간 코딩 세션을 겨냥한 값입니다. 800×800 리사이즈는 그 단가를 성립시키기 위해 지불한 대가이고, 실제로 작은 글자와 세계 지식 기반 식별에서 먼저 깨집니다.

exp 접미사가 붙은 실험판이라는 점도 감안해야 합니다. 스레드에서 여러 사람이 지적했듯 DeepSeek는 API로 프리뷰를 먼저 풀고 사용 데이터를 모아 추가 학습한 뒤 가중치를 공개하는 패턴을 보여왔습니다. 지금 수치는 몇 주 뒤의 수치가 아닐 가능성이 큽니다.

한 가지 열린 질문이 남습니다. 비전 모델이 텍스트 벤치마크 7개 중 6개에서 텍스트 전용 모델을 앞선다면, 텍스트 전용 변종을 계속 유지할 이유는 지연과 비용 말고 무엇인지입니다. 스레드에서도 같은 질문이 나왔고 답은 아직 없습니다.


참고: DeepSeek API - Vision guide · DeepSeek V4 Flash Vision Exp on OpenRouter · DeepSeek launches an experimental multimodal model to rival Anthropic - TNW · Hacker News 토론 (496pt/153댓글)