NVIDIA Nemotron 3 Embed - Open Embedding Models, No.1 on RTEB

이 글은 NVIDIA Nemotron 3 Embed RTEB 발표 (2026-07-16)를 참고하여 작성했습니다.

RAG 파이프라인에서 리트리버가 잘못 뽑아오면 아무리 좋은 생성 모델을 써도 소용이 없습니다. NVIDIA는 이 병목을 직접 겨냥한 임베딩 컬렉션 Nemotron 3 Embed를 공개했습니다. 8B 플래그십 모델이 RTEB 멀티링구얼 리더보드 1위에 올랐고, 세 가지 크기로 정확도와 효율 사이를 선택할 수 있습니다.

세 가지 체크포인트

세 모델 모두 OpenMDW-1.1 라이선스로 공개됩니다. 기반 모델인 Ministral-3B-Instruct는 Apache 2.0이지만 Nemotron 임베딩 체크포인트 자체는 OpenMDW-1.1을 따르므로 상업적 사용 전 라이선스를 확인해야 합니다.

RTEB 1위의 의미

RTEB(Retrieval Text Embedding Benchmark)는 34개 언어에 걸쳐 리트리벌 정확도를 측정합니다. 단순 영어 단일 언어 벤치마크가 아닌 멀티링구얼 실세계 태스크를 기준으로 삼는다는 점이 특징입니다. Nemotron-3-Embed-8B-BF16이 이 리더보드에서 평균 NDCG@10 78.46을 기록하며 1위에 올랐습니다.

기존 소형 임베딩 모델들(BGE-M3, E5-mistral-7B)과의 차이는 파라미터 규모에서 나옵니다. BGE-M3 같은 소형 모델은 600M 파라미터 안팎에서 멀티링구얼 지원을 넓히는 쪽으로 설계됐습니다. 반면 Nemotron 8B는 대형 언어 모델 기반으로 인코딩 품질 자체를 올렸습니다. 문맥을 더 잘 이해하고 미묘한 의미 차이를 포착하는 능력이 리트리벌 정확도로 이어집니다.

RAG에서 임베딩이 병목인 이유

RAG 파이프라인은 세 단계로 나뉩니다. 문서를 임베딩 벡터로 변환해 저장하는 인덱싱, 쿼리를 임베딩하고 유사 벡터를 찾는 리트리벌, 검색된 문서를 컨텍스트로 답변을 생성하는 생성 단계입니다.

생성 모델은 최근 몇 년간 급격히 발전했습니다. GPT-5, Claude Opus 같은 최상위 모델들은 이미 주어진 컨텍스트를 매우 잘 활용합니다. 문제는 리트리벌 단계입니다. 임베딩 모델이 쿼리와 문서의 의미를 정확히 매칭하지 못하면, 생성 모델이 아무리 좋아도 잘못된 문서를 기반으로 답변을 만들게 됩니다.

특히 멀티링구얼 환경이나 도메인 특화 용어가 많은 경우 기존 소형 임베딩이 흔들립니다. Nemotron 8B는 이 지점을 직접 타겟합니다.

에이전트 메모리에 임베딩을 쓰는 방법

임베딩 모델은 RAG뿐 아니라 에이전트 메모리 시스템에도 핵심 구성 요소입니다. 에이전트가 과거 실행 결과나 사용자 대화를 기억하고 유사 상황에서 꺼내 쓰려면, 텍스트를 벡터로 변환하는 임베딩과 유사도 검색이 필요합니다.

전형적인 에이전트 메모리 아키텍처는 다음 흐름으로 동작합니다.

새 경험(대화, 실행 결과, 교훈)이 생기면 임베딩 모델이 이를 벡터로 변환해 벡터 DB에 저장합니다. 새 태스크가 들어오면 현재 컨텍스트를 임베딩하고 벡터 DB에서 유사 경험을 검색합니다. 검색된 기억을 현재 태스크 컨텍스트에 주입해 에이전트가 과거 실패를 반복하지 않도록 합니다.

이 흐름에서 임베딩 품질이 어떤 기억을 꺼내는지를 결정합니다. 잘못된 기억을 꺼내면 에이전트는 상황에 맞지 않는 과거 패턴을 따르게 됩니다.

from sentence_transformers import SentenceTransformer


<!-- -->
# Nemotron-3-Embed-1B는 SentenceTransformers로 직접 로드 가능
model = SentenceTransformer("nvidia/Nemotron-3-Embed-1B-BF16")


<!-- -->
# 새 경험 저장
experience = "Gmail에서 첨부파일을 열 때 Drive에 저장 후 여는 경로가 직접 여는 것보다 안정적"
vec = model.encode(experience)
vector_store.add(vec, metadata={"text": experience, "app": "Gmail"})


<!-- -->
# 유사 경험 검색
query = "Gmail 첨부파일 처리 중 실패"
query_vec = model.encode(query)
memories = vector_store.search(query_vec, top_k=3)

Nemotron-3-Embed-1B 크기는 이런 온라인 메모리 검색에 현실적인 레이턴시를 제공합니다. 8B 모델은 오프라인 대규모 문서 인덱싱에 더 적합합니다.

Blackwell NVFP4의 의미

Nemotron-3-Embed-1B-NVFP4는 NVIDIA Blackwell 아키텍처(GB200, H200 후속 계열)에 최적화된 4비트 부동소수점 포맷을 씁니다. BF16 1B 모델 대비 정확도 손실은 1% 미만이지만 처리량은 최대 2배까지 오릅니다.

임베딩 서빙 관점에서 처리량 2배는 의미가 큽니다. RAG 파이프라인에서 리트리벌 레이턴시는 생성 단계보다 짧아야 사용자가 체감하지 못합니다. 대규모 문서 컬렉션을 실시간 인덱싱하거나 높은 QPS를 처리해야 하는 프로덕션 환경에서 NVFP4 모델은 GPU 비용 대비 효과가 높습니다.

Blackwell GPU가 아직 많이 보급되지 않은 상황이라 당장 쓸 수 있는 환경은 제한적입니다. 하지만 서버 인프라가 Blackwell로 전환되는 시점을 감안하면 미리 준비된 최적화 모델입니다.

실제 활용

HuggingFace에서 세 모델 모두 바로 내려받을 수 있습니다. SentenceTransformers와 호환되며 Transformers 라이브러리로도 직접 로드됩니다.

• Nemotron-3-Embed-8B-BF16: 정확도 최우선
• Nemotron-3-Embed-1B-BF16: 경량 서빙
• Nemotron-3-Embed-1B-NVFP4: Blackwell 최적화

RTEB 리더보드 1위라는 수치가 실제 작업에서 그대로 나타나는지는 도메인마다 다릅니다. 특히 한국어나 특수 도메인(의료, 법률, 코드)에서는 직접 벤치마킹이 필요합니다. 리더보드 점수는 참고용이고, 본인 데이터로 검증하는 것이 맞습니다.

NVIDIA 공식 블로그: https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb