NVIDIA Sigma: 확산 모델로 글을 병렬로 쓰는 법
NVIDIA가 공개한 연속 확산 언어 모델 Nemotron-Labs-Sigma(3B/8B) 정리. 16차원 임베딩에서 블록 병렬 생성, 증류로 수학 8배·코딩 4배 가속, 자체 추측 디코딩 3.46배. 오픈 웨이트 14개 체크포인트 실행법 포함.

Q. 언어 모델이 토큰을 하나씩 만들지 않고, 한 번에 여러 개를 만들 수 있나요? 네, 가능합니다. NVIDIA의 **Nemotron-Labs-Sigma(3B/8B)**는 토큰을 16차원 연속 임베딩 공간의 점으로 보고 노이즈를 걷어내며 32~64개 토큰 블록을 병렬로 생성하는 연속 확산 언어 모델입니다. 증류 버전은 한 번의 순전파로 수학에서 토큰 8개, 코딩에서 토큰 4개를 만들고, 자체 추측 디코딩을 더하면 자기회귀보다 약 3.46배 빠릅니다.
⚠️ 정확도 가드레일: 이 글은 2026년 11월 21일 기준이다. 구조·체크포인트·실행 조건은 Hugging Face의 Sigma-8B·8B-instruct 모델 카드에서, 벤치마크·가속 수치는 논문 「Large Language Continuous Diffusion Models」(arXiv:2610.02665v2)의 초록과 표에서 직접 확인했다. 모든 점수는 논문 저자들의 자체 평가 수치다.
30초 요약
- NVIDIA가 공개한 Nemotron-Labs-Sigma는 3B·8B 규모의 연속 확산 언어 모델로, 16차원 임베딩 공간에서 노이즈를 제거하며 블록 단위로 병렬 생성한다.
- 증류 버전은 수학 약 8배, 코딩 약 4배 가속을 내며, 한 번의 순전파로 각각 토큰 8개와 4개를 만든다.
- 증류된 8B 모델의 자체 추측 디코딩은 GB200에서 자기회귀 대비 평균 3.46배 처리량으로, 기존 마스크 확산 모델(3.04배)보다 빠르다.
- Sigma-8B-instruct는 GSM8K 91.96, MATH-500 78.40, HumanEval 82.50, 베이스 모델은 6개 과제 평균 71.16으로 마스크 확산 모델(70.22)을 앞섰다.
- 체크포인트는 총 14개이며 NVIDIA Nemotron 오픈 모델 라이선스로 상업적 이용이 가능하다. 단, CUDA GPU(bfloat16)가 필수이고 CPU 추론은 지원하지 않는다.
연속 확산 언어 모델, Sigma는 무엇이 다른가
자기회귀 모델은 다음 토큰 하나를 예측하는 일을 수백 번 반복하지만, 확산 언어 모델은 토큰 블록 전체에 노이즈를 섞은 뒤 조금씩 걷어내며 한꺼번에 문장을 만든다.

Sigma가 다른 확산 언어 모델과 다른 지점은 연속 공간이다. LLaDA나 Dream 같은 마스크 확산 모델은 토큰을 이산 범주(어휘 10만 개 이상)로 다루지만, Sigma는 각 토큰을 16차원 연속 임베딩 공간의 점으로 표현한다. 학습은 임베딩에 가우시안 노이즈를 더하고 걷어내는 과정을 반복하며, 노이즈 제거 네트워크와 토큰 임베딩 자체를 함께 학습한다.
학습은 기존 자기회귀 가중치에서 웜스타트해 약 1조 토큰으로 초기화한 뒤 약 0.3조 토큰을 연속 확산 학습에 썼다. 생성은 기본 64토큰 블록 단위로, DDPM·DDIM 샘플러와 자기 조건화를 쓴다.
속도가 핵심이다: 증류와 자체 추측 디코딩
Sigma의 강점은 속도 구조다. 블록을 병렬로 만들어도, 블록 하나에 수십 번의 노이즈 제거 단계를 거치면 전체 속도가 느려질 수 있다. Sigma는 증류와 자체 추측 디코딩으로 이를 푼다.

첫째는 퓨-스텝 증류다. 느린 교사 모델이 적은 단계로 같은 답을 내는 학생 모델을 가르치는 방식으로, 논문은 분포 매칭이 가장 효과적이었다고 말한다. 결과는 수학 약 8배, 코딩 약 4배의 가속으로, 한 번의 순전파로 각각 토큰 8개와 4개를 만든다. 정확도 손실은 거의 없고 다양성도 유지된다고 논문은 밝힌다.
둘째는 자체 추측 디코딩이다. Sigma는 같은 백본에 자기회귀 스트림을 함께 갖고 있어, 확산 쪽이 32토큰 블록 초안을 한 번에 만들고 자기회귀 쪽이 그 초안을 검증한다. 논문 기준, 증류된 8B 모델에서 이 방식은 GB200 기준 자기회귀 대비 평균 3.46배의 처리량을 냈고, 기존 마스크 확산 모델 Nemotron-Labs-Diffusion의 3.04배를 앞섰다. 단, 이 수치는 단일 요청 측정이라 실제 서빙 환경에서는 다르게 나올 수 있다.
정확도는 떨어지지 않았다
논문 표를 보면 Sigma는 같은 크기 확산 모델과 자기회귀 기준선을 대부분 앞선다.

미세조정을 거친 Sigma-8B-instruct는 DDPM 256스텝에서 GSM8K 91.96, MATH-500 78.40, HumanEval 82.50을 기록했다. 베이스 모델도 6개 과제 평균 71.16점으로 같은 크기 마스크 확산 모델(70.22)을 앞섰다. 논문은 미세조정 이후 어려운 추론 과제에서 기준선을 앞섰다고 하며, 가장 일관된 개선은 코딩에서 나왔다고 적었다. 단, 이 점수는 논문 저자들의 자체 평가이며 독립 재현 평가는 아직 없다.
14개 체크포인트, 무엇을 고를까
Sigma는 14개 체크포인트의 패밀리로 공개됐다.

| 구분 | 체크포인트 | 용도 |
|---|---|---|
| 베이스 | Sigma-3B, Sigma-8B | 연구·파인튜닝 출발점 |
| 인스트럭트 | Sigma-3B-instruct, Sigma-8B-instruct | 채팅·지시 따르기 |
| 증류 | distill-3B/8B-nfe2·nfe4·nfe8·nfe16 (8개) | 적은 단계로 빠르게 생성 |
| 자체 추측용 | distill-spec-3B, distill-spec-8B | 초안+검증으로 최고 처리량 |
컨텍스트는 베이스 4,096토큰, 인스트럭트 8,192토큰이다. 지원 언어는 영어, 라이선스는 NVIDIA Nemotron 오픈 모델 라이선스로 상업적 이용이 가능하다. 다만 NVIDIA가 호스팅하는 API는 없어 직접 GPU에서 돌려야 한다.
내 GPU에서 돌리는 법
PyTorch 2.4 이상, Transformers 4.55 이상이 필요하고 trust_remote_code=True로 불러온다. **CUDA GPU(bfloat16)**가 필수이며 Ampere·Lovelace·Hopper·Blackwell을 지원한다. CPU 추론은 지원하지 않으며, 운영체제는 Linux다.
import torch
from transformers import AutoModel, AutoTokenizer
repo = "nvidia/Nemotron-Labs-Sigma-8B"
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModel.from_pretrained(repo, trust_remote_code=True)
model = model.cuda().to(torch.bfloat16).eval()
input_ids = tokenizer("The capital of France is",
return_tensors="pt").input_ids.cuda()
out_ids, nfe = model.generate(
input_ids, max_new_tokens=128, sampler="ddim",
time_schedule="log_snr", steps=32, block_length=32,
guidance_scale=3.0, score_temp=0.3)
권장 설정은 DDIM 32스텝 가이던스 3·온도 0.3, 8스텝 가이던스 3·온도 0.6, 4스텝 가이던스 2·온도 0.8이다. 16스텝 아래에서는 품질이 눈에 띄게 떨어지므로 빠른 생성이 목적이라면 증류(-distill-*) 버전을 쓰는 것이 낫다. 추론 스택을 NVIDIA GPU 위에서 구성하는 방법은 TensorRT-LLM 1.3.0 정리도 참고할 만하다.
토리스의 판단
Sigma는 "확산 모델이 언어에서도 자기회귀를 이길 수 있는가"에 대한 NVIDIA의 답이다. 결론부터 말하면, 속도 구조에서는 답이 나왔고, 실용성에서는 아직 연구 단계다. 증류로 수학 8배·코딩 4배, 자체 추측 디코딩으로 3.46배라는 수치는 병렬 생성이 실제로 처리량을 바꾸는 설계라는 것을 보여준다.
다만 프로덕션에 바로 붙일 모델은 아니다. 베이스는 연구용이고, 컨텍스트 4K·8K와 영어 중심, RL 후학습 부재, GPU 필수라는 조건이 붙는다. 확산 언어 모델이 어떻게 학습되고 증류와 추측 디코딩이 어떻게 속도를 만드는지 직접 돌려보며 이해하는 데 3B 모델부터 시작하는 것이 좋다.
출처
광고
YOUTUBE · TORIS STUDIO