2026년 7월 16일, Moonshot AI가 Kimi K3를 공개했다. 2.8조(2.8T) 파라미터의 Mixture-of-Experts 모델로, 공개 시점 기준 세계 최대 오픈웨이트 모델이다. API와 챗은 공개일에 열렸고, 전체 가중치는 7월 27일 공개 예정이다.
이 글은 K3를 구조, 신기법, 운용 인프라, 성능, 비교의 다섯 각도에서 정리한다. 릴리스가 최근이라 상당수 정보가 Moonshot 자체 발표이거나 서드파티 해석이다. 공식 주장과 독립 검증을 구분하고, 불확실한 항목은 명시한다. 정식 기술 보고서와 가중치가 공개되면(7월 27일 예정) 갱신될 여지가 있다.
한눈에
| 항목 | 값 | 출처 성격 |
|---|---|---|
| 전체 파라미터 | 2.8T | 공식 |
| MoE 구성 | 896 experts 중 토큰당 16개 활성 | 공식 |
| 활성 파라미터 | ~50B | 서드파티 추정 (공식 미명시) |
| 컨텍스트 | 1,048,576 토큰 (1M) | 공식 |
| 모달리티 | 텍스트 + 이미지 + 비디오 (네이티브) | 공식 |
| 추론 | 상시 “thinking mode” | 공식 |
| 정밀도 | MXFP4 가중치 + MXFP8 활성값 (QAT) | 공식 |
| 공개일 | API 7/16, 가중치 7/27 | 공식 |
활성 파라미터 ~50B는 16/896 × 2.8T 계산에 기반한 추정치다. LatentMoE의 공유 파라미터 때문에 정확히 이 값은 아닐 수 있고, Moonshot이 명시적으로 밝힌 수치는 아니다.
아키텍처
K3의 구조는 세 가지 자체 기법으로 요약된다.
Kimi Delta Attention (KDA)
1M 토큰 컨텍스트를 감당하려면 어텐션의 이차 비용이 걸림돌이다. K3는 KDA라는 하이브리드 선형 어텐션으로 이를 완화한다. 일부 계층은 KDA, 일부는 전체(full) 어텐션을 섞는다.
핵심 메커니즘은 Gated DeltaNet의 변형이다(가장 상세한 서드파티 해설 기준). 표준 DeltaNet은 이전 순환 상태에 단일 스칼라 감쇠(decay)를 곱한다. 모든 은닉 차원이 같은 속도로 잊는다는 뜻이다. KDA는 이 스칼라를 채널별 벡터로 바꿔 대각 행렬로 만든다. 차원마다 다른 망각 속도를 가진다. Moonshot은 FlashKDA 커널을 공개했다.
Moonshot이 주장하는 이득은 1M 컨텍스트에서 디코딩 최대 6.3배, KV 캐시 최대 75% 절감, H20 GPU에서 프리필 1.72~2.22배다. 이 수치들은 Moonshot 발표이며 독립 측정은 아직 없다.
자세히: Kimi Delta Attention 논문 리뷰 (Kimi Linear, arXiv:2510.26692)
Attention Residuals (AttnRes)
잔차 연결(residual connection)의 대체 기법이다. 각 계층이 이전의 모든 계층 상태를 동일하게 누적하는 대신, 하나의 질의처럼 이전 계층들을 되돌아보며 필요한 표현만 학습된 가중치로 선택해 가져온다. Moonshot은 2% 미만의 추가 비용으로 학습 효율 약 25% 향상을 주장한다.
자세히: Attention Residuals 논문 리뷰 (arXiv:2603.15031)
Stable LatentMoE
MoE 라우팅 프레임워크다. 눈에 띄는 요소는 Quantile Balancing이다. 라우터 점수의 상위 분위수에 드는 토큰을 해당 전문가로 보내는 방식으로, 결정적이고 하이퍼파라미터가 없으며 죽은 전문가 없이 균등 활용을 보장한다고 주장한다. 기존의 보조 손실(aux-loss) 기반 로드밸런싱을 대체한다. 이 외에 Per-Head Muon 옵티마이저, SiTU 활성함수, Gated MLA 등이 함께 언급된다.
자세히: LatentMoE 논문 리뷰 (NVIDIA, arXiv:2601.18089. K3의 Stable LatentMoE 세부는 미공개)
세 기법을 합쳐 K2 대비 약 2.5배 스케일링 효율을 주장한다.
운용 인프라
정밀도와 메모리
K3의 가중치는 MXFP4(블록 스케일을 갖는 4비트 부동소수점), 활성값은 MXFP8이다. 주목할 점은 사후 양자화가 아니라 SFT 단계부터 양자화 인지 학습(QAT) 을 했다는 것이다. 모델이 서빙될 저정밀 포맷에 견디도록 학습된다. MXFP4는 NVIDIA Blackwell과 AMD MI400에서 네이티브로 지원된다.
메모리 계산은 단순하다. 파라미터당 바이트 수에 전체 파라미터 수를 곱한다. K3는 2.8T 파라미터를 MXFP4(파라미터당 4비트 = 0.5바이트)로 저장하므로, 가중치만으로 2.8T × 0.5바이트 = 약 1.4TB가 필요하다.
| 정밀도 | 파라미터당 | 2.8T 가중치 |
|---|---|---|
| FP16 | 2바이트 | 5.6TB |
| FP8 | 1바이트 | 2.8TB |
| MXFP4 | 0.5바이트 | 1.4TB |
일부 자료가 인용하는 594GB는 어떤 표준 정밀도로도 2.8T와 맞지 않는다(2.8T를 4비트로 담으면 1.4TB이고, 594GB는 파라미터당 약 1.7비트에 해당해 성립하지 않는다). 다른 모델이나 구성과 혼동된 수치로 보이며, K3 전체 가중치 크기로는 배제한다.
가중치만 1.4TB이므로, 80GB 가속기 기준으로도 가중치 적재에만 18장 이상이 필요하다. 여기에 1M 컨텍스트의 KV 캐시와 활성값까지 더하면 Moonshot이 권장하는 64개 이상 가속기 슈퍼노드 구성이 나온다.
서빙 스택과 가격
- 추론 스택: vLLM(Moonshot이 KDA 및 프리필 캐시 구현을 기여), SGLang, TensorRT-LLM, Transformers, KTransformers, xLLM. Moonshot 자체는 Mooncake 분리형(disaggregated) 추론으로 서빙한다.
- 가격(Moonshot): 입력 100만 토큰당 $3(캐시 미스), 캐시 히트 $0.30, 출력 $15. OpenRouter 리스팅은 $3/$15로 캐시 할인이 없다.
- 가격 포지셔닝: $3/$15는 GPT-5.6 Sol($5/$30)의 약 60% 수준이다. 성능은 프론티어 바로 아래에 두면서 토큰 단가는 그보다 낮게 책정한 셈이다. (이 비교는 성능 등급이 아니라 토큰 단가 기준이다.)
오픈웨이트와 라이선스
전체 가중치는 7월 27일 공개 예정이다. 라이선스는 일부 매체가 “Modified MIT”로 보도했으나, HuggingFace 커뮤니티 개요는 “가중치 공개 시 확정”이라 하고 Moonshot 공식 문서에는 라이선스 명시가 없다. 미확정으로 본다. 조사 시점 기준 huggingface.co/moonshotai에 K3 저장소는 아직 없다.
학습 하드웨어
Moonshot은 학습 하드웨어를 공개하지 않았다. K3 벤치 문서에 H200과 “대체 벤더의 GPGPU”(언론은 Huawei Ascend로 해석)가 언급되나 확인되지 않았다. 미국 수출 규제를 우회했다는 서술은 언론 프레이밍이며 Moonshot의 문서화된 주장이 아니다. 학습 실리콘은 사실로 단정하지 않는다.
성능
독립 종합 지표
가장 신뢰할 수 있는 독립 지표는 Artificial Analysis의 Intelligence Index다.
K3는 57점으로, Fable 5(60)와 GPT-5.6 Sol(59)에 이어 Opus 4.8(56)과 비슷한 최상위권이다. 일부 보도는 “Intelligence Index 3위”라 했으나, 같은 출처 본문과 다른 매체는 약 4위(57)로 본다. “3~4위권, 57점” 으로 보는 것이 정확하다. 독립 에이전트 벤치인 AA-Briefcase에서 Elo 1547로 K2.6(~815) 대비 크게 뛰었고, 이는 Fable 5(1583) 바로 아래다.
강점
- Frontend Code Arena(독립, 블라인드 개발자 평가): Elo 1679로 1위. Fable 5(1631)를 앞선다. K3의 대표적 “프론티어 추월” 근거다.
- SWE Marathon(수 시간짜리 지속 엔지니어링, Moonshot 보고): 42.0으로 GPT-5.6 Sol(39), Opus 4.8(40)을 앞선다. GLM-5.2는 13으로 붕괴.
- GPQA Diamond: 93.5%로 오픈웨이트 최고. 단 GPT-5.6 Sol(94.1%)보다는 낮다.
- SpreadsheetBench 2(34.8), Automation Bench(30.8)에서 근소 우위.
약점 (과대평가 경계)
균형을 위해 약점도 분명히 한다.
- Humanity’s Last Exam: 43.5로 프론티어 그룹 중 최하위(Fable 5 53.3, Opus 4.8 49.8, GPT-5.6 Sol 44.5). 가장 어려운 추론 벤치에서 뒤처진다.
- 환각률 상승: AA-Omniscience 기준 정확도는 K2.6의 33%에서 46%로 올랐지만, 환각률도 39%에서 51%로 상승했다. 규모가 커지며 자신 있게 틀리는 경우가 늘었다.
- 자사 벤치 패배: 자체 Kimi Code Bench 2.0에서 72.9로 Fable 5(76.9)에 진다. 홈그라운드에서의 패배다.
- Terminal-Bench 2.1(88.3)은 GPT-5.6 Sol(88.8)에 근소하게 진다.
벤치마크 해석의 함정
Moonshot 보고 수치에는 방법론 주의가 필요하다.
- BrowseComp 91.2는 30만 토큰에서 컨텍스트 압축(compaction)을 켠 값이다. 압축 없는 1M 전체 창에서는 90.4로 떨어지며, 이는 GPT-5.6 Sol과 동률이다. “우위”가 설정 의존적이다.
- 코딩 벤치의 하네스 불일치: Moonshot은 각 모델을 서로 다른 하네스에서 측정했다(K3는 KimiCode, Fable 5는 Claude Code, GPT-5.6 Sol은 Codex). 교차 비교는 동일 조건이 아니다.
속도 데이터 부재
중요한 공백이 하나 있다. 독립적인 추론 속도(토큰/초, TTFT) 데이터가 아직 없다. Artificial Analysis 제공자 페이지는 출력 속도·지연을 “데이터 없음”으로 표시한다. 유일한 속도 관련 언급은 KDA의 “1M에서 디코딩 6.3배”라는 아키텍처 주장뿐이며, 이는 실측 처리량이 아니다. 이 글은 검증 불가한 속도 수치를 싣지 않는다.
비교
계보: K2 → K3
| Kimi K2 (2025.7) | Kimi K3 (2026.7) | |
|---|---|---|
| 전체 파라미터 | 1T MoE | 2.8T MoE |
| 활성/토큰 | 32B | ~50B (추정) |
| 전문가 | 384 라우팅 + 1 공유 | 896 중 16 활성 |
| 어텐션 | Multi-head Latent (MLA) | KDA + AttnRes, Gated MLA |
| 컨텍스트 | 128K | 1M |
| 모달리티 | 텍스트 | 텍스트 + 이미지 + 비디오 |
| 추론 | - | 상시 thinking mode |
1년 만에 파라미터 2.8배, 컨텍스트 8배, 멀티모달·상시 추론을 더했다. 효율 개선(~2.5×)이 이 확장을 뒷받침한다는 것이 Moonshot의 서사다.
다른 오픈웨이트 모델과
K3는 공개 시점 최대 오픈웨이트 모델이다. 대략의 규모 비교는 다음과 같다(서드파티 집계, 근사치).
| 모델 | 전체 / 활성 | 컨텍스트 |
|---|---|---|
| Kimi K3 | 2.8T / ~50B | 1M |
| DeepSeek V3.2 | 685B | 128K |
| Qwen3-Coder | 480B / 35B | - |
| GLM-5.2 | 744B / ~40B | - |
| Llama 4 Scout | - | 10M |
K3는 공개된 벤치마크에서 GLM-5.2를 전반적으로 앞선다(예: SWE Marathon 42.0 vs 13.0). DeepSeek·Qwen과의 직접 대결 수치는 신뢰할 자료를 찾지 못해 비교하지 않는다.
프론티어 프로프라이어터리와
Moonshot 스스로 “전체 성능은 여전히 Fable 5와 GPT-5.6 Sol에 뒤진다”고 인정한다. K3는 개별 벤치(Frontend Arena, SWE Marathon, FrontierSWE, SpreadsheetBench)에서 이기지만, 종합 지표와 HLE, DeepSWE, 자사 KCB에서는 진다. Opus 4.8과는 대등하거나 근소 우위다(AA Index 57 vs 56). 비용 면에서는 태스크당 약 $0.94로 GPT-5.6 Sol($1.04)보다 저렴하다.
정리
Kimi K3의 의의는 두 가지다. 첫째, 오픈웨이트 모델이 2.8T 규모로 프론티어 프로프라이어터리의 바로 아래까지 좁혔다는 점이다. 둘째, KDA와 Attention Residuals, Stable LatentMoE 같은 자체 기법으로 단순 규모 확장이 아니라 효율 기반 확장을 시도했다는 점이다. 특히 QAT로 MXFP4에 맞춰 학습한 결정은 대형 모델의 서빙 경제성을 정면으로 겨냥한다.
동시에 과대평가는 경계해야 한다. 종합 지표에서 프론티어에 뒤지고, 가장 어려운 추론(HLE)에서 약하며, 환각률이 오히려 상승했다. 화제가 된 벤치 우위 중 일부는 압축 설정이나 하네스 차이에 의존한다. 독립 속도 데이터는 아직 없고, 라이선스와 학습 하드웨어는 미확정이다.
정식 기술 보고서와 가중치가 공개되는 7월 27일 이후, KDA와 AttnRes의 실제 메커니즘, 서빙 비용, 재현 벤치가 나오면 이 그림은 더 선명해질 것이다. 그때 이 분석을 갱신할 가치가 있다.
레퍼런스
- Moonshot 공식 블로그: kimi.com/blog/kimi-k3
- 독립 종합 지표: Artificial Analysis - Kimi K3
- API/가격: OpenRouter - moonshotai/kimi-k3
- 아키텍처 해설(서드파티): Ken Huang, “Demystifying Kimi K3” · HuggingFace: MXFP4 overview
- 보도: VentureBeat · Tom’s Hardware · the-decoder
수치의 상당수는 Moonshot 자체 보고이며, 독립 검증된 항목(Artificial Analysis, Frontend Code Arena)과 구분해 서술했다. 미확정 항목은 본문에 명시했다.