78 읽음
엔비디아 볼트 3.5 공개, 로컬 최적화 키미 K3 차별화
위키트리
0
엔비디아가 오픈웨이트(학습된 가중치를 공개하는 방식) 모델 Nemotron 3.5 Bolt 74B-A9B 24GB를 내놓은 가운데, 문샷AI의 키미 K3와 견준 분석이 나왔다. 모델 호출을 중계하는 오르카라우터(OrcaRouter)는 블로그에서 두 모델이 같은 일을 놓고 경쟁하지 않는다고 결론 내렸다. 컨텍스트 창(한 번에 읽을 수 있는 입력 길이)은 키미 K3가 1,048,576토큰, Bolt가 262,144토큰이다. 지능지수는 Artificial Analysis 기준 각각 43.6과 21로 나왔다.
오르카라우터에 따르면 Bolt 체크포인트(학습이 끝난 모델 파일)는 10월 7일(현지시각) 허깅페이스(Hugging Face)에 별도 발표 없이 올라왔다. 이 모델과 4GB급 동생 모델 Nemotron 3.5 Bolt E4B를 언급한 엔비디아의 공식 글은 8일 뒤인 10월 15일에 나왔다. 그 8일 동안 공개 기록은 내려받을 수 있는 파일과 모델 카드뿐이었다는 지적이다.
엔비디아 블로그는 120B(1,200억 파라미터) 규모의 Nemotron 3.5 Super VL, Bolt 74B-A9B 24GB, Bolt E4B 4GB를 한꺼번에 소개했다. Super VL과 Bolt 74B-A9B는 바로 이용할 수 있고 E4B는 10월 23일 나온다. 8월에 나온 Lightning, 가장 어려운 추론을 맡는 Ultra와 함께 Nemotron 가족을 이룬다.
엔비디아는 Bolt 74B-A9B를 RTX·DGX Spark에서 일상적인 에이전트 작업을 로컬로 돌리는 모델로 소개했다. 2비트 양자화(숫자 표현 정밀도를 낮춰 용량을 줄이는 기법)로 24GB 메모리에 들어가 다른 애플리케이션과 함께 실행할 수 있다는 설명이다. 웹 조사부터 글쓰기와 코드 디버깅까지 클라우드로 보내지 않고 맡길 수 있다고 했다. 엔비디아는 PinchBench에서 같은 급 오픈 모델 1위, BrowseComp에서 오픈 모델 2위라고 밝혔다.
키미 K3는 문샷AI가 7월 15일 공개한 2.8조 파라미터 규모의 희소 전문가 혼합(MoE) 모델이다. 토큰 하나를 처리할 때 쓰는 활성 파라미터는 약 1,040억 개다. 장기 코딩과 처음부터 끝까지 이어지는 지식 업무를 겨냥했고, 텍스트와 이미지를 입력받아 텍스트를 내놓는다. 독점 호스팅 API로만 제공돼 내려받을 수 없고 로컬에서 돌릴 양자화 버전도 없다.
Bolt는 정반대 방식으로 만들어졌다. 엔비디아는 120B-A12B 규모의 Super VL에 라우터(전문가 선택기) 기반 압축 기법 Star Elastic을 적용해 74B-A9B로 줄였다. 740억 개 파라미터 가운데 토큰마다 90억 개를 쓰는 구조다. 이어 전문가 요소당 2.0625비트의 IQ2_XXS 형식으로 양자화했고, 양자화 인지 증류(압축 후 손실된 정확도를 되살리는 학습)를 더했다.
백본(기본 골격)은 엔비디아가 LatentMoE라 부르는 Mamba-2와 트랜스포머 하이브리드다. 이미지·영상 입력용으로 C-RADIO v4-H 비전 인코더를 붙였다. vLLM 기준으로 암페어·호퍼·블랙웰 GPU에서 돌아가고, RTX Spark와 DGX Spark에서는 llama.cpp로 실행한다. 라이선스는 상업적 사용을 허용하는 OpenMDW-1.1이다.
오르카라우터는 이 대목에서 비교가 취향이 아닌 산수가 된다고 썼다. 키미 K3는 문샷AI 공시가 그대로 적용돼 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러다. 캐시 읽기는 0.30달러다. 이 업체 카탈로그에서 첫 토큰까지 걸리는 시간은 중앙값(p50) 7.02초, 상위 5% 지연(p95) 10.00초였다. 최근 7일간 중계한 키미 K3 트래픽은 9억 9,060만 토큰이다.
Bolt에는 매길 가격이 없다. 호스팅 엔드포인트도, 벤더 API도, 요금표도 없다. Artificial Analysis도 속도와 과제당 비용을 N/A로 표기했다. 대신 한 번 사두는 메모리 상한이 있고, 한계비용은 전기요금 수준이다. 매일 밤 같은 문서 묶음을 읽는 파이프라인이라면 입력 100만 토큰당 3달러와 0달러의 차이는 할인이 아니라 회계 방식의 차이라고 이 업체는 설명했다. 손익분기점은 재무팀이 계산할 설비투자 문제라는 말도 덧붙였다.
용도도 갈린다. 말뭉치 전체를 한 번에 읽고 답해야 한다면 Bolt는 다른 조건을 따지기 전에 탈락한다. 네트워크도 과금도 벤더도 없는 워크스테이션에서 돌려야 한다면 키미 K3는 후보에 들지 못한다.
Artificial Analysis는 키미 K3의 지능지수를 43.6, Bolt를 21로 매겼다. 키미 K3는 코딩 지수 76.2로 측정 모델 138개 중 9위, GPQA Diamond 93.5, 장문 회상 88.7을 기록했다. 마지막 수치는 100만 토큰 창이 선언만이 아니라 실제로 쓸 만하다는 근거라고 오르카라우터는 짚었다.
Bolt의 21점은 성격이 다르다. 메모리 크기를 기준으로 걸러낸 67개 모델 중 4위이고 그룹 중앙값은 8이다. Artificial Analysis는 비슷한 크기의 선두권 오픈웨이트 모델로 평가했다. 오르카라우터는 약 22점 차가 잘못 만든 모델의 증거가 아니라 24GB라는 제약의 대가라고 해석했다.
입력 방식에서도 차이가 난다. 키미 K3는 텍스트와 이미지를, Bolt는 텍스트·이미지·영상을 받는다. 화면 녹화나 카메라 프레임을 파일째 넘기려면 Bolt만 가능하다. 엔비디아가 제시한 Bolt의 WebArena 비전 점수는 50.86이며 업체 자체 보고치다. 추론 제어도 다르다. 키미 K3는 temperature·top_p·seed를 노출하지 않고 reasoning-effort 값 하나로 추론 깊이를 정한다. Bolt는 채팅 템플릿의 enable_thinking 스위치를 켜고 끈다.
속도는 검증이 비어 있다. Bolt에는 DFlash로 구동하는 LiLiCorr 드래프터가 들어 있다. 한 단계에 토큰 7개를 미리 제안하는 방식이다. 엔비디아는 AIPerf SPEED-Bench에서 초당 84토큰을 주장하고 설계 목표는 최소 초당 80토큰이라고 밝혔다. 다만 오르카라우터는 독립 기관의 속도 측정이 없다고 지적했다. 이 비교 글의 수치는 대부분 오르카라우터와 Artificial Analysis 기준이며, 벤치마크 일부는 엔비디아 자체 발표다.