핵심 요약
- vLLM v0.32.0은 2026년 10월 18일 공개된 오픈소스 추론 엔진 릴리스로, 814개 커밋과 363명 기여자가 참여했어요.
- NVFP4(SM8x/90/12x), GLM-5.x 기본 FP8 KV, ROCm 4비트 KV 등 저정밀 KV 캐시가 확장돼 GPU 메모리 부담을 줄일 수 있어요.
- Model Runner V2에 GPU n-gram 스페큘레이터와 Elastic EP, MLA용 PP+CP가 추가되고 ROCm에서 기본 적용돼요.
- 소스 코드와 설치 안내는 공식 저장소 github.com에서 확인할 수 있고, 도입 전에는 반드시 자체 워크로드로 처리량을 벤치마크해야 해요.
한눈에 보기
| 유형 | 오픈소스 LLM 추론·서빙 엔진 |
|---|---|
| 지원 기기 | NVIDIA SM8x/90/12x GPU, AMD ROCm GPU |
| 요금 | 오픈소스, 저장소 안내 확인 |
| 지원 언어 | Python 기반, 모델별 상이 |
| 핵심 포인트 | 저정밀 KV 캐시, 구조화 결정 엔드포인트 |
| 난이도 | 중급~고급, GPU 환경 이해 필요 |
| 카테고리 | 개발·웹 도구 |
| 제작자 | vLLM |
| 공식 사이트 | github.com ↗ |
| 화제도 | 🔥 화제도 19만 |
| 최종 업데이트 |
vLLM v0.32.0이 뭔가요? 오픈 모델 서빙의 판을 바꾸는 릴리스
vLLM은 오픈소스 대규모 언어 모델을 효율적으로 서빙하기 위한 추론 엔진이에요. v0.32.0은 2026년 10월 18일 공개된 최신 릴리스로, 814개 커밋과 363명의 기여자, 121명의 첫 기여자가 참여했어요. 모델을 직접 학습시키는 도구가 아니라, 이미 공개된 모델을 GPU에서 빠르고 안정적으로 돌리는 데 초점을 맞춰요.
이번 버전의 핵심은 메모리 효율과 처리량이에요. 저정밀 KV 캐시 지원이 더 많은 GPU와 모델로 넓어졌고, Model Runner V2가 ROCm에서 기본으로 적용돼요. 여기에 구조화 결정을 위한 새 엔드포인트와 범용 Hugging Face 도구·추론 파서가 더해져 에이전트형 워크플로 구성이 수월해졌어요.
최근 화제인 이유는 오픈 모델을 운영하는 팀 입장에서 체감 효과가 크기 때문이에요. 같은 GPU로 더 많은 요청을 처리하거나, 더 큰 모델을 낮은 정밀도로 올려볼 수 있는 선택지가 늘었어요. 다만 구체적인 수치는 환경마다 달라서 공식 릴리스 노트와 자체 측정을 함께 봐야 해요.
- 릴리스 규모
814개 커밋, 363명 기여자, 121명 첫 기여자로 커뮤니티 참여가 두드러진 버전이에요.
- 메모리 절감
저정밀 KV 캐시가 NVFP4, FP8, 4비트로 확장돼 GPU 메모리 여유를 확보하는 데 유리해요.
- 에이전트 친화
구조화 결정 엔드포인트와 범용 도구·추론 파서로 복잡한 출력 제어가 쉬워졌어요.
저정밀 KV 캐시와 Model Runner V2, 실제로 뭐가 달라지나요
KV 캐시는 생성 과정에서 이전 토큰의 키·값을 저장하는 공간으로, 긴 문맥일수록 GPU 메모리를 크게 차지해요. v0.32.0은 이 캐시를 더 낮은 정밀도로 저장하는 선택지를 넓혔어요. SM8x/90/12x 아키텍처에서 NVFP4를 쓸 수 있고, GLM-5.x 계열은 FP8 KV가 기본이며, ROCm에서는 4비트 KV를 지원해요.
Model Runner V2에는 GPU n-gram 스페큘레이터가 추가됐어요. 스페큘레이티브 디코딩은 작은 모델이 후보 토큰을 먼저 제안하고 큰 모델이 검증하는 방식인데, n-gram 기반 접근은 별도 모델 없이 반복 패턴을 활용해 생성 속도를 높이는 걸 목표로 해요. Elastic EP와 MLA용 PP+CP도 더해져 병렬 구성의 폭이 넓어졌어요.
서빙 편의성도 개선됐어요. 사전 컴파일된 커널 다운로드와 오토튠 프리로드로 시작 시간이 줄고, 다중 API 워커 구성에서 요청 처리량이 43~85% 향상됐다는 설명이 릴리스 노트에 있어요. EmbeddingGemma 2, MiniCPM-V 4.7, Nemotron 3.5 ASR 같은 새 모델 지원과 보안 수정 3건, CORS 강화도 포함돼요.
- NVFP4 KV
SM8x/90/12x 환경에서 4비트 부동소수점 KV 캐시를 선택할 수 있어요.
- GLM-5.x 기본 FP8
GLM-5.x 모델은 별도 설정 없이 FP8 KV가 기본 적용돼요.
- ROCm 4비트
AMD ROCm 환경에서도 4비트 KV 캐시를 활용할 수 있어요.
- 처리량 향상
다중 API 워커에서 43~85% 요청 처리량 개선이 보고됐어요.
설치부터 벤치마크까지: v0.32.0 도입 절차
먼저 공식 저장소 github.com에서 v0.32.0 릴리스 노트와 설치 안내를 확인하세요. CUDA와 ROCm 중 어떤 환경인지, GPU 아키텍처가 SM8x/90/12x에 해당하는지에 따라 사용할 수 있는 저정밀 KV 옵션이 달라져요. 파이썬 패키지 설치 방식과 소스 빌드 방식이 안내돼 있으니 환경에 맞는 쪽을 선택하면 돼요.
설치 후에는 기존에 쓰던 모델을 그대로 올려 기준 성능을 측정하세요. 그다음 저정밀 KV 캐시 플래그를 켜고 메모리 사용량과 처리량을 비교하면 효과를 객관적으로 판단할 수 있어요. GLM-5.x처럼 기본값이 바뀐 모델은 설정을 건드리지 않아도 동작이 달라질 수 있으니 릴리스 노트를 먼저 읽는 게 좋아요.
구조화 결정 엔드포인트를 쓰려면 /v1/systemone 경로와 요청 형식을 공식 문서에서 확인해야 해요. 범용 Hugging Face 도구·추론 파서는 모델이 내보내는 도구 호출이나 사고 과정 출력을 해석하는 데 쓰여요. 보안 수정이 포함된 릴리스이므로 운영 환경이라면 변경 내역을 검토하고 CORS 설정도 함께 점검하세요.
- 환경 확인
GPU 아키텍처와 CUDA·ROCm 여부를 먼저 확인해 지원 옵션을 가려내세요.
- 기준 측정
기본 설정으로 처리량과 메모리를 기록한 뒤 저정밀 KV를 켜 비교하세요.
- 문서 확인
systemone 엔드포인트와 파서 사용법은 공식 문서에서 확인해야 해요.
누구에게 맞고 무엇을 주의해야 하나요
vLLM v0.32.0은 직접 모델을 서빙하는 개발팀과 MLOps 엔지니어에게 특히 유용해요. 챗봇, 코드 어시스턴트, 문서 요약처럼 동시 요청이 많은 서비스에서 GPU 비용을 줄이는 데 초점이 맞춰져 있어요. 반대로 모델을 처음 접하는 입문자라면 개념과 환경 설정 부담이 크게 느껴질 수 있어요.
비슷한 도구로는 다른 오픈소스 추론 서버들이 있어요. vLLM은 저정밀 KV 캐시와 연속 배칭, 다양한 병렬 구성 지원이 강점이지만, 모델·GPU 조합에 따라 최적 설정이 달라지므로 범용 벤치마크만 믿기는 어려워요. 특정 모델에서 기본값이 바뀐 점도 마이그레이션 시 확인해야 할 부분이에요.
저정밀 KV 캐시는 메모리를 아끼는 대신 출력 품질에 영향을 줄 수 있어요. 정밀도 옵션을 바꾼 뒤에는 반드시 품질 평가를 병행하고, 운영 환경에서는 단계적으로 적용하는 걸 권해요. 지원 모델과 정확한 플래그 이름, 요금 정책은 공식 저장소에서 최신 정보를 확인하세요.
- 적합한 사용자
GPU 서빙 비용을 줄이려는 개발팀과 MLOps 엔지니어에게 잘 맞아요.
- 품질 검증
저정밀 KV 적용 후에는 출력 품질 평가를 함께 진행하세요.
- 대안 비교
다른 추론 서버와 처리량·메모리·모델 지원 범위를 자체 환경에서 비교하세요.
단계별 가이드
공식 저장소 확인
github.com의 vLLM 저장소에서 v0.32.0 릴리스 노트와 설치 안내를 읽어요. GPU 아키텍처와 CUDA·ROCm 환경을 먼저 파악하세요.
환경에 맞게 설치
안내된 패키지 설치 또는 소스 빌드 방식 중 환경에 맞는 쪽을 선택해요. 파이썬과 GPU 드라이버 버전 요구 사항을 함께 확인하세요.
기준 성능 측정
기존 설정으로 모델을 올려 처리량과 메모리 사용량을 기록해요. 이 수치가 이후 비교의 기준이 돼요.
저정밀 KV 활성화
GPU에 맞는 NVFP4, FP8, 4비트 KV 옵션을 켜고 다시 측정해요. GLM-5.x는 기본값이 FP8 KV라는 점을 기억하세요.
구조화 엔드포인트 적용
/v1/systemone 엔드포인트와 범용 도구·추론 파서를 공식 문서 형식에 맞춰 호출해요. 보안 수정과 CORS 설정도 함께 점검하세요.
자주 묻는 질문
vLLM v0.32.0은 무료인가요?
vLLM은 오픈소스 프로젝트로, 소스 코드와 설치 안내가 공식 저장소 github.com에 공개돼 있어요. 다만 실제 운영에는 GPU 서버 비용이 들고, 상용 지원이나 호스팅 서비스의 요금은 별도로 확인해야 해요.
어떤 GPU에서 저정밀 KV 캐시를 쓸 수 있나요?
릴리스 노트 기준으로 NVFP4는 SM8x/90/12x 아키텍처에서, 4비트 KV는 ROCm 환경에서 지원돼요. GLM-5.x 모델은 FP8 KV가 기본 적용돼요. 정확한 지원 범위는 공식 문서에서 확인하세요.
처리량이 정말 43~85% 늘어나나요?
릴리스 노트에 다중 API 워커 구성에서 43~85% 요청 처리량 향상이 언급돼 있어요. 다만 모델, GPU, 배치 구성에 따라 결과가 달라지므로 자체 워크로드로 벤치마크해 확인하는 게 안전해요.
구조화 결정 엔드포인트는 어떻게 쓰나요?
/v1/systemone 경로로 제공되는 새 엔드포인트로, 구조화된 결정을 내리는 워크플로에 쓰여요. 요청 형식과 지원 모델은 공식 문서에 안내돼 있으니 적용 전에 확인하세요.
운영 중인 서비스에 바로 적용해도 되나요?
이번 릴리스에는 보안 수정 3건과 CORS 강화가 포함돼 있어 검토 가치가 있어요. 다만 기본값 변경과 저정밀 KV의 품질 영향을 고려해 스테이징 환경에서 먼저 검증한 뒤 단계적으로 적용하는 걸 권해요.
