vLLM
브이엘엘엠
오픈소스GitHub 저장소
vllm-project/vllm- 별(★)
- ★ 9.5만
- 최근 업데이트
- 2026-10-21
- 라이선스
- Apache-2.0
- 설치 난이도
- 어려움
GPU 서버 구성과 모델 서빙 운영을 직접 해야 합니다. 설치 자체는 uv pip install vllm 한 줄입니다.
필요한 것: Python · GPU 서버(NVIDIA·AMD 등) 또는 지원 하드웨어 · 서빙할 오픈 모델
무료 오픈소스입니다. 연결해 쓰는 AI 모델(Claude·GPT 등)의 API 비용은 별도로 들 수 있습니다.
2026-10-22 기준
모켓은 도구를 소개하는 정보 사이트이며 판매자·운영사가 아닙니다. 결제·환불·구독은 각 도구의 공식 채널(또는 App Store·Google Play)에서 진행됩니다.
소개
vLLM은 대형 언어 모델을 빠르고 메모리 효율적으로 추론·서빙하기 위한 오픈소스 엔진으로, UC 버클리 스카이 컴퓨팅 연구소에서 시작되어 현재 PyTorch 재단이 호스팅하는 커뮤니티 프로젝트입니다. 개발자는 이를 자체 서버나 클라우드 GPU에 설치해 오픈소스 LLM을 OpenAI 호환 API로 서비스하거나 대량 배치 추론을 실행합니다. PagedAttention 기반 KV 캐시 관리와 연속 배치로 처리량을 높이고, NVIDIA·AMD GPU부터 TPU·Apple Silicon까지 여러 하드웨어를 하나의 API로 지원하는 점이 차별점입니다. AI 기능은 LLM 실행 자체가 제품의 핵심이며, 사용자는 원하는 모델을 직접 골라 올리고 생성 결과를 API로 받아 씁니다.
장점
- •OpenAI 호환 API를 제공해 기존 클라이언트 코드를 거의 그대로 연결할 수 있다.
- •PagedAttention과 연속 배치로 같은 GPU에서 더 많은 요청을 동시에 처리할 수 있다.
- •NVIDIA·AMD GPU, TPU, Apple Silicon 등 다양한 가속기에서 같은 방식으로 실행된다.
- •DeepSeek·Llama·Qwen 등 주요 오픈 모델을 새로 나오는 대로 빠르게 지원한다.
- •양자화·분산 추론·성능 평가·쿠버네티스 배포 도구가 생태계로 함께 제공된다.
단점
- •설치·GPU 구성·서버 운영을 직접 해야 하므로 비개발자가 바로 쓰기 어렵다.
- •공식 사이트·문서·커뮤니티가 모두 영어로만 제공되어 한국어 자료가 부족하다.
- •모델을 돌릴 하드웨어나 클라우드 GPU 비용은 사용자가 별도로 부담해야 한다.
- •완성된 챗 인터페이스가 아닌 엔진이어서 일반 사용자용 서비스는 별도로 만들어야 한다.
핵심 기능
PagedAttention 기반 고처리량 서빙
PagedAttention과 연속 배치, 고급 스케줄링으로 GPU 활용도를 높여 처리량을 끌어올립니다.
OpenAI 호환 API
OpenAI 호환 API를 제공하므로 기존 OpenAI 클라이언트 코드에 바로 연결할 수 있습니다.
다양한 하드웨어 지원
NVIDIA·AMD GPU, Google TPU, AWS Neuron, Intel Gaudi, Apple Silicon 등 여러 가속기에서 하나의 API로 실행됩니다.
폭넓은 오픈 모델 지원
DeepSeek·Llama·Qwen·Mistral·Gemma 등 주요 오픈소스 모델과 생성형·풀링(임베딩·분류) 모델을 지원합니다.
분산 추론과 양자화
데이터·텐서·전문가 병렬 등 분산 배포와 여러 양자화 방식으로 대형 모델을 효율적으로 운영할 수 있습니다.
주변 생태계 도구
쿠버네티스 인프라, 성능 평가, 모델 양자화, 프로덕션 배포, 웹 UI 등 vLLM 기반 도구가 함께 제공됩니다.
간편한 설치
Python 패키지(uv·pip)나 Docker로 설치하며 안정판과 나이틀리 빌드 중 선택할 수 있습니다.
공식 사이트 2026-10-21 콘텐츠 검증
이 도구의 주요 활용
- ·사내 GPU 서버에 오픈소스 LLM을 올려 OpenAI 호환 API 엔드포인트로 제공
- ·외부 API 대신 자체 호스팅 모델로 사내 챗봇·RAG 서비스 백엔드 구축
- ·대량 문서에 대한 오프라인 배치 추론으로 요약·분류 작업 처리
- ·임베딩·리랭킹 모델을 서빙해 검색 파이프라인 구성
- ·쿠버네티스 환경에서 여러 노드에 걸친 대형 MoE 모델 분산 배포
자주 묻는 질문
vLLM은 어떤 사람에게 맞나요?
자체 서버나 클라우드 GPU에서 오픈소스 LLM을 직접 서빙하려는 개발자·ML 엔지니어용 추론 엔진입니다. 바로 대화할 수 있는 챗봇 서비스가 필요한 일반 사용자에게는 맞지 않습니다.
기존 OpenAI API 코드를 그대로 쓸 수 있나요?
OpenAI 호환 API를 제공하므로 엔드포인트만 vLLM 서버로 바꾸면 기존 클라이언트 코드를 대부분 재사용할 수 있습니다.
NVIDIA GPU가 없어도 쓸 수 있나요?
CUDA 외에 ROCm(AMD), XPU, CPU 설치 옵션을 제공하며, Google TPU·AWS Neuron·Intel Gaudi·Apple Silicon 등 다양한 하드웨어 지원이 안내되어 있습니다. 다만 공식 사이트에서는 NVIDIA CUDA GPU가 가장 많이 쓰이는 플랫폼으로 표시됩니다.
어떤 모델을 돌릴 수 있나요?
DeepSeek·Llama·Qwen·Mistral·Gemma·Kimi·GLM 등 주요 오픈소스 모델과 멀티모달·임베딩 모델을 지원하며, Transformers 모델 구현도 백엔드로 불러올 수 있습니다. 전체 목록은 공식 문서의 지원 모델 페이지에서 확인합니다.
설치하려면 무엇이 필요한가요?
Python 환경이 필요하며 uv나 pip, Docker로 설치합니다. 안정판과 최신 기능이 담긴 나이틀리 빌드 중 선택할 수 있습니다.
문제가 생기면 어디서 도움을 받나요?
Slack, 포럼, GitHub Issues에서 커뮤니티와 메인테이너의 도움을 받을 수 있습니다. 공식 지원 채널은 영어로 운영됩니다.
사용자 리뷰
불러오는 중...