Ollama vs vLLM 비교 2026 — 한국어 LLM 추론 어떤 게 빠를까

한국어 LLM을 직접 돌리려고 결정한 순간 가장 먼저 부딪히는 질문이 Ollama vs vLLM이다. 결론부터 말하면 둘은 같은 카테고리에 속하지 않는다. Ollama는 노트북과 데스크톱에서 단일 사용자가 모델을 빠르게 실행하기 위한 도구이고, vLLM은 GPU 서버에서 다수의 요청을 동시에 처리하기 위한 추론 엔진이다. 사용자가 한 명이면 체감 속도는 거의 같지만, 동시 4명을 넘는 순간 격차가 벌어진다.

Ollama는 단일 요청의 토큰/초(TPS)와 첫 토큰 지연(TTFT)을 중시하고, vLLM은 동시 32개 이상의 합산 처리량(throughput)을 강조한다. 이 차이가 한국어 LLM 서비스 가능 여부를 가른다.

이 글은 2026년 6월 기준 Ollama v0.30.6과 vLLM 최신 릴리스로 두 도구의 아키텍처, 한국어 모델 지원, 처리 성능, 운영 비용을 비교한다. 기준일 2026-06-08.

목차

• Ollama vs vLLM 핵심 비교표
• Ollama는 어떤 도구인가
• vLLM은 어떤 도구인가
• 한국어 LLM 추론 벤치마크 패턴
• 어떤 경우에 무엇을 선택해야 할까
• 한국어 모델별 호환성
• FAQ
• 결론: 결정 기준 한 줄

Ollama vs vLLM 핵심 비교표

기준일: 2026-06-08. 버전: Ollama v0.30.6, vLLM 최신 안정 릴리스.

Ollama는 어떤 도구인가

Ollama는 llama.cpp를 추론 백엔드로 쓰는 래퍼다. ollama run qwen3:14b 같은 한 줄 명령으로 모델을 받고 실행하게 해 주는 것이 핵심 가치다. 2026년 6월 5일 v0.30.6이 릴리스되었으며 GitHub 기준 223회의 릴리스를 거치며 매주~격주 업데이트되고 있다.

특성은 세 가지다. 첫째, GGUF 전용. Q4_K_M, Q5_K_M, Q8_0 같은 사전 양자화 변형을 골라 받는다. 둘째, 다중 GPU 백엔드(NVIDIA CUDA, AMD ROCm, Apple Silicon Metal)를 자동 인식해 macOS 사용자가 Llama 3·Qwen3·Gemma 2를 그대로 돌릴 수 있는 거의 유일한 옵션이다. 셋째, OpenAI 호환 /v1/chat/completions 엔드포인트를 노출해 SDK 코드를 그대로 붙일 수 있다.

동시 요청은 OLLAMA_NUM_PARALLEL 환경변수로 슬롯을 늘릴 수 있지만 llama.cpp의 parallel slots는 정적 방식이라 continuous batching 효과는 없다. 동시 4명까지는 견디지만 8명을 넘기면 응답이 직렬화된다. 다중 사용자 SaaS용은 아니라는 의미다. 대신 5분 안에 한국어 LLM을 띄우는 학습·실험 도구로는 거의 무적이다.

vLLM은 어떤 도구인가

vLLM은 UC Berkeley Sky Computing Lab에서 출발한 GPU 추론 서버다. 2026년 6월 기준 GitHub 82.2k stars, 2000명 이상의 컨트리뷰터를 가진 사실상의 오픈소스 LLM 서빙 표준이다. 강점은 세 가지 아키텍처 결정에서 나온다.

첫째, PagedAttention. KV cache를 페이지 단위로 관리해 메모리 단편화를 거의 0으로 줄인다. 같은 GPU에서 동시 처리 가능한 시퀀스 수가 llama.cpp 대비 2~4배 늘어난다. 둘째, Continuous batching. 새 요청을 기존 배치에 즉시 끼워 넣어 GPU 유휴 시간을 없앤다. 셋째, 양자화 폭이 넓다. FP8, INT8, INT4, GPTQ, AWQ를 모두 받으며 H100에서 FP8을 쓰면 메모리는 절반, 정확도 손실은 1~2% 이내다.

OpenAI 호환 API 서버를 그대로 제공하므로 pip install vllm 후 vllm serve Qwen/Qwen3-14B-Instruct 한 줄로 서빙이 시작된다. 200+ 모델 아키텍처 공식 지원, Multi-LoRA, 텐서·파이프라인 병렬, FlashAttention/FlashInfer 모두 옵션이다. 대신 CUDA 12.x, PyTorch 2.x, NCCL 버전이 맞아야 빌드가 통과한다. RTX 4090에서도 잘 돌지만 진가는 A100·H100에서 나온다.

한국어 LLM 추론 벤치마크 패턴

아래 수치는 Qwen3-14B-Instruct(Q4_K_M 또는 AWQ-4bit)를 RTX 4090 한 장에서 측정한 공개 패턴이다. 정확한 값은 드라이버·프롬프트 길이에 따라 다르므로 자신의 환경에서 재현하기를 권한다.

• 단일 요청(200 in / 256 out): Ollama 55~75 tokens/sec, vLLM 60~80 tokens/sec. 차이가 크지 않다.
• 동시 32 요청: Ollama 합산 80~120 tokens/sec, vLLM 900~1400 tokens/sec. 약 10배 격차.
• 32K 컨텍스트: Ollama는 KV cache 누적으로 OOM 가능, vLLM은 PagedAttention 덕분에 안정.
• 첫 토큰 지연(TTFT): Ollama 80~120ms, vLLM 100~150ms. 단일 사용자 챗 UI는 Ollama가 약간 유리.
• cold start: Ollama 2~5초, vLLM 30~90초(가중치 로딩 + JIT). 재시작 잦은 환경은 별도 고려.

메시지는 단순하다. 사용자가 한 명이면 Ollama가 충분히 빠르고 첫 토큰 지연도 짧다. 동시 사용자가 4명을 넘는 순간 vLLM이 격차를 벌리고, 32명에 도달하면 비교가 무의미하다. 운영 환경의 동시 사용자 수 추정이 도구 선택의 출발점이다.

어떤 경우에 무엇을 선택해야 할까

• 개인 개발·노트북: Ollama. macOS Metal 가속까지 자동으로 잡아 주는 유일한 옵션.
• 사내 GPU 서버, 동시 4명 이하: Ollama로 시작 가능. 운영 부담이 가장 낮다.
• SaaS·챗봇·RAG, 동시 8명 이상: vLLM. 다른 선택지는 비용·지연이 정당화되지 않는다.
• EXAONE 3.5·KoAlpaca 직접 로드: vLLM. HF Transformers 포맷을 바로 받는다.
• Apple Silicon (M1~M4): Ollama 외 실용 옵션 없음.
• H100 다중 노드: vLLM + 텐서·파이프라인 병렬. Ollama는 멀티 GPU 분산 추론을 정식 지원하지 않는다.

한국어 모델별 호환성

• Qwen3 (Alibaba): 두 시스템 1차 지원. 7B/14B/32B 모두 GGUF·HF 배포되며 한국어 품질이 우수해 가장 추천된다.
• Gemma 2/3 (Google): 두 시스템 지원. 한국어는 영어 대비 한 단계 떨어지지만 다국어 RAG에는 쓸 만하다.
• Llama 3.x (Meta): 두 시스템 지원. 한국어 단독 사용은 권장되지 않는다.
• EXAONE 3.5 (LG AI Research): vLLM에서 HF 포맷 직접 로드. Ollama는 커뮤니티 GGUF 변환본 사용.
• EEVE-Korean (야놀자): 두 시스템 GGUF 사용 가능. 한국어 instruction following 품질이 우수해 사내 챗봇에 자주 채택된다.
• HyperCLOVA-X (NAVER): API 전용. 자체 추론이 필요하면 Qwen3·EXAONE이 현실적 대안이다.

FAQ

Q1. Ollama로도 동시 요청을 처리할 수 있나요?
가능하지만 권장하지 않습니다. OLLAMA_NUM_PARALLEL로 슬롯을 늘릴 수 있으나 정적 슬롯 방식이라 동시 8명을 넘기면 응답 시간이 빠르게 늘어납니다. 동시 사용자 8명이 일관된 상한선이라고 보면 됩니다.

Q2. vLLM은 RTX 4090 한 장에서도 의미가 있나요?
있습니다. 단일 GPU에서도 PagedAttention과 continuous batching의 효과는 그대로 나타나며, 동시 요청 4~16개 구간에서 Ollama 대비 3~10배 처리량을 확인할 수 있습니다. 동시 사용자가 4명만 되어도 vLLM 도입 가치가 생깁니다.

Q3. 한국어 토크나이저가 두 시스템에서 다르게 동작하나요?
토크나이저는 모델에 포함되므로 동일 모델이라면 두 시스템이 같은 결과를 냅니다. 다만 GGUF 변환 시 메타데이터가 손실되는 사례가 있어, EXAONE 같은 한국어 특화 모델은 vLLM의 HF 원본 로딩이 안전합니다.

Q4. 운영 비용을 줄이려면 어느 쪽이 유리한가요?
동시 사용자 수에 달려 있습니다. 사용자 1~4명 규모는 Ollama가 운영 인력 비용까지 포함해 압도적으로 저렴합니다. 16명을 넘으면 vLLM이 GPU 비용을 절반 이하로 낮춥니다. 손익분기점은 대략 동시 6~8명 구간입니다.

결론: 결정 기준 한 줄

Ollama vs vLLM 비교는 데스크톱 도구와 서버 엔진의 비교다. 둘은 경쟁자가 아니라 서로 다른 단계에서 쓰이는 도구이며, 한국어 LLM을 처음 손에 잡는 개발자는 Ollama로 모델 감각을 익히고 서비스화 단계에서 vLLM으로 전환하는 경로가 자연스럽다.

선택을 하나로 좁혀야 한다면 기준은 단순하다. 동시 요청자가 일관되게 4명을 넘는가. 넘는다면 vLLM, 아니라면 Ollama가 운영·학습 비용 모두에서 우위다. 양자화·컨텍스트 길이·GPU 종류는 그 다음 결정이다. Apple Silicon 환경이면 사용자 수와 무관하게 Ollama가 유일한 실용 선택지다.

2026년 한국어 LLM 운영에서 가장 중요한 변수는 모델 선택(Qwen3·EXAONE 3.5·Gemma 3)이다. 추론 엔진 선택은 모델과 동시 사용자 수가 정해진 뒤에 결정하자.