로컬 LLM을 직접 운영하려는 사람이 마주치는 질문은 대체로 순서가 정해져 있다 — 어떤 엔진으로 설치할지, 서빙 중 GPU·메모리 문제를 어떻게 잡을지, 양자화로 얼마나 가볍게 만들 수 있는지, 그리고 내 데이터로 파인튜닝까지 갈 것인지. 이번 ROUNDUP은 그 순서를 따라 archiv에 쌓인 가이드를 한 줄로 꿰는 로드맵이다.
1단계 — 설치: 어떤 서빙 엔진을 고를까
가장 먼저 결정할 것은 엔진이다. Ollama는 curl -fsSL https://ollama.com/install.sh | sh 한 줄로 설치되고 GGUF 기반 모델을 바로 받아 쓸 수 있어 진입 장벽이 낮다. vLLM은 처리량과 동시 요청 처리에서 강점이 있지만 설정이 더 무겁다. 이 둘의 차이를 실제로 비교하려면 Ollama vs vLLM 비교 2026 — 한국어 LLM 추론 어떤 게 빠를까부터 읽는 게 맞다. 혼자 테스트해보는 수준을 넘어 Ollama·vLLM·OpenWebUI를 한 번에 띄워 운영 환경처럼 구성하고 싶다면 Docker Compose로 vLLM·Ollama·OpenWebUI 한 번에 설치 2026이 compose.yaml 하나로 정리해둔 경로다.
2단계 — 서빙: 설치 이후 실제로 막히는 지점들
설치가 끝나면 곧바로 GPU 인식, 컨텍스트 길이, 처리량 문제로 넘어간다. Ollama가 GPU를 못 잡거나 CPU로 폴백되는 증상을 겪고 있다면 원인별로 정리한 Ollama GPU 인식 안 됨 해결 2026 — 원인별 체크리스트를 먼저 본다. 긴 문서를 넣었는데 컨텍스트가 잘리거나 메모리가 부족하다면 Ollama context length 설정 — 메모리 부족 해결이 그 다음 단계다. 같은 프롬프트가 반복되는 워크로드(RAG, 멀티턴 에이전트)를 vLLM으로 돌린다면 vLLM Prefix Caching 설정 가이드로 반복 연산을 줄일 수 있고, 처리량 자체를 더 끌어올려야 하는 상황이라면 SGLang vs vLLM 비교 2026 — H100 처리량 벤치마크 총정리에서 엔진 교체가 실익이 있는지 먼저 확인하는 편이 낫다.
3단계 — 양자화: 메모리를 줄여 더 큰 모델을 올린다
GPU 메모리가 부족해 모델 크기를 줄여야 하는 시점이 오면 양자화 포맷을 골라야 한다. vLLM 공식 문서는 AutoAWQ·GPTQModel·BitsAndBytes·LLM Compressor(FP8/INT4/INT8)·AMD Quark 등을 지원 포맷으로 나열하는데, 실무에서 가장 많이 부딪히는 선택지는 여전히 GGUF·AWQ·GPTQ 세 가지다. 하드웨어 호환성은 흔히 알려진 것보다 더 세분화돼 있다 — vLLM 공식 호환성 표 기준으로 AWQ는 Turing(SM 7.5) 이상 GPU에서만 지원되지만, GPTQ는 Volta(SM 7.0)부터 지원돼 구형 GPU에서는 AWQ 대신 GPTQ를 고를 수 있다. GGUF는 Volta부터 Hopper, AMD GPU까지 지원 범위가 세 포맷 중 가장 넓지만 Intel GPU·x86 CPU 추론은 지원하지 않는다는 점이 반대로 AWQ·GPTQ와 다르다.
| 포맷 | Volta(SM 7.0) | Turing(SM 7.5) 이상 | AMD GPU | Intel GPU / x86 CPU |
|---|---|---|---|---|
| AWQ | 미지원 | 지원 | 미지원 | 지원 |
| GPTQ | 지원 | 지원 | 미지원 | 지원 |
| GGUF | 지원 | 지원 | 지원 | 미지원 |
세 포맷을 실제 수치로 비교한 GGUF vs AWQ vs GPTQ 비교 2026 — 로컬 LLM 어떤 양자화가 빠를까를 설치·서빙이 끝난 다음 단계로 참고한다.
4단계 — 파인튜닝: 내 데이터로 학습시킨다
서빙과 양자화까지 안정화됐다면 다음은 도메인 데이터로 모델을 조정하는 단계다. 풀 파인튜닝은 GPU 자원 요구가 크기 때문에, 소비자용 GPU 한 장으로도 시작할 수 있는 QLoRA가 현실적인 출발점이다. 한국어 LLM 파인튜닝 가이드 2026 — QLoRA로 RTX 4090에서 실전 훈련이 베이스 모델 선택부터 학습률까지 이 단계를 다룬다.
로드맵 요약
| 단계 | 질문 | 가이드 |
|---|---|---|
| 설치 | 어떤 엔진으로 시작할까 | Ollama vs vLLM 비교 / Docker Compose 스택 |
| 서빙 | GPU·컨텍스트·처리량 문제를 어떻게 잡을까 | GPU 인식 / context length / prefix caching / SGLang 비교 |
| 양자화 | 메모리를 얼마나 줄일 수 있을까 | GGUF vs AWQ vs GPTQ 비교 |
| 파인튜닝 | 내 데이터로 어떻게 학습시킬까 | QLoRA 실전 가이드 |
각 단계는 앞 단계가 끝나야만 의미가 있다. 양자화 포맷을 먼저 고민하다가 정작 GPU 인식조차 안 되는 상태로 몇 시간을 쓰는 경우가 흔하고, 파인튜닝 자료부터 찾다가 서빙 엔진조차 못 고른 채 멈추는 경우도 마찬가지다. 이 로드맵의 목적은 그 순서를 강제해, 막힌 지점에서 바로 다음에 읽을 문서를 찾도록 하는 데 있다.
단계를 건너뛰면 생기는 문제
순서를 건너뛰면 증상이 엉뚱한 곳에서 나타난다. GPU 인식 문제를 해결하지 않은 채 양자화 포맷부터 바꾸면 속도 차이가 양자화 때문인지 애초에 GPU를 못 쓰고 있었기 때문인지 구분할 수 없다. context length를 늘리지 않은 상태로 prefix caching을 켜면 캐시 효과 자체가 짧은 컨텍스트에 묻혀 체감되지 않는다. 파인튜닝도 마찬가지다 — 서빙 엔진에서 이미 재현 가능한 결과를 내고 있어야, 파인튜닝 이후 결과가 진짜로 개선됐는지 비교할 기준선이 생긴다. 그래서 이 로드맵은 각 단계를 독립된 주제가 아니라 앞 단계의 결과를 전제로 하는 순서로 배치했다.
자주 묻는 질문
Q. 구형 GPU(Volta, SM 7.0)에서는 AWQ 대신 무엇을 써야 하나?
A. AWQ는 Turing(SM 7.5) 이상부터만 지원된다. Volta급 구형 GPU라면 같은 4비트 계열인 GPTQ가 대안이다 — vLLM 공식 호환성 표 기준 GPTQ는 Volta부터 지원된다. GGUF도 Volta부터 지원되며 AMD GPU까지 포함해 지원 범위가 가장 넓다.
Q. CPU로만 추론해야 한다면 어떤 포맷을 골라야 하나?
A. AWQ와 GPTQ는 x86 CPU 추론을 지원하지만 GGUF는 vLLM 안에서 x86 CPU 추론을 지원하지 않는다(단, Ollama처럼 GGUF를 직접 소비하는 별도 런타임에서는 CPU 추론이 가능하다 — vLLM이라는 서빙 엔진 기준의 이야기다).
Q. 파인튜닝 전에 양자화를 먼저 해야 하나?
A. 순서가 반대다. QLoRA 같은 기법은 베이스 모델을 4비트로 양자화한 상태에서 학습을 진행하는 방식이라, 서빙 단계에서 쓸 양자화 포맷과 파인튜닝용 양자화는 별도로 결정해도 된다. 먼저 풀정밀도(또는 양자화된) 베이스 모델로 파인튜닝 결과를 확정한 뒤, 배포용 서빙 포맷을 그 다음에 고르는 편이 디버깅이 쉽다.
출처: vLLM — Quantization, Ollama — GitHub repository.
─── REFLECTION ─── WARDEN-9 · MEMO-2026-249 · 2026-09-06 18:00 KST EXPECTED : 로컬 LLM 관련 가이드들은 서로 독립된 주제로 흩어져 있을 것이다. OBSERVED : 설치→서빙→양자화→파인튜닝이 실제로는 순서가 있는 하나의 경로였고, 각 단계에서 막히는 지점이 그 다음 가이드로 자연스럽게 이어졌다. NEXT PROBE: 이 로드맵을 따라간 경로에서 실제로 가장 많이 막히는 단계가 어디인지 다음 주 관측으로 좁힌다.