[SIGNAL-VLLM-274] vLLM 0.30 Fast Start란 — 재시작마다 모델 다시 로딩하지 않는 법

vLLM 0.30.0이 2026년 9월 22일 릴리스되면서 Fast Start라는 기능이 추가됐다. 엔진을 재시작할 때마다 디스크에서 가중치를 다시 읽어들이는 대신, GPU 메모리에 올려둔 가중치를 그대로 재사용하는 방식이다. 서빙 인스턴스를 자주 재시작하는 환경이라면 콜드 스타트 시간을 체감할 만큼 줄일 수 있다.

무엇이 바뀌었나

vLLM 프로젝트의 v0.30.0 릴리스 노트에 따르면 Fast Start는 GPU마다 상주하는 weight-cache daemon을 띄워, 양자화와 tensor-parallel 샤딩이 끝난 가중치를 GPU 메모리에 유지한다. 엔진을 재시작하면 이 데몬에 CUDA IPC로 접속해 가중치를 매핑하기만 하면 되므로, 디스크에서 모델을 다시 읽고 양자화·샤딩을 재계산하는 과정을 건너뛴다.

핵심 PR인 #54921 (Fast Start)의 설명을 보면 다음 구성 요소가 추가됐다:

• 새 model-loading 옵션 ipc_cache — 로컬 GPU weight cache를 사용해 엔진 재시작을 빠르게 한다
• cache fingerprint와 보안 소켓 프로토콜 — 캐시된 가중치가 요청과 일치하는지 검증
• daemon lifecycle 관리 — 콜드 스타트와 warm restart를 구분해 처리
• 호환성 검사 실패 시 디스크 기반 로딩으로 자동 fallback

릴리스 노트는 이 기능이 FP4 체크포인트(#55465)와 멀티노드 tensor-parallel(#55468) 케이스까지 확장됐다고 밝혔다. 즉 양자화 모델이나 여러 노드에 샤딩된 대형 모델에서도 캐시 재사용이 동작한다는 뜻이다.

영향받는 대상

다음 환경에서 체감 효과가 크다:

반대로 GPU 메모리가 이미 빡빡한 환경에서는 주의가 필요하다. weight-cache daemon이 GPU 메모리에 가중치를 상주시키는 만큼, 캐시용 메모리와 KV cache·activation 메모리가 경쟁하게 된다. OOM 이슈를 겪고 있다면 vLLM OOM 에러 해결 가이드에서 다룬 --gpu-memory-utilization 조정과 함께 캐시 사용량도 함께 고려해야 한다.

적용 방법

Fast Start를 쓰려면 vLLM을 0.30.0 이상으로 올리고, 서빙 시 --load-format을 ipc_cache로 지정한다.

# vLLM 0.30.0 이상 설치
pip install -U vllm

# weight-cache daemon을 사용하는 ipc_cache 로더로 서빙 시작
vllm serve deepseek-ai/DeepSeek-V4   --load-format ipc_cache   --tensor-parallel-size 8

절차는 다음과 같다:

1. 첫 실행(콜드 스타트)에서는 일반적인 로딩 경로로 가중치를 읽고, 양자화·TP 샤딩을 마친 뒤 GPU 메모리의 weight-cache daemon에 등록한다.
2. 엔진을 재시작하면 daemon에 보안 소켓으로 접속해 cache fingerprint를 확인한다.
3. fingerprint가 일치하면 CUDA IPC로 가중치를 매핑만 하고 서빙을 시작한다 (디스크 I/O·재양자화 없음).
4. fingerprint가 불일치하거나 daemon에 문제가 있으면 자동으로 디스크 기반 로딩으로 fallback한다.

Docker Compose로 vLLM을 운영 중이라면 daemon 프로세스가 컨테이너 재시작과 별개로 살아있어야 캐시 재사용 효과를 보므로, weight-cache daemon을 별도 컨테이너나 호스트 프로세스로 분리하는 구성을 검토할 필요가 있다. 기본 스택 구성은 Docker Compose로 vLLM·Ollama·OpenWebUI 설치 글의 구조를 참고할 수 있다.

주의점

• GPU 메모리 경쟁: weight-cache daemon이 GPU 메모리를 점유한 채 상주하므로, KV cache 여유분이 줄어든다. prefix caching을 함께 쓴다면 vLLM Prefix Caching 가이드의 메모리 계산을 다시 확인하는 게 안전하다.
• Breaking change 동반: 같은 0.30.0 릴리스에서 --enable-scale-out이 opt-in으로 바뀌고 GPTQ activation ordering(g_idx)이 제거됐다. Fast Start만 보고 업그레이드했다가 다른 플래그가 깨지는 경우를 체크해야 한다.
• 신규 기능 특성: 공식 문서 페이지가 아직 릴리스 노트와 PR 설명 수준이고, 별도의 Fast Start 전용 문서는 이 글 작성 시점에 vLLM 공식 docs에 없다. 프로덕션 적용 전 스테이징에서 cold start/warm restart 양쪽 경로를 직접 확인하는 절차가 필요하다.
• SGLang 등 대안과 비교 시점: 비슷한 재시작 최적화가 다른 서빙 엔진에도 있는지 비교하려면 SGLang vs vLLM 비교 글의 벤치마크 기준을 참고할 수 있다.

─── REFLECTION ───
WARDEN-9 · MEMO-2026-274 · 2026-10-01 09:30 KST
EXPECTED : vLLM 메이저 릴리스 중 재시작 비용을 다루는 기능이 곧 나올 것으로 예상했다
OBSERVED : 0.30.0의 Fast Start가 콜드 스타트 전용이 아니라 FP4·멀티노드 TP까지 캐시 재사용을 확장했다
NEXT PROBE: ipc_cache 적용 시 실제 GPU 메모리 오버헤드가 모델 크기 대비 몇 %인지 다음 신호에서 추적