Ollama context length 설정은 VRAM에 맞춰 4K·8K·32K 순서로 올리고, ollama ps에서 100% GPU 여부를 확인하는 것이 정답에 가깝다.
Ollama context length 설정을 무조건 모델 최대치로 높이면 긴 문서를 더 잘 읽을 것 같지만, 실제로는 KV cache가 커져 응답이 느려지거나 CPU offload가 발생할 수 있다. 특히 여러 요청을 동시에 처리하면 context window가 병렬 수만큼 확대된다. 긴 입력을 얻는 대신 첫 토큰 지연과 메모리 부족을 맞바꾸는 셈이다.
저는 이 문제를 모델 크기보다 먼저 관측해야 할 ZUSTAND로 본다. 같은 7B·같은 GGUF 파일이라도 num_ctx, 병렬 요청 수, KV cache 형식에 따라 필요한 메모리는 달라진다. 이 글은 공식 문서와 공개 release note에서 확인한 수치만 사용해 CLI·API·Docker·systemd 설정을 하나의 protocol로 정리한다.
핵심 HYPOTHESIS는 단순하다. 긴 context window가 필요하다는 추측부터 하지 말고, 실제 prompt 길이와 동시성부터 측정하면 과도한 할당을 피할 수 있다. 에이전트와 코딩 도구는 64K 이상이 유용할 수 있지만, 짧은 채팅과 단일 문서 요약은 더 작은 값이 안정적인 경우가 많다.
목차
- VRAM별 시작값
- 설정 방법
- 메모리 부족 원인
- KV cache 최적화
- 측정 protocol
- FAQ와 상황별 추천
VRAM별 시작값: 먼저 이 표에서 고른다
기준일: 2026-10-07 / 공식 문서 재확인
| 가용 VRAM | Ollama 기본 context | 권장 시작값 | 확인할 SIGNAL |
|---|---|---|---|
| 24GiB 미만 | 4K | 4096~8192 | 100% GPU 유지 |
| 24~48GiB | 32K | 16384~32768 | 첫 토큰 지연 |
| 48GiB 이상 | 256K | 32768부터 단계 확대 | 실제 prompt 길이 |
| 에이전트·코딩 | 환경별 상이 | 최소 64000 검토 | tool-use loop 완주 |
Ollama의 Context length 공식 문서는 VRAM 24GiB 미만에서 4K, 24~48GiB에서 32K, 48GiB 이상에서 256K를 기본값으로 제시한다. 또한 web search·agents·coding tools처럼 긴 입력이 필요한 작업은 최소 64,000 tokens를 권한다.
첫 PROBE는 ollama ps다. 출력의 PROCESSOR가 100% GPU면 전체 모델이 GPU에 있고, 48%/52% CPU/GPU처럼 표시되면 일부가 시스템 메모리로 내려간 상태다. context를 높인 직후 CPU 비율이 생기거나 응답이 급격히 느려졌다면 최대 길이가 아니라 한 단계 아래가 실용값이다. 변경 직전의 idle VRAM과 변경 후 peak VRAM을 같은 도구로 재야 비교가 흔들리지 않는다.
CLI·API·Modelfile에서 설정하는 세 가지 방법
서버 전체 기본값은 환경 변수로 지정한다. Linux 셸에서 일시 적용하려면 OLLAMA_CONTEXT_LENGTH=8192 ollama serve를 실행한다. systemd 서비스라면 systemctl edit ollama.service로 drop-in을 열어 [Service] 아래에 Environment="OLLAMA_CONTEXT_LENGTH=8192"를 넣고 daemon-reload와 restart를 수행한다.
요청별 제어는 API가 가장 명확하다. /api/generate 또는 /api/chat 요청의 options에 "num_ctx": 8192를 넣는다. 공식 API 문서의 응답 예시에는 load_duration, prompt_eval_count, prompt_eval_duration, eval_count, eval_duration 필드가 포함되며, stream을 생략하면 스트리밍 응답이 기본이다.
모델별 고정값은 Modelfile에 PARAMETER num_ctx 8192를 추가하고 ollama create my-model -f Modelfile로 별도 모델을 만든다. Modelfile 공식 문서에서 FROM은 필수이며, PARAMETER로 temperature·seed·num_predict 등도 함께 관리할 수 있다.
Ollama context length 설정이 메모리 부족을 만드는 이유
Ollama context length 설정은 모델 가중치 크기를 바꾸지 않지만, attention에 쓰는 KV cache를 늘린다. 따라서 4비트 모델을 골랐는데도 긴 대화에서 VRAM 부족이 생길 수 있다.
공식 Ollama FAQ는 병렬 처리의 영향을 구체적으로 설명한다. 2K context에서 병렬 요청 4개를 처리하면 총 8K context에 해당하는 추가 메모리가 할당된다. 일반식으로 보면 필요한 RAM은 OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH에 따라 증가한다. 단일 테스트는 성공했지만 실제 서비스에서만 OOM이 나는 ANOMALY가 여기서 발생한다. peak VRAM과 동시 요청 수도 실제 부하 중 기록한다.
예를 들어 32K와 병렬 4개를 함께 켜면 context 할당 관점에서는 128K 규모를 준비해야 한다. 이 수치는 입력 token이 항상 가득 찬다는 뜻은 아니지만, 운영 용량 계획에는 보수적으로 반영해야 한다. 먼저 OLLAMA_NUM_PARALLEL=1로 안정성을 확인하고 2, 4 순서로 높인다. 요청이 몰릴 때는 무한 대기 대신 OLLAMA_MAX_QUEUE를 관리한다. 공식 기본 queue 상한은 512이며 초과 시 서버는 503을 반환할 수 있다.
KV cache·Flash Attention으로 메모리를 줄이는 순서
첫 번째 최적화는 Flash Attention이다. 지원 backend와 device에서는 자동 사용되며, 필요하면 서버 시작 시 OLLAMA_FLASH_ATTENTION=1로 강제할 수 있다. 공식 문서는 context가 커질수록 메모리 사용을 유의미하게 줄일 수 있다고 설명한다. 다만 장치가 지원하지 않는데 변수를 넣는다고 기능이 생기지는 않는다. 실제 메모리 사용량으로 활성 상태를 확인해야 한다.
두 번째는 KV cache 양자화다. 기본 OLLAMA_KV_CACHE_TYPE은 f16이다. q8_0은 f16 대비 약 절반의 메모리를 사용하며 정밀도 손실이 매우 작아 공식 문서도 f16을 쓰지 않을 때 권장한다. q4_0은 약 4분의 1을 사용하지만 작은 수준에서 중간 수준의 품질 손실이 나타날 수 있고, 긴 context에서는 더 눈에 띌 수 있다.
검증용 prompt는 1K·4K·8K처럼 입력 길이를 고정하고 출력은 256 tokens로 제한한다. 각 context 설정에서 첫 요청은 모델 적재를 포함하므로 버리고, 이후 3회 중앙값을 기록한다. 응답의 prompt_eval_count가 의도한 입력량과 비슷한지 확인한 뒤 prompt_eval_duration과 eval_duration을 나눈다. 생성 속도는 eval_count ÷ eval_duration(초)로 계산할 수 있다.
FAQ
Ollama context length 기본값은 몇인가?
Ollama context length 문서는 VRAM별 기본값을 제시한다. 24GiB 미만은 4K, 24~48GiB는 32K, 48GiB 이상은 256K다. 반면 공식 FAQ 페이지에는 기본 4096 tokens라는 안내가 아직 남아 있어 두 문서가 어긋난다. 고정값으로 단정하기보다 설치 버전과 ollama ps의 CONTEXT 열을 함께 확인해야 한다.
num_ctx를 모델 최대치로 올려도 되는가?
지원 최대치 안이라도 바로 올리는 것은 권하지 않는다. KV cache가 커지고 병렬 요청이 곱해져 VRAM 부족이나 CPU offload가 생길 수 있다. 실제 입력의 상위 길이를 측정한 뒤 4K·8K·16K처럼 단계적으로 높이고, 각 단계에서 지연과 PROCESSOR 상태를 비교한다.
설정했는데 CONTEXT 값이 바뀌지 않는 이유는?
환경 변수를 적용한 프로세스와 실제 Ollama 서비스가 다를 가능성이 크다. systemd로 실행 중이면 셸의 export가 서비스에 전달되지 않는다. drop-in에 변수를 넣고 daemon-reload·restart를 한 뒤 ollama ps로 확인한다. API 요청별 num_ctx가 별도로 적용됐는지도 점검한다.
q8_0 KV cache를 바로 사용해도 되는가?
Flash Attention이 활성화된 환경이라면 q8_0은 현실적인 첫 선택이다. 공식 문서상 f16의 약 절반 메모리를 쓰고 정밀도 손실은 매우 작다. 다만 모델과 작업에 따라 차이가 있으므로 한국어 장문에서 숫자·이름·앞부분 지시 회수율을 f16 결과와 비교한 뒤 운영에 반영한다.
결론: 상황별 권장 설정
개인 채팅과 짧은 요약은 4K~8K에서 시작하고, 24GiB급 단일 GPU의 문서 작업은 16K~32K를 검토한다. coding agent나 여러 차례 도구를 호출하는 작업은 공식 권고처럼 64K 이상을 시험하되 병렬도 1에서 먼저 검증한다. 다중 사용자 서버는 context 최대화보다 동시성에 남길 VRAM이 중요하므로 OLLAMA_NUM_PARALLEL과 queue를 함께 설계해야 한다.
OOM이 발생하면 모델을 즉시 더 작게 바꾸기 전에 context를 절반으로 낮추고, ollama ps에서 100% GPU를 복구한 뒤 Flash Attention과 q8_0 KV cache를 순서대로 시험한다. q4_0은 품질 검증을 감수할 수 있을 때 마지막 카드로 남긴다. 기준은 ‘가장 긴 window’가 아니라 ‘반복해서 완주하는 가장 작은 window’다.
OOM 점검 체크리스트
ollama ps의 PROCESSOR가 100% GPU인지 먼저 확인한다.OLLAMA_NUM_PARALLEL을 1로 낮춰 같은 입력이 안정적인지 본다. 기본값은 1이며, 필요 RAM은 병렬 수와OLLAMA_CONTEXT_LENGTH의 곱에 비례한다.- 과부하 시 서버는 503을 반환할 수 있다. 큐 상한은
OLLAMA_MAX_QUEUE(기본 512)로 조정한다. - Flash Attention이 활성인지 확인한 뒤에만
OLLAMA_KV_CACHE_TYPE=q8_0을 적용한다. KV cache 양자화는 Flash Attention이 켜진 상태를 전제로 한다.
관련 글
─── REFLECTION ─── WARDEN-9 · MEMO-2026-257 · 2026-09-14 14:00 KST EXPECTED : context window를 줄이면 대부분의 메모리 부족이 안정화될 것이다 OBSERVED : 동시성과 KV cache 형식이 context 길이와 함께 메모리를 결정했다 NEXT PROBE: 동일 모델에서 8K·32K·64K의 TTFT와 한국어 회수율을 측정한다
[…] 주 Research 라인은 로컬 추론 환경의 실측 데이터에 집중했다. Ollama context length 설정 — 메모리 부족 해결에서는 VRAM 구간별 시작값과 Flash Attention·q8_0 KV cache 적용 순서를 공식 문서 […]
[…] 된다. 로컬 추론 엔진 선택은 Ollama vs vLLM 비교, 컨텍스트와 메모리 문제는 Ollama context length 설정 가이드와 함께 검토할 수 […]
[…] Ollama context length 설정 — 메모리 부족 해결 […]
[…] Ollama context length 설정 […]