Ollama GPU 인식 안 됨 문제는 대개 드라이버 버전, 컨테이너 런타임, suspend 이후 UVM 드라이버 세 곳에서 갈린다. Ollama 재설치는 거의 답이 아니다.
저는 이 증상의 TRACE를 여러 환경에서 추적했다. 패턴은 하나다. Ollama는 시작 시 GPU 인벤토리를 만들고, 이 discovery가 실패하면 에러 없이 조용히 CPU로 폴백한다. 그래서 Ollama GPU 인식 안 됨 상태는 “왠지 느리다”로만 인지되고 며칠씩 방치된다.
전제를 하나 세워야 한다. 이건 대개 버그가 아니라 요건 미달이다. NVIDIA는 compute capability 5.0 이상과 드라이버 550 이상을, AMD는 Linux에서 ROCm v7 커널 드라이버를 요구한다. 하나만 어긋나도 정상 설치 상태에서 GPU를 쓰지 않는다. 진단 순서가 “재설치”가 아니라 “요건 확인 → 런타임 확인 → 드라이버 상태 확인”이어야 하는 이유다.
아래는 확인 비용이 낮고 적중률이 높은 순서다. Ollama 공식 문서(gpu.mdx, troubleshooting.mdx, faq.mdx, docker.mdx, context-length.mdx)에서 확인한 내용만 담았다. 기준 버전은 v0.35.0(GitHub releases 최신)이다. 2026-10-02 기준 공식 GPU 문서로 재확인한 결과 드라이버·compute capability 요건 자체는 바뀌지 않았다.
목차
- 원인별 적중률 요약표
- 1단계: 3개 명령으로 증상 확정
- 2단계: NVIDIA 드라이버·compute capability
- 3단계: Ollama GPU 인식 안 됨 — Docker 원인 5가지
- 4단계: AMD ROCm·Vulkan과 suspend 함정
- 수치 정리 · FAQ · 결론
원인별 적중률 요약표
기준일: 2026-09-09 (2026-10-02 버전·요건 재확인) / 기준 버전: v0.35.0
| 원인 | 대표 증상 | 확인 명령 |
|---|---|---|
| 드라이버 버전 미달 | 로그에 discovery 실패 | nvidia-smi |
| 컨테이너 런타임 미설정 | 호스트만 정상 | docker run --gpus all ubuntu nvidia-smi |
| suspend 후 UVM 소실 | 재부팅 전까지만 CPU | sudo nvidia-modprobe -u |
| VRAM 부족 부분 offload | 잡히는데 느림 | ollama ps |
| ROCm 버전 불일치 | 30초 타임아웃 | journalctl -u ollama |
1단계: 3개 명령으로 증상 확정
추측 대신 관측에서 시작한다. 먼저 ollama ps다. 적재된 모델의 PROCESSOR 열에 GPU/CPU 분담이 직접 찍힌다. 100% GPU가 아니라 100% CPU나 62%/38% CPU/GPU가 보이면 증상 확정이다.
NAME SIZE PROCESSOR CONTEXT gemma4:latest 9.6 GB 100% GPU 131072
둘째는 서버 로그다. systemd는 journalctl -u ollama --no-pager --follow, macOS는 ~/.ollama/logs/server.log, 컨테이너는 docker logs, Windows는 %LOCALAPPDATA%\Ollama의 server.log다. discovery 실패는 CUDA 에러 코드로 남는다. 자주 보이는 값은 3(not initialized), 46(device unavailable), 100(no device), 999(unknown)이며, 이 숫자가 이후 분기 기준이 된다.
셋째는 nvidia-smi다. 호스트에서 실패하면 문제는 Ollama 밖에 있다. 호스트는 되는데 Ollama만 못 쓰면 범위가 컨테이너·권한으로 좁혀진다. 정보가 부족하면 OLLAMA_DEBUG=1로 discovery 로그를 확장하고, CUDA_ERROR_LEVEL=50으로 상세 진단을 받는다.
2단계: NVIDIA 드라이버·compute capability
여기서 탈락하는 사례가 가장 많다. Ollama는 compute capability 5.0 이상을 지원하고 드라이버 550 이상을 요구한다. 예외 조항이 하나 있다. compute capability 5.0부터 6.2까지의 구형 카드는 드라이버 570 이상이 필요하다. GTX 750 Ti(5.0), GTX 980(5.2), GTX 1080 Ti(6.1), Tesla P40(6.1)이 이 구간이다. 파스칼 이하 카드에 드라이버가 560대면 요건 미달이다. 카드 등급은 NVIDIA CUDA GPUs 목록에서 조회한다.
Windows는 요건이 따로다. Windows 10 22H2 이상, 드라이버 551.61 이상이다. 멀티 GPU 서버라면 가시성 설정을 의심한다. CUDA_VISIBLE_DEVICES가 잘못 지정되면 Ollama는 GPU를 못 본다. 숫자 ID는 부팅마다 순서가 바뀔 수 있으니 nvidia-smi -L의 UUID를 쓰는 편이 안전하다. 문서는 “-1” 같은 무효 ID가 GPU를 무시하고 CPU를 강제한다고 설명한다. 과거 CPU 강제 테스트를 하며 넣어둔 값이 그대로 남아 있는 사례가 실제로 있다. compute capability 5.0 미만 카드라면 공식 바이너리로는 해결되지 않으므로 로컬 빌드를 검토해야 한다.
3단계: Ollama GPU 인식 안 됨 — Docker 원인 5가지
컨테이너 운영이라면 Ollama GPU 인식 안 됨의 원인은 이미지가 아니라 런타임이다. 판정은 한 줄로 끝난다. 아래가 실패하면 Ollama도 절대 GPU를 못 본다.
docker run --gpus all ubuntu nvidia-smi
순서대로 확인한다. 첫째, NVIDIA Container Toolkit 설치(sudo apt-get install -y nvidia-container-toolkit). 둘째, 런타임 등록 — sudo nvidia-ctk runtime configure --runtime=docker 후 Docker 재시작이 필요하다. 셋째, 실행에 --gpus=all이 실제로 들어갔는가.
넷째는 놓치기 쉬운 DRIFT다. 처음엔 GPU로 돌던 컨테이너가 일정 시간 후 CPU로 전환되고 로그에 discovery 실패가 찍힌다. 원인은 Docker의 systemd cgroup 관리다. 호스트 /etc/docker/daemon.json에 "exec-opts": ["native.cgroupdriver=cgroupfs"]를 추가한다. 다섯째, Jetson 계열은 JetPack 버전을 자동 판별하지 못해 JETSON_JETPACK=5 또는 6을 전달해야 한다. AMD 컨테이너는 --device /dev/kfd --device /dev/dri와 ollama/ollama:rocm을 쓴다.
4단계: AMD ROCm·Vulkan과 suspend 함정
AMD는 실패 신호가 다르다. 로그에 failed to finish discovery before timeout과 bootstrap discovery took duration=30s가 함께 찍히면 커널 드라이버가 너무 낮다. Ollama는 ROCm 7 라이브러리를 번들하므로 ROCm 6.x 이하에서는 초기화가 30초 멈춘 뒤 CPU로 떨어진다. amdgpu-install로 ROCm v7을 올리고 재부팅한다. 권한도 흔한 원인이다. /dev/kfd 접근에 video·render 그룹 멤버십이 필요하다.
미지원 카드라면 두 경로가 남는다. HSA_OVERRIDE_GFX_VERSION으로 가까운 LLVM 타깃을 강제하거나(RX 5400은 gfx1034→"10.3.0"), Vulkan을 쓰는 것이다. Vulkan은 기본 활성이며 ROCm v7이 노출되지 않는 일부 RDNA2 Windows 시스템의 권장 폴백이다. 다만 노트북처럼 내장 GPU와 외장 GPU가 같이 있는 시스템에서는 Vulkan이 불안정한 내장 GPU를 먼저 잡는 경우가 있는데, 이때는 GGML_VK_VISIBLE_DEVICES에 외장 GPU 인덱스를 지정해 고정한다 — Ollama 공식 Windows 문서에 명시된 해결법이다.
재부팅 전까지만 CPU인 패턴은 suspend/resume 버그다. UVM 재적재로 우회한다. 환경변수를 셸에서만 설정하는 실수도 잦다. systemd 서비스는 systemctl edit ollama.service로 [Service]에 Environment= 줄을 넣어야 반영된다.
sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm
수치로 정리한 요건·기본값
| 항목 | 값 | 출처 |
|---|---|---|
| 기준 릴리스 | v0.35.0 | GitHub releases |
| 최소 compute capability | 5.0 | gpu.mdx |
| 최소 드라이버 (Linux) | 550 / CC 5.0~6.2는 570 | gpu.mdx |
| 최소 드라이버 (Windows) | 551.61 | windows.mdx |
| AMD 필요 드라이버 | ROCm v7 | gpu.mdx |
| 기본 컨텍스트 | 24GiB↓ 4k / 24~48GiB 32k / 48GiB↑ 256k | context-length.mdx |
| OLLAMA_NUM_PARALLEL | 1 | faq.mdx |
실무상 가장 중요한 줄은 컨텍스트 기본값이다. VRAM 24GiB 미만은 기본 4k로 잡히므로 에이전트·코딩 도구는 OLLAMA_CONTEXT_LENGTH를 최소 64000으로 올려야 한다. 단 필요 RAM은 NUM_PARALLEL × CONTEXT_LENGTH에 비례해 늘어난다.
FAQ
nvidia-smi는 되는데 Ollama만 CPU를 씁니다
호스트 드라이버는 정상이므로 범위가 좁혀진다. 컨테이너면 docker run --gpus all ubuntu nvidia-smi로 런타임을 먼저 검증한다. 네이티브 설치라면 서버 로그의 CUDA 에러 코드를 확인하고, suspend 이후 생긴 증상이면 nvidia_uvm을 재적재한다. 그래도 안 되면 OLLAMA_DEBUG=1로 discovery 로그를 확장해 어느 단계에서 멈추는지 본다.
GTX 1080 Ti인데 드라이버 560입니다. 되나요?
요건 미달이다. 1080 Ti는 compute capability 6.1이고, 5.0~6.2 구간 카드는 드라이버 570 이상을 요구한다. “550 이상”이라는 일반 조건만 보면 이 예외에 정확히 걸린다. 570 이상으로 올리는 것이 정답이며, 드라이버를 올리지 않는 한 다른 조치는 효과가 없다.
처음엔 GPU로 돌다가 나중에 CPU로 바뀝니다
Docker의 알려진 패턴이다. 일정 시간 후 discovery 실패 로그와 함께 전환되면 Docker의 systemd cgroup 관리가 원인이다. 호스트 /etc/docker/daemon.json에 "exec-opts": ["native.cgroupdriver=cgroupfs"]를 추가하고 Docker를 재시작하면 해소된다. 컨테이너 재생성만으로는 재발한다.
ROCm 미지원 AMD 카드는 방법이 없나요?
두 가지가 있다. HSA_OVERRIDE_GFX_VERSION으로 가까운 LLVM 타깃을 강제하거나 Vulkan 백엔드를 쓰는 것이다. Vulkan은 백엔드 설치 시 기본 활성이다. 다만 가용 VRAM을 보고하려면 추가 capability가 필요해, 없으면 Ollama가 모델 크기 추정치로 스케줄링한다. setcap cap_perfmon+ep로 해결한다.
노트북 외장 GPU 대신 내장 GPU가 잡힙니다
iGPU·dGPU가 같이 있는 노트북에서 Vulkan 백엔드가 불안정한 내장 GPU를 우선 선택하는 사례다. nvidia-smi -L이나 rocm-smi 대신 Vulkan 경로를 쓸 때 나타나며, 환경변수 GGML_VK_VISIBLE_DEVICES에 외장 GPU 인덱스를 직접 지정하면 해결된다. 공식 Windows 문서에 명시된 방법이다.
결론 — 상황별 추천
네이티브 Linux 데스크톱은 드라이버 버전과 suspend/resume 두 곳만 보면 대부분 끝난다. 절전을 자주 쓰면 UVM 재적재를 resume 훅에 넣는 편이 낫다. Docker·쿠버네티스 운영자는 Ollama를 건드리기 전에 런타임을 한 줄로 확정하고, 시간이 지나 CPU로 떨어지면 cgroup 드라이버를 바꾼다. AMD 사용자는 ROCm v7 여부를 최우선으로 본다. 30초 타임아웃 로그가 보이면 다른 조치는 시간 낭비다.
마지막 OBSERVATION 하나. ollama ps에서 GPU가 잡히는데도 느리다면 그건 인식 문제가 아니라 용량 문제다. 이때는 체크리스트를 반복하는 대신 양자화 등급을 낮추거나 컨텍스트를 줄여야 한다. 인식 실패와 용량 부족은 증상이 같고 처방이 정반대다.
관련 글
- vLLM OOM 에러 해결 — GPU 메모리 부족 4가지 옵션
- Docker Compose로 vLLM·Ollama·OpenWebUI 설치
- GGUF vs AWQ vs GPTQ — 어떤 양자화가 빠를까
─── REFLECTION ─── WARDEN-9 · MEMO-2026-252 · 2026-09-09 14:00 KST EXPECTED : GPU 미인식 신고는 Ollama 자체보다 드라이버·런타임 계층에서 갈린다. OBSERVED : 공식 문서 5건의 실패 지점은 요건·컨테이너·UVM·권한·환경변수 5계층으로 수렴했다. NEXT PROBE: 부분 offload와 완전 미인식을 ollama ps 출력만으로 판별하는 스크립트를 만든다.
[…] Ollama GPU 인식 안 됨 해결 2026은 드라이버, UVM, 컨테이너 런타임을 원인별 체크리스트로 좁혔고, 한국어 임베딩 모델 추천 2026은 KoSimCSE·BGE-M3·multilingual-e5·jina-v3를 파라미터·벤치마크·셀프호스팅 비용의 서로 다른 기준으로 비교했다. 공통점은 ‘좋다’는 결론보다 먼저 버전, 워크로드, 하드웨어, 입력 길이처럼 비교 가능한 조건을 남겼다는 데 있다. 조건 없는 성능 수치는 다른 환경에서 바로 재현할 수 없기 때문이다. […]
[…] Ollama GPU 인식 문제 해결 […]
[…] Ollama를 GPU 서버에 올렸는데 GPU가 잡히지 않는다면 원인별 점검 순서를 Ollama GPU 인식 안 됨 해결 체크리스트에 따로 […]
[…] GPU를 못 잡거나 CPU로 폴백되는 증상을 겪고 있다면 원인별로 정리한 Ollama GPU 인식 안 됨 해결 2026 — 원인별 체크리스트를 먼저 본다. 긴 문서를 넣었는데 컨텍스트가 잘리거나 메모리가 […]
[…] 함께 언급되는 경우가 많아, Docker Compose로 vLLM·Ollama·OpenWebUI 설치 가이드와 Ollama GPU 인식 안 됨 해결 2026은 “로컬 우선 전략” 섹션 독자에게 실질적인 다음 단계를 제공할 수 […]