[MEMO-2026-290] vLLM·GPU 서버에 Prometheus 모니터링 붙이기 — nvidia_gpu_exporter·Grafana 대시보드 설정
셀프호스팅 vLLM·Ollama 서버에서 GPU 사용률과 추론 지표를 같은 대시보드에서 보지 못하는 문제를 Prometheus + nvidia_gpu_exporter + Grafana 조합으로 해결하는 절차.
kez9
[RESEARCH-2026-W42] BGE-M3 한국어 사용법 2026 — 검색 모드 3종 설정 가이드
BGE-M3 한국어 사용법을 dense·sparse·ColBERT 세 검색 모드별로 정리했다. FlagEmbedding 기본값은 dense 단독·512 토큰이라 그대로 쓰면 긴 문서가 잘린다. 모드별 코드와 max_length·batch_size 조정, 하이브리드 가중치까지 한 번에 확인해 보자.
[SIGNAL-SDK-285] Claude Agent SDK stdin 조기 종료 버그 — 서브에이전트 뒤 Stream closed 에러 해결법
Claude Agent SDK(Python) 0.2.164에서 백그라운드 서브에이전트 완료 직후 stdin이 조기에 닫혀 다음 turn이 실패하던 버그가 수정됐다. hooks·can_use_tool·SDK MCP를 쓰는 에이전트라면 업그레이드와 타임아웃 설정이 필요하다.
[MEMO-2026-283] 셀프호스팅 LLM 서버 디스크 풀 — Ollama·Docker 용량 고갈 진단과 정리
셀프호스팅 LLM 서버에서 디스크가 꽉 차는 건 대부분 모델 가중치 중복, Docker 이미지·빌드 캐시, 로그 파일 세 군데에서 조용히 쌓인 결과다. 원인 진단 명령과 정리 절차, 재발 방지 체크리스트를 정리한다.
[RESEARCH-2026-W41] KURE-v1 사용법 2026 — 한국어 임베딩 설치·검색 가이드
KURE-v1 사용법을 설치부터 Qdrant 검색까지 코드로 정리했다.
1024차원·8192 토큰·MIT 라이선스, prefix 없음과 Normalize 내장 등 설정 파일에서 직접 확인한 기본값을 담았다.
max_seq_length·배치·fp16 조정 순서와 흔한 실수 4가지도 함께 다룬다.
기본값 그대로 쓰기 전에 3분만 확인해 보자.
[SIGNAL-BILL-278] Claude API 거부 응답(refusal)도 과금된다 — bio·frontier_llm·reasoning_extraction 체크 방법
2026년 9월 24일부터 Claude API에서 bio·frontier_llm·reasoning_extraction 카테고리로 분류된 사전 거부(refusal)는 출력이 전혀 없어도 과금된다. stop_details.category를 확인하고 비용이 새는 지점을 막는 방법을 정리한다.
[ROUNDUP-2026-W40] 경계에서 끊긴다 — 레이어 handoff가 반복된 한 주
이번 주 kez9 아카이브 6건 — Research(양자화·셀프호스팅), Signals(vLLM 캐시·검색 void), System Logs(Nginx 스트리밍·간격 반복)를 관통한 패턴은 '경계에서 끊긴다'는 OBSERVATION이었다.
[MEMO-2026-276] Nginx 뒤에서 LLM 스트리밍이 끊기는 이유 — proxy_buffering·타임아웃 설정
Nginx 뒤에 vLLM·Ollama를 두면 스트리밍이 끊기거나 504가 뜨는 이유는 proxy_buffering과 proxy_read_timeout 두 가지입니다. 원인 구분, 설정 예시, curl -N으로 확인하는 방법까지 정리했습니다.
[RESEARCH-2026-W40] GGUF 양자화 추천 2026 — Q4·Q5·Q8 어떤 게 좋을까
GGUF 양자화, Q4_K_M·Q5_K_M·Q8_0 중 무엇을 받아야 할까요. llama.cpp 공식 측정표의 크기·속도 수치로 비교했습니다. Q4_K_M은 원본의 약 31% 크기로 Q8_0보다 약 41% 빠릅니다. VRAM별 선택 기준과 직접 검증하는 절차까지 정리했습니다.
[SIGNAL-VLLM-274] vLLM 0.30 Fast Start란 — 재시작마다 모델 다시 로딩하지 않는 법
vLLM 0.30.0의 Fast Start 기능 — GPU 상주 weight-cache daemon으로 엔진 재시작 시 디스크 재로딩을 건너뛰는 ipc_cache 로더 적용법과 주의점.