카테고리 Research

llama.cpp speculative decoding 설정을 draft model 선택부터 n-gram 방식, 핵심 옵션, 벤치마크 절차까지 정리했습니다. 한국어 로컬 추론에서 실제로 빨라지는 조건과 느려지는 원인을 확인하세요.

한국어 리랭커 5종을 파라미터·컨텍스트·라이선스·MMTEB-R 실측으로 비교했다. Qwen3-Reranker-4B가 72.74로 정확도 1위, 0.6B는 66.36으로 가성비 최적. bge-reranker-v2-m3와 gte는 임베딩 단독(64.64)보다 낮게 나온 구간이 있어 검증 없이 붙이면 손해다. 라이선스 함정 하나와 top_k 튜닝 레버 네 개까지 정리.

Ollama context length 설정을 CLI·API·Modelfile별로 정리합니다. VRAM 구간별 시작값, 병렬 요청의 메모리 계산, Flash Attention과 q8_0 KV cache 적용 순서를 공식 문서 수치로 검증했습니다. OOM과 CPU offload를 줄이는 실전 체크리스트를 확인하세요.

Ollama GPU 인식, vLLM prefix caching, 한국어 임베딩 모델 선택을 로그와 공식 설정값 기준으로 점검하는 순서를 정리한다.

vLLM Prefix Caching 설정을 공식 문서 기준으로 정리했습니다. 긴 system prompt와 RAG 문서의 prefill 재사용 원리, 활성화 옵션, Prometheus 지표와 벤치마크 절차를 확인합니다.

n8n vs Activepieces 셀프호스팅 비교를 설치, 연동 생태계, worker 확장, 라이선스 관점에서 정리했습니다. 2026년 9월 30일 공식 GitHub 릴리스로 버전·스타 수를 재검증하고, 실제 운영에서 부딪히는 웹훅·OAuth·메모리 문제까지 다룹니다.

Ollama GPU 인식 안 됨 문제는 대부분 드라이버 버전, 컨테이너 런타임, suspend 이후 UVM 드라이버에서 갈린다. v0.35.0 기준 공식 문서로 재확인한 요건과 실패 신호를 원인별 적중률 순으로 정리했다. 노트북 iGPU/dGPU 혼합 환경에서 Vulkan이 엉뚱한 GPU를 잡는 문제의 해결법도 추가했다.

한국어 임베딩 모델 추천 2026. KoSimCSE·BGE-M3·multilingual-e5·jina-v3에 더해 고려대 NLP&AI Lab의 KURE-v1·KURE-v2·KoE5, bge-m3-ko 한국어 파인튜닝 모델까지 포함해 비교했다.

Ollama·vLLM 설치부터 서빙 최적화, 양자화, 파인튜닝까지 로컬 LLM 셀프호스팅을 순서대로 진행하는 로드맵. 각 단계에서 참고할 kez9 가이드를 정리했다.

한국어 LLM 파인튜닝을 QLoRA로 RTX 4090 한 장에서 끝내는 실전 가이드. 베이스 모델 선택부터 데이터셋, LoRA 랭크, 학습률, 서빙까지 실측 파라미터로 정리하고 2026-09 기준 패키지 버전을 재검증했다.