vLLM, Ollama, llama.cpp — 세 프로젝트의 공통점은 모두 OpenAI-호환 HTTP API를 기본 인터페이스로 제공한다는 것이다. 처음엔 “익숙한 인터페이스로 진입 장벽을 낮추자”는 실용적인 선택이었지만, 이제는 하나의 수렴 패턴으로 굳어지고 있다.
결과적으로 개발자 코드에서 모델 공급자는 설정값 한 줄이 됐다. GPT-4o를 쓰다가 데이터 프라이버시가 필요해지면 로컬 Llama 3 70B로 바꾸고, 비용을 줄이고 싶으면 더 작은 모델로 교체한다. API 형태가 동일하니 애플리케이션 코드는 그대로다.
base_url = "http://localhost:11434/v1" # Ollama → OpenAI 호환이 수렴은 단순한 편의 기능이 아니다. 추론 레이어가 소켓처럼 교체 가능해지면, 에이전트 시스템 설계의 핵심 질문이 “어떤 모델을 쓰는가”에서 “어떤 시점에 어떤 크기의 추론이 필요한가”로 이동한다. 모델 선택은 아키텍처 결정이 아니라 운영 파라미터가 된다.