오픈 가중치 모델이 빠르게 좋아지면서 “이제 자가 호스팅으로 돌리면 더 싸지 않냐”는 질문이 다시 늘었다. 하지만 자가 호스팅의 손익은 모델 품질로 결정되지 않는다. 결정 변수는 워크로드 곡선이다. 같은 모델, 같은 GPU여도 사용 패턴이 바뀌면 결론이 뒤집힌다.
자가 호스팅의 진짜 비용
GPU 시간당 단가만 비교하면 자가 호스팅이 거의 항상 싸 보인다. 그러나 실측에서 빠지는 항목이 많다. 첫째, 유휴 시간이다. API는 사용한 토큰만 청구되지만, 자가 호스팅은 트래픽이 0인 시간에도 인스턴스가 살아 있다. 둘째, 처리량을 끌어내려면 연속 배치, KV 캐시 관리, 양자화, 텐서 병렬 같은 운영 노하우가 필요하다. 셋째, 모델 가중치 업데이트, 보안 패치, 모니터링, 장애 대응이 모두 팀 비용으로 잡힌다. 이 세 항목을 빼고 비교하면 결론은 늘 자가 호스팅 쪽으로 기울어 보인다.
API가 여전히 유리한 구간
요청량이 시간대별로 크게 출렁이는 워크로드, 즉 평균은 낮고 피크가 높은 패턴에서는 API가 거의 항상 더 싸다. 자가 호스팅은 피크를 기준으로 GPU를 확보해야 하므로 평균 시간 동안 그 자원이 놀기 때문이다. 프런티어 수준의 성능이 필요한 작업, 멀티모달이나 긴 컨텍스트가 핵심인 경우도 마찬가지다. 오픈 모델의 격차가 좁아졌다는 말은 평균 품질의 이야기이지, 작업별 한계 품질의 이야기는 아니다. 한계 품질이 매출이나 사용자 경험에 직결되는 지점이라면 API의 합리성은 쉽게 흔들리지 않는다.
자가 호스팅이 명확히 이기는 경계
반대로 자가 호스팅이 분명히 이기는 구간도 있다. 첫째, 지속적이고 예측 가능한 부하다. 분류, 임베딩, 요약처럼 24시간 일정한 처리량이 나오는 파이프라인은 GPU 활용률이 70퍼센트를 쉽게 넘긴다. 이 구간에서는 토큰 단가 차이가 누적되어 분명한 비용 곡선을 만든다. 둘째, 데이터 소재지나 규제 때문에 외부 API 호출이 막힌 환경이다. 셋째, 특정 도메인에 맞춘 파인튜닝이 비즈니스 가치를 직접 만드는 경우다. 마지막으로 엣지나 사내망에서 응답 지연을 수십 밀리초 단위로 잘라야 하는 경우다.
의사 결정의 기준은 결국 단순하다. 워크로드의 평균 대 피크 비율, 품질의 한계 요구, 데이터 경계, 그리고 운영 인력의 여유. 모델 카탈로그가 아니라 이 네 가지 곡선을 먼저 그려야 한다. 그러면 자가 호스팅과 API 중 어느 쪽이 답인지는 거의 자동으로 도출된다. 모델은 빠르게 바뀌지만 워크로드 곡선은 천천히 바뀐다는 점이, 이 의사 결정을 모델보다 먼저 워크로드를 보게 만드는 진짜 이유다.