API 과금이 매달 늘어나는 AI 스타트업이라면 한 번쯤 자체호스팅을 검토한다. 결론부터: 트래픽이 하루 5억 토큰 근처에 도달하면 GPU 클러스터 임대 비용이 API 종량제보다 싸지는 구간에 들어서지만, 이 숫자는 엔지니어링 인력 비용을 뺀 '순수 컴퓨트 비교'일 뿐이다. 운영 부담까지 더하면 손익분기점은 훨씬 뒤로 밀린다.
왜 '하루 5억 토큰'이 자체호스팅 전환의 분기점으로 거론될까?
이 숫자는 특정 회사의 공식 발표라기보다, GPU 임대 시세와 API 단가를 맞바꿔 계산했을 때 여러 실무자들 사이에서 반복적으로 나오는 크로스오버 지점이다.
- API 토큰 단가는 모델·공급사마다 몇 배씩 차이 나므로, 손익분기 계산 전에 '어떤 모델 대비인가'부터 정해야 한다.
- GPU 임대는 시간당 과금이라 가동률(utilization)이 낮으면 자체호스팅이 오히려 손해다.
- 엔지니어링 인건비, 모델 업데이트 비용, 장애 대응 비용은 이 계산에 거의 반영되지 않는다.
- 5억 토큰은 '하루 매출 규모가 어느 정도 이상인 서비스'에서나 도달하는 트래픽이라, 대부분의 스타트업에는 참고치일 뿐 목표치가 아니다.
실제로 코딩 어시스턴트나 대화형 AI 서비스를 운영하는 회사들이 트래픽이 급격히 늘어나는 구간에서 API 대신 자체 GPU 클러스터로 전환하는 사례는 업계에 반복적으로 보고돼 왔다. 초기에는 OpenAI·Anthropic 같은 API를 쓰다가, 특정 요청 유형(짧고 반복적인 분류·요약 작업)의 비중이 커지면서 그 부분만 오픈웨이트 모델로 옮기는 식이다.
API 요금제를 계속 쓰면 무엇을 잃는가?
잃는 것은 '한계비용의 예측 가능성'이다. 사용량이 늘어날수록 API 비용은 선형에 가깝게 증가하고, 협상력이 없는 초기 스타트업은 볼륨 할인을 거의 받지 못한다. OpenAI 가격 페이지를 보면 모델별 입력·출력 단가가 100만 토큰 단위로 고시돼 있는데, 트래픽이 커질수록 이 단가가 그대로 월 청구서에 곱해진다. 반대로 얻는 것은 속도다. 인프라 없이 바로 서비스에 붙일 수 있고, 신모델이 나오면 API 호출 한 줄만 바꾸면 된다.
GPU 인프라를 직접 굴리면 무엇을 걸어야 하나?
거는 것은 초기 자본과 가동률 리스크다. H100급 GPU 노드 임대는 Together.ai 가격 정책이나 AWS 온디맨드 요금 기준으로 시간당 수십 달러대인데, 이 비용은 실제 요청이 없어도 클러스터가 켜져 있는 한 그대로 청구된다. 즉 자체호스팅의 경제성은 '토큰당 비용'이 아니라 '가동률 곱하기 토큰당 비용'으로 계산해야 한다. 가동률이 낮으면 API보다 비싸질 수 있다. 얻는 것은 단가 하락과 데이터 통제권이다. 대량 처리 구간에서는 100만 토큰당 비용이 API 대비 절반 이하로 떨어지는 경우도 보고된다.
혼합 전략은 답이 될 수 있는가?
많은 팀이 택하는 실제 답은 전면 전환이 아니라 혼합이다. 고난도·저빈도 요청(복잡한 추론, 긴 컨텍스트)은 API 최상위 모델에 맡기고, 단순·고빈도 요청(분류, 태깅, 짧은 요약)만 자체호스팅 오픈웨이트 모델로 돌리는 방식이다. 이렇게 하면 전체 트래픽 중 자체호스팅 비중이 낮아도 비용 절감 효과의 대부분을 가져간다.
손익분기 계산은 실제로 어떤 숫자로 갈렸나?
계산은 대략 이렇게 굴러간다. 하루 5억 토큰을 API 중간 단가(입출력 혼합 100만 토큰당 1~3달러 수준)로 처리하면 하루 500~1,500달러, 월 1.5만~4.5만 달러 규모다. 같은 물량을 8기 GPU 노드 한두 대로 처리한다고 가정하면, 가동률 60~80% 기준 월 인프라 비용은 임대 조건에 따라 1만~3만 달러대에 형성된다. 여기에 매달 최소 1인 이상의 인프라 엔지니어 인건비가 더해지면 두 방식의 격차는 크게 좁아진다. 2026년 기준으로 봐도 이 구조는 크게 달라지지 않았다 — 결국 '순수 컴퓨트 비교'에서는 자체호스팅이 유리해 보이지만, 총소유비용(TCO) 관점에서는 트래픽이 훨씬 더 커야 안전한 흑자 구간에 들어간다.
이 계산을 우리 회사 트래픽에 그대로 옮길 수 있을까?
옮길 수 있는 것은 계산의 '틀'이다. 자기 서비스의 하루 토큰량, 요청 유형별 비중, API 실제 청구 단가를 뽑아 같은 방식으로 크로스오버 지점을 구해보는 것은 누구에게나 유효하다. 옮길 수 없는 것은 '5억'이라는 절대 숫자다. 이 값은 특정 GPU 임대 시세, 특정 모델 단가, 특정 가동률 가정 위에서 나온 결과라서, 트래픽 패턴이 요청당 컨텍스트 길이가 길거나 짧은 서비스라면 분기점이 몇 배 차이 날 수 있다. 무엇보다 대부분의 스타트업은 하루 5억 토큰 근처에도 못 미치는 규모에서 이 논의를 하게 되므로, 지금 당장 할 일은 자체호스팅 준비가 아니라 '어떤 요청을 저가 모델로 내려도 되는가'를 가려내는 작업이다.
핵심 정리
- 하루 5억 토큰은 특정 회사의 발표치가 아니라, GPU 임대비와 API 단가를 맞바꿔 계산했을 때 반복적으로 나오는 참고 크로스오버 지점이다.
- 자체호스팅의 경제성은 '토큰당 단가'가 아니라 '가동률 × 토큰당 단가 + 인건비'로 따져야 실제 손익분기가 보인다.
- 대부분의 팀에 현실적인 답은 전면 자체호스팅이 아니라, 저난도 고빈도 요청만 오픈웨이트 모델로 옮기는 혼합 전략이다.
- 옮길 수 있는 것은 계산 방식이고, 옮길 수 없는 것은 5억이라는 숫자 자체 — 자기 트래픽 구조로 다시 계산해야 한다.
- 대부분의 스타트업에게 이 논의는 아직 '준비'보다 '요청 유형 분류'가 먼저다.
더 알아보기
LLM 모델·비용 선택, 어떤 기준으로 할까? — 이 주제의 종합 가이드