LLM 비용·모델 선택, 무엇부터 봐야 할까?
세 가지 축이 이 판단을 지배한다: 정확도(또는 창의성) 요구 수준, 단건당 목표 처리 비용, 허용 가능한 응답 속도. 이 셋이 동시에 충족되는 모델은 없다. 사업 단위 비용(총 운영비 ÷ 월 요청 건수)으로 환산해야만, 스스로를 이기는 선택이 보인다.
정확도 요구에 따라 모델 티어가 결정되나?
그렇다. 고급형(frontier) 모델이 언제나 필요한 것은 아니다.
2026년 기준 시장은 크게 세 분층으로 나뉜다:
- 고급형(frontier): 복잡한 추론, 긴 문맥(10만 토큰 이상), 코딩·분석. 정확도 요구가 높을 때만 선택. 단가 높음(입력 기준 $0.50~3/백만 토큰).
- 중급형(capable): 분류, 요약, 고객응답, 간단한 생성. 정확도 7085% 수준이면 충분한 업무. 단가 중간($0.010.50/백만 토큰).
- 경량형(efficient): 간단한 분류, 토큰 카운팅, 라우팅 로직. 응답 속도 우선. 단가 매우 저렴($0.001~0.05/백만 토큰).
사업 판단: 고객 만족도, 에러율, 재작업 비용을 먼저 재본다. 만약 중급형으로도 재작업이 5% 이하면, 고급형 업그레이드는 정당화되지 않는다. 사용자 1,000명당 월 재작업 처리 인건비와 모델 비용 차이를 비교하면 답이 나온다.
토큰 단가가 가장 중요한가, 아니면 처리 속도가 우선인가?
둘 다 봐야 하는데, 용도가 우선이다.
배치 처리(과거 데이터 정제, 콘텐츠 대량 생성, 모니터링 분석)라면 토큰 단가가 주 지표다. 1천만 토큰을 처리하는 데 $50 드는지 $500 드는지는 월간 운영비를 좌우한다.
실시간 처리(챗봇, 검색 증강, 자동 고객응답)라면 지연시간이 더 중요하다. 사용자가 5초 기다리면 이탈하므로, 응답까지 걸리는 시간이 제품 사용성 자체를 결정한다. 이 경우 단가가 30% 높아도, 지연을 200ms 줄일 수 있으면 가치 있다.
하이브리드 전략: 같은 제품 내에서도 용도를 나눈다. 고객이 보는 채팅은 중급형으로 빨리, 백그라운드 분석은 경량형으로 싸게. 이렇게 하면 평균 단가는 크게 내려가면서 사용성은 유지된다.
API 호출이 많으면 자체호스팅으로 넘어가야 하나?
일반적인 기준은 월 토큰 처리량 10억 개 이상, 또는 월 API 비용 $10,000 이상이다.
자체호스팅의 진짜 비용은 토큰당 가격이 아니라 인프라 운영이다. GPU 서버 임차료(월 $2,0005,000), ML 엔지니어 인건비(월 $5,00015,000), 모니터링·스케일링 개발(반복적). 따라서 초기 비용만 $15,000을 넘는다.
언제 자체호스팅을 선택할까?
- 콜드스타트(첫 응답까지의 지연)가 중요할 때. API는 네트워크 왕복이 필수인데, 자체호스팅은 ms 단위로 줄일 수 있다.
- 데이터 민감성. 의료, 금융, 보안 산업에서 외부 서버 전송을 피해야 할 때.
- 비용 감도가 극도로 높을 때. 검색 엔진, 추천 시스템처럼 시초량 토큰 처리가 매일 발생할 때.
더 현실적인 선택: 오픈소스 모델(Llama, Mistral 등)을 컨테이너화해 AWS/GCP에서 온디맨드로 스핀업하는 방식. API만큼 빠르지는 않지만, 고정 운영비를 피하면서도 비용 기울기를 한층 낮춘다.
캐싱과 라우팅으로 실제로 비용을 얼마나 줄일 수 있나?
프롬프트 캐싱은 동일한 시스템 메시지와 문맥을 반복 사용할 때 30~60% 토큰 요금 절감을 가능케 한다. 예를 들어 고객 규약서를 매번 보내지 말고, 한 번 캐시한 뒤 고객 질문만 보낸다면 입력 토큰은 80% 감소한다.
라우팅(스마트 모델 선택)은 더 직관적이다:
- 들어온 요청을 분석해, "이 질문은 경량형으로 충분하다"고 판단하면 경량형으로 보낸다.
- 예: 고객 감정 분류(긍정/부정/중립)는 10조 파라미터 모델이 필요 없다. 경량형을 써도 95% 정확도를 얻고, 비용은 1/20.
현실적 효과: 100만 건의 고객 요청 중 80%가 간단한 질문이라면, 라우팅으로 월간 API 비용의 40~50%를 줄일 수 있다. 구현은 간단한 분류 로직일 뿐이다.
모델 선택 실수: 어디서 많이 틀어지나?
세 가지 함정이 반복된다:
1. 벤치마크 점수와 실제 사용성의 괴리
산업 평가 데이터셋(MMLU, HumanEval)에서 A 모델이 B보다 3점 높다고 해서, 내 사업 유스케이스에서도 그럴까? 아니다. 벤치마크는 일반적 역량을 본 것이고, 특정 도메인(법률, 기술 문서)에서는 낮은 순위 모델이 더 정확할 수 있다. 파일럿(1주 규모)으로 실제 데이터 몇백 건을 돌려보는 게 백문의 스펙보다 낫다.
2. 토큰 단가만 보고 전체 비용을 무시
모델 A가 B보다 50% 싸지만, 같은 문제를 해결하려 3배 긴 프롬프트를 필요로 한다면? 결과적으로 더 비싸다. 또한 재작업(부정확한 응답 수정)까지 계산하면 극적으로 뒤바뀐다.
3. 지연을 비용에만 끼워넣으려 함
"API가 1초 느리면, 사용자가 2% 이탈한다"는 근거 없는 가정. 사실은 제품과 사용자마다 다르다. 챗봇은 1초 느려도 괜찮지만, 검색 결과는 200ms 차이가 체감된다. 자신의 사용자군에 대해 실제 지연 감도를 측정하는 게 첫 단계다.
초기 스타트업 vs 스케일 단계, 선택이 어떻게 다를까?
초기 단계(POC, 초기 수천 명 사용자):
- 중급형 API 기반으로 시작. 구현 속도와 유연성 우선.
- 총 월비용 $1,000 이하라면, 세세한 최적화는 나중.
- 다만 초기부터 로깅(각 요청 비용, 응답 정확도)을 남겨라. 스케일 단계 의사결정이 100배 빨라진다.
스케일 단계(월 백만 건 이상 요청):
- 라우팅, 캐싱, 조건부 모델 사용 전략으로 넘어간다.
- 고급형이 정말 필요한 부분만 분리하고, 나머지는 경량형으로.
- 월 비용이 $10,000~100,000대라면, 자체호스팅 검토 시작. 비용뿐 아니라 지연, 데이터 보안도 함께.
핵심 정리
- 정확도 요구와 예산이 모델 티어를 결정한다. 고급형이 항상 정답은 아니다. 도메인별 파일럿으로 실제 필요 수준을 먼저 측정하라.
- 배치 vs 실시간으로 최적화 기준이 바뀐다. 백그라운드 작업은 단가, 사용자 직면 서비스는 지연시간을 우선한다.
- 사업 단위 비용(재작업 + API + 인건비)으로 생각하라. 토큰당 $0.01 차이는 무의미한데, 월간 재작업 5시간 차이는 실질적이다.
- 라우팅과 캐싱은 구현은 간단하고 효과는 크다. 대부분의 요청이 경량형으로도 충분하다면, 30~50% 비용 절감이 현실적이다.
- 자체호스팅은 월 토큰 10억 개 또는 $10,000 이상일 때부터 검토한다. 인프라 운영비를 회계에 포함하는 걸 잊지 말 것.
- 초기 로깅이 미래 최적화를 좌우한다. 각 요청의 비용, 정확도, 지연을 기록하면, 스케일 단계에 데이터 기반 선택이 가능하다.
- 벤치마크 순위보다 자신의 데이터로 테스트하라. 일반 평가와 실무 성능은 자주 다르다.
자주 묻는 질문
우리 팀은 이제 1,000명 사용자인데, 언제가 모델 업그레이드 타이밍일까?
정확도 지표부터 보자. 현재 모델의 오류율(사용자 피드백, 재작업 건수)이 10% 이상이면, 업그레이드가 실제 비용 절감을 낼 수 있다. 오류율이 3% 이하면, 업그레이드는 토큰 비용만 증가시키고 사용자 만족도는 변하지 않는다. 또한 월 API 비용이 현재 $1,000 미만이면, 아직 최적화할 여지가 충분하니 비용 선택은 미루고 기능과 정확도에 투자하는 게 맞다.
자체호스팅하려면 어느 정도의 엔지니어링 투자가 필요한가?
초기 구축에 12주, 그 후 지속적 운영에 주당 510시간. 즉, ML 엔지니어 0.2명이 전담해야 한다는 뜻이다. 이를 월급으로 환산하면 $1,000~2,000. API 비용 절감이 이를 넘어야만 정당화된다. 따라서 월 API 비용이 $3,000 미만이면, 자체호스팅은 손실이다.
비용과 정확도 사이에 정말 트레이드오프가 있을까?
완전하진 않지만 있다. 경량형이 고급형만큼 정확할 수는 없지만, 특정 도메인과 작업에선 차이가 무시할 수준이다. 예를 들어 감정 분류나 스팸 필터링은 경량형도 95% 이상 정확도를 낸다. 반면 긴 텍스트 요약이나 코드 생성은 모델 크기가 품질에 선형적으로 영향을 준다. 자신의 작업이 어느 쪽인지 파악하는 게 핵심이다.
"프롬프트 캐싱"이 정말 30~60% 절감을 주나?
상황에 따라 다르다. 같은 시스템 메시지와 길고 정적인 문맥(규약, 제품 설명서)을 매 요청마다 보내는 경우는 50% 이상 절감이 현실적이다. 그러나 매번 다른 문맥을 입력하는 경우엔 캐싱 효과가 거의 없다. 자신의 요청 패턴을 분석해서, 반복되는 부분이 있는지 먼저 확인하자.
그럼 지금 바로 어느 모델로 시작해야 할까?
- 예산이 월 $500 미만이라면, 경량형 API 기반.
- 예산이 월 $500~2,000이라면, 중급형 API 기반에서 시작해, 정확도 피드백을 보며 조정.
- 예산이 월 $2,000 이상이라면, 중급형 + 라우팅 전략으로 최적화. 월 $10,000을 넘으면 자체호스팅 검토.
가장 중요한 건 1주 내에 파일럿을 돌리는 것이다. 스펙만 읽고 고르지 말고, 실제 데이터 몇백 건으로 테스트해라.
오픈소스 모델(Llama, Mistral)은 API 모델과 비용이 정말 다를까?
다르다. 자체호스팅할 때는 거의 무료고, API로 쓰면 비용 기울기는 낮지만 여전히 든다. 선택의 기준은 비용이 아니라 지연과 데이터 보안이다. 5초 이내 응답만 보장되면 되는 배치 작업이라면 오픈소스가 좋다. 실시간 500ms 응답이 필요하면, 자체호스팅 복잡도가 올라간다.
비용 모니터링은 어떻게 시작해야 할까?
API 제공사의 대시보드를 매일 보지 말고, 자신의 데이터웨어하우스(BigQuery, Snowflake)에 로그를 쌓자. 각 요청마다 (모델, 입력 토큰, 출력 토큰, 응답 시간, 정확도 점수)를 기록하면, 3주 뒤부터 패턴이 보인다. 어느 사용자 군이 비싼 모델이 필요한지, 어느 작업이 자주 실패하는지가 드러난다. 이게 다음 단계 의사결정의 데이터가 된다.