에이전트가 온다

기존의 챗봇 환경에서는 사용자의 질문에 대해 단일 응답을 생성하는 구조였기 때문에, 토큰 소비는 제한적이었다. 그러나 추론 중심 모델의 등장 이후, AI는 단순 응답을 넘어 복잡한 사고 과정을 거치기 시작했으며, 이 과정에서 토큰 소비는 점진적으로 증가해왔다.

이러한 흐름은 에이전트의 등장과 함께 구조적인 전환점을 맞이하고 있다. 에이전트는 목표를 기반으로 스스로 계획을 수립하고, 이를 실행하며, 결과를 검증하고, 필요 시 재시도하는 일련의 과정을 반복한다. 즉, 하나의 요청이 다수의 단계로 분해되며, 토큰 소비는 단일 응답이 아닌 '워크플로 단위'로 확장된다.

특히 에이전트는 도구를 호출하거나 코드를 실행하고 외부 데이터를 조회하는 실행 단계가 추가되면서, 토큰은 단순 생성 비용이 아닌 '작업 수행 비용'으로 성격이 변화하고 있다.

OpenRouter는 수백 개의 모델을 다양한 제공사로부터 라우팅하며, 수백만 사용자의 실제 API 호출을 처리하는 대표적인 AI 추론 플랫폼이다. 해당 플랫폼의 주간 토큰 사용량은 지난 1년간 약 +949% 성장하며, 2025년 3월 약 1.9T 수준에서 2026년 3월에는 약 20T까지 급증했다.

물론 개발자 중심 플랫폼이라는 점에서 전체 시장을 그대로 대변한다고 보기는 어렵지만, 에이전트 기반 사용 패턴에서 토큰 소비가 어떻게 증가하는지를 보여주는 유의미한 사례로 해석할 수 있다.

에이전트 실사용의 가장 직접적인 증거는 툴 콜(Tool Call) 비율이다. Anthropic API 호출 중 모델이 도구 호출을 요청한 비율이 1년 만에 5%에서 25%+로 폭발했으며, 에이전트 전문 모델(MiniMax M2)의 경우 80%+에 달한다.

전체 토큰이 약 10배 증가했지만, 사용자 수가 10배 늘어난 것이 아니다.
에이전트 사용자 1명이 챗봇 사용자 수십~수백 명 분의 토큰을 소비한다.

챗봇 1회 1x

~1.5K 토큰

단일 에이전트 4x

10~20회 연쇄 호출

멀티 에이전트 15x

수백 회 API 호출

🐼 = 챗봇 사용자 1명 분의 토큰  |  구조 자체가 변한 것이다.

그렇다면 왜 중국이 가장 빠를까?

마지막으로 OpenRouter 상위 모델을 살펴보면, 중국 모델의 비중이 빠르게 확대되고 있음을 확인할 수 있으며 이는 상대적으로 저렴한 비용 구조를 기반으로 한 빠른 확산이 주요 원인으로 작용하고 있다.

[표1] 주요 모델 토큰 비용 비교 (일 10억 토큰 기준)

하루 10억 개의 토큰을 사용한다고 가정하면 (인풋:아웃풋 = 1:1 기준) Claude Sonnet 기준으로는 일 약 $9,000, Opus는 $15,000 수준에 달하는 반면, MiniMax M2.5는 약 $750으로 Claude 대비 12~20배 저렴한 수준이다. 현재 출시된 Minimax 에이전트가 24시간 가동되는 구조에서는 토큰당 비용이 핵심 의사결정 변수로 작용하며, 이러한 가격 차이가 중국 모델 확산의 직접적인 원인으로 해석된다.

에이전트 구축 관점에서는 고성능 모델을 활용해 정교하게 튜닝할 것인지, 혹은 비용 효율적인 모델을 기반으로 확장할 것인지의 선택이 가능하다. 다만 일반적인 사용자 입장에서는 고가의 모델을 지속적으로 사용하는 것이 현실적으로 부담이 크기 때문에, 상대적으로 저렴한 비용 구조를 가진 중국 모델이 빠르게 채택되고 있는 것으로 판단된다.

주요 모델 벤치마크 비교

중국 vs 미국 모델 주간 사용량 추이

OpenRouter 주간 토큰 사용량 (기타 제외)