Не каждый запрос заслуживает самую дорогую модель
Vercel: open-weight модели обработали 29% токенов менее чем за 4% расходов. Как единый AI-шлюз распределяет запросы по цене и риску.
Три кадра: простая сортировка письма летит в самый дорогой AI-двигатель; счёт растёт; затем шлюз разводит массовые и критичные задачи по разным маршрутам.
Июльский AI Gateway Production Index от Vercel показал любопытную экономику. Open-weight модели обработали 29% токенов, но на них пришлось менее 4% расходов. При этом дорогие frontier-модели сохранили лидерство в сценариях, где ошибка стоит дорого. Не одна модель победила все остальные – компании начали маршрутизировать задачи.
Это практичнее, чем выбирать единственного поставщика на год. Черновик, поиск и классификация могут идти по дешёвому маршруту; код, финансы или действие агента – по более строгому. Но без общей точки контроля такая гибкость быстро превращается в россыпь ключей, лимитов и несопоставимых журналов.
Как поможет AIGate
AIGate централизует доступ к моделям и инструментам, применяет политики по пользователю и сценарию, считает расход и сохраняет аудит. Маршрут можно выбирать по цене, риску и доступности, не меняя каждое приложение отдельно. В итоге дешёвые модели экономят бюджет там, где это разумно, а критичные запросы не теряют защиту.