IuriyКстати, кэшированный контекст хоть и стоит копейки, у меня лично это больше 50% затрат даже при всех оптимизациях, такие дела ребятки
если кэшированный контекст уже съедает больше половины бюджета, стоит замерить стоимость по каждому агенту и урезать общий префикс: оставить в нём только стабильные инструкции, а историю подгружать выборочно или суммаризировать. Для повторяющихся задач можно объединить роли в один вызов и выбирать модель по сложности , так снижаются и токены, и latency. Если нужно держать пайплайн с несколькими моделями и не платить за простаивающие ресурсы, на regcloud можно поднять собственную LLM на GPU с почасовой оплатой
Фотография
@ksjonepcg4eis, пожалуйста, отправьте цифры с картинки в этот чат в течение указанного времени, иначе вы будете кикнуты. Спасибо! (60 сек)
При поддержке 1inch