Пост Хайп вокруг JEV набирает обороты.

Хайп вокруг JEV набирает обороты. Хотя мне всё ещё немного странно, что модель с довольно простой на первый взгляд задачей — выбрать решение из нескольких вариантов — так залетела во все медиа. Наверное, дело как раз в универсальности. Обучить небольшую модель принимать решения в рамках одного конкретного кейса не выглядит чем-то сверхсложным. Самая интересная часть начинается, когда она должна хорошо работать на куче совершенно разных задач. Но сама тема decision-моделей мне очень зашла. Особенно идея использовать их в агентном лупе: вместо того чтобы на каждом шаге гонять большую LLM, часть простых решений можно отдавать маленькой быстрой модели. Это должно прилично ускорять весь цикл, а заодно делать его дешевле. Собственно, поэтому я сейчас и дообучаю небольшого Qwen в роли decision-модели. Пока точность немного хромает, зато по скорости он уже даже быстрее JEV. Но об этом в следующий раз 😁 В общем, мне одобрили ранний доступ к JEV, и я пошёл играться. Придумывал кейс и, как обычно, всё переусложнил из-за @xepozz, который закинул идею: а что, если сделать полноценное управление компьютером голосом? На самом деле в этой задаче JEV взял на себя не так много. Он решает, что делать с запросом: сразу открыть приложение, куда-то перейти, двинуть мышкой, проскроллить страницу или понять, куда именно нужно тыкнуть на экране. То есть по сути первое решение — можно выполнить команду сразу или нужно смотреть на скриншот. Если нужен скриншот, в бой вступает либо мой локальный Qwen, либо, как на видео, Codex с Terra. Qwen тратил на распознавание скрина около 20 секунд, Codex справляется примерно за 10, поэтому пока оставил его. Но выбор провайдера в приложении есть. Дальше Codex разбирает изображение, а JEV решает, куда нажать. Ну и ещё в этой связке работает локальный Whisper для распознавания речи. По скорости сейчас примерно так: 🎙 Whisper → ~1 секунда 🧠 JEV → ~500 мс 👀 распознавание экрана → 5–15 секунд То есть узкое место сейчас очевидно — понимание скриншота. В итоге я отправил 365 запросов и потратил смешные $0.0434. А токенов — на лям двести)) Пока всё это делал, заодно докалибровал своего Qwen и дообучил его на выборе действий. Теперь хочу нормально сравнить JEV и свой локальный Qwen. Про собственную дообученную decision-модель расскажу в следующий раз. Как вам вообще такое управление компьютером голосом? Уже юзали JEV? С чем игрались?