Пост Opus 5.5 vs Sol 6.1

Opus 5.5 vs Sol 6.1 Решил сегодня поделиться сравнением Opus и Sol. Сравнение будет не по бенчмаркам, а чисто по ощущениям от реальной работы. Мотивация простая. После выхода GPT 6-х версий все GPT-модели настолько оттупели, что работать стало практически невозможно. За выходные после релиза я нагенерировал сплошной мусор, и даже спеки особо не помогали. Чуть позже их вроде отпустило, но параллельно в нашем AI Community поднялся ажиотаж вокруг Opus. Мол, он намного круче, особенно в геймдеве. Начали скидывать видосы блогеров, которые делают очень крутые игры, и там Opus действительно часто показывал лучший результат. Но я периодически возвращаюсь в Claude, плююсь, либо меня банят. Чаще и то и другое. И возвращаюсь обратно в GPT. При этом GPT и в моих бенчах, и просто по ощущениям почти всегда превосходил Opus. Но нюансы были всегда. И вот сейчас они снова всплыли. Ладно, хватит воды. Погнали по ощущениям. Сравнивать буду в двух направлениях: Геймдев и Обычный рабочий кодинг Геймдев Я решил сделать игру в жанре ARPG по типу Diablo, только главный персонаж тут автомобиль. Машину можно модернизировать, лутать оборудование, уничтожать вражеские авто ради ресурсов или брать их на абордаж и воровать целые модули. Короче, Mad Max в деле. Сначала сформировал два ТЗ: одно на саму игру, второе на модель одного из геройских автомобилей для Blender. Тест 1. Модель авто в Blender Строгая спецификация + дополнение, что потом авто нужно перенести в Unity, добавить управление и возможность разбирать его на части. И да, это был ваншот. Sol Sol выполнил модель строго по ТЗ, потом выполнил часть по Unity. Но заодно добавил кучу вещей, которых я вообще не просил. Не критично, но вот эта отсебятина сейчас один из главных минусов последних GPT-моделей. Opus По Blender Opus реализовал практически все по ТЗ. А вот Unity просто проигнорировал. Оставил анимацию движения машины, но управлять ей нельзя. Все остальные требования тоже куда-то потерялись. Тогда я подумал: может, я просто слишком сильно загнал Opus в рамки спецификацией? Очистил сессии и дал обеим моделям пофристайлить. Оставил только общую атмосферу и идею. Sol Opus По фристайлу, думаю, тут даже особо комментировать нечего. На самом деле меня это немного расстроило. Смотришь блогеров, у них там с ваншота чуть ли не GTA 7, а у тебя получается какая-то хрень. Но тут есть важный момент: Opus был примерно в 5 раз быстрее Sol. И это реально чувствуется. Дальше уже делаем игру Я оставил фристайл-модель машины от Sol и через него же сгенерировал арт для игры. Дальше дал Opus задачу сделать стартовое меню, выбор автомобиля, небольшой пустой мир и гараж, до которого можно доехать и модифицировать машину по категориям. И вот тут Opus с первого же шага сделал полный ужас. Он просто взял картинку, которую сгенерировал Sol, криво поставил ее сверху, влепил кнопку Start вообще без стилей, а дальше была просто модель машины и какой-то ад вместо игры и поездки в гараж. К сожалению, скрины не сохранились. Sol их удалил) Sol Я попросил Sol просто улучшить тот ужас, который сделал Opus. Получилось заметно лучше. Скрины уже есть. Но все равно это пока очень далеко от чего-то серьезного. И вот тут для меня главный вывод по геймдеву: я не увидел никакого магического преимущества Opus. Да, думаю, его тоже можно было бы довести несколькими итерациями. Но в целом и там, и там довольно большой рандом. Как повезет, насколько хорошо написана спецификация и насколько правильно задача разбита на маленькие итерации. Смотря какой harness, смотря сколько agents При этом Opus работает сильно быстрее. Это для меня факт. Кодинг по работе А вот тут уже стало интереснее. Я проверял не только "работает или нет", а реально ревьюил код. Мне было важно, чтобы никакого нейрослопа не было. И первое, что я снова заметил и о чем уже говорил десятки раз: реализация одной моделью + валидация другой работает великолепно. Они каждый раз находят совершенно разные проблемы. Вместе это очень сильный дуэт. По самой реализации код Opus мне понравился больше. Он был более читаемым, аккуратным и при этом сделал все быстрее. Минимум оверинжиниринга. Но самое интересное отличие от GPT было даже не в коде. Opus задает вопросы. Если видит противоречие, он не пытается выглядеть самым умным и решить все сам. Например, была проблема в контрактах. В одном месте id допускал null. Sol это заметил и решил: раз на id полагаться нельзя, значит надо придумать собственный идентификатор. И написал кучу кода, чтобы вычислять дополнительный идентификатор на основе нескольких полей сущности. То есть сам придумал проблему, сам придумал архитектуру и сам героически ее решил. Вместо одного вопроса. Opus же сразу написал: Есть блокеры. Ответь на несколько вопросов. Я ответил, и после этого он сделал решение практически без проблем. Вот это мне очень понравилось. Ревью Дальше я запустил полноценное ревью. В ход пошли MCP для Jira, GitLab, Confluence, Zulip, Jenkins и т.д. Много тулов, часть запускалась параллельно. По скорости ревью получилось буквально секунда в секунду. А вот по находкам снова проявилась разница. Sol тяжело воспринимает вольный стиль. Ему нужно, чтобы спецификация закрывала максимум вопросов и практически не оставляла пробелов. Если в задаче появляются "вайбы", он начинает сам додумывать детали, а потом еще и указывать собственные догадки как потенциальные проблемы. Claude с этим справляется намного спокойнее. Он нормально работает с недосказанностью, лучше считывает контекст и в целом адекватнее додумывает за тебя. И тут, как мне кажется, находится главное различие между ними. Я давно замечаю это не только по себе, но и по другим ребятам. Если человек работает с Codex осознанно, пишет нормальные спецификации, продумывает требования и вообще уделяет этому слою много внимания, то он работает великолепно. Он просто не любит вольностей. Codex не для вайбкодинга. А вот Claude как раз очень хорош для вайбкодинга. Он многое додумает за вас, ему зачастую вообще не нужна подробная спецификация. Люди, которые до сих пор ищут "идеальный промпт", думаю, будут от него в восторге. И при этом могут просто сойти с ума от Codex. Но есть забавный момент. Казалось бы, если дать Claude идеальную спецификацию, то он должен стать еще лучше. У меня получилось наоборот. Он периодически начинал ее игнорировать. Итог У меня нет ощущения, что одна модель сейчас на голову выше другой. Скорее каждая подойдет под свой стиль работы. Opus Быстрее. Лучше чувствует вольные задачи. Чаще задает правильные вопросы. Меньше оверинжинирит. Код мне визуально нравится больше. Sol Лучше работает в жестких рамках. Очень силен, когда есть хорошая спецификация. Меньше полагается на "вайб", больше следует системе. Но если в требованиях есть дырки, легко начинает фантазировать и переусложнять. Поэтому я не совсем согласен с блогерами, которые сейчас аплодируют Claude и рассказывают, что он на голову выше GPT. У меня такого ощущения вообще нет. Рандом все еще огромный. Сегодня одна модель сделает шикарно, завтра другая. Наверное, я бы спокойно мог остаться на Claude и вообще не париться. По качеству работы меня бы все устроило. Но когда ты знаешь, что завтра тебя могут забанить или Opus внезапно снова станет тупым до выхода следующего Opus, то я так же спокойно остаюсь на GPT. Для меня сейчас скорее паритет. Просто модели разные, и под каждую нужно немного менять собственный подход. А я, пожалуй, выберу спокойствие вместо мысли, что завтра меня опять забанят 😄