Data Secrets

GPT-6 без дообучения улучшила веса Qwen3.5-0.8B Просто поразительное исследование выпустили сегодня рисерчеры из MIT CSAIL. Они показали, что топовые LLM могут напрямую читать и осознанно менять веса нейросетей, причем без градиентного спуска и обучения. Это назвали Weight-Space Programming. В главном эксперименте авторы дали Astra веса крошечной Qwen3.5-0.8B и попросили улучшить ее способности в математике. В итоге Astra обнаружила в весах нейроны, из-за которых модель зацикливалась в рассуждениях, и исправила их. Всего она переписала около 0.016% весов, и после этого на MATH-500 скор Qwen3.5-0.8B вырос с 7,9% до 48,1%, а на GSM8K – с 13,8% до 67,1%. Это не все. Оказалось, что Astra может неплохо интерпретировать модели по весам. Например, ученые дообучили 4 одинаковые модели играть в разные игры: Breakout, Pong, Pac-Man и Freeway. Astra получила только веса (около 17 тысяч чисел) и описание входов, без названий игр, и смогла угадать, чему учили эти модели, во всех четырех случаях. В другом эксперименте три диффузионные модели рисовали круг, квадрат и треугольник. Astra по весам определила каждую фигуру, прочитав выходной слой. Важно, что при этом она не запускает эти сети, а просто читает веса. А еще Astra умеет писать нейросети с нуля. Она без обучения, с нуля, взяла и выдала веса сетей для трех игр MinAtar. Во всех трех случаях она обошла модели, которые были обучены с помощью обучения с подкреплением (PPO) на 100 млн шагов. Также авторы просили ее написать сеть для игры в Go. Она написала веса одним скриптом на 336 строк и выиграла больше половины партий у двух маленьких обученных на PPO сетей. Если же ей давали возможность несколько раз прогнать свою сеть в песочнице, то она обыгрывала равную по размеру PPO-сеть, обученную на 20 млн партий. Результаты пока ранние, но само направление невероятно многообещающее. С помощью Weight-Space Programming можно было бы делать элаймент, аудит моделей, дешевую инициализацию весов, ну и рекурсивное самоулучш… Читать полностью →

Главные новости к этому часу: Сэм Альтман переименовал свой аккаунт в X в Ram Altman

OpenAI выпустили Images 2.6: теперь в ChatGPT можно делать гифки Анимации генерируются по простому запросу, можно настраивать скорость, отдельные кадры и использовать референсы. В API появились две новые модели для разработчиков: GPT-Image-2.6 Flare and Sunburst. Flare – очень шустрая, генерирует изображение всего за 6 секунд. Sunburst чуть медленнее, но дает лучшее качество и согласованность при редактировании. Еще, из интересного, добавили возможность сохранять часто используемые референсы. Например, сохраняете фото своей собаки, обозначаете его именем, и затем в диалоге просто пишете «Шарик» и модель сама вытащит из памяти нужный рефренс. https://openai.com/index/introducing-images-2-6/

METR оценили, что ИИ ускоряет разработку моделей в Anthropic примерно в 2 раза С августа по октябрь несколько сотрудников METR работали внутри Anthropic с расширенным доступом к внутренним данным. Их задачей было оценить, насколько ускорился рост внутренних возможностей моделей, и какая доля этого ускорения связана с ИИ. Результаты получились такие: — Темп, с которым Anthropic улучшает модели, к октябрю 2026 вырос вдвое относительно периода с марта 2024 по октябрь 2025. Оценка примерная, вообще называют диапазон 1.3x–3x. Главная метрика, которая это подтверждает, – AECI, внутренняя версия индекса возможностей от Epoch AI. С октября 2025 года она растет в 1.9 раза быстрее, чем раньше. То есть за последний год Anthropic продвинулась примерно настолько же, насколько за два предыдущих. — При этом около 80% нынешнего ускорения дает использование ИИ в исследованиях и разработке. Сами сотрудники в среднем оценивают, что ИИ ускоряет их работу примерно вдвое. В слак-опросах отдельные оценки выросли с 1.2x у Claude 3.7 Sonnet до 12x у самой свежей внутренней модели (12x приравнивалось к "делаю за день то, на что раньше уходило почти две недели"). — METR считают, что ускорение может продолжиться. Они не нашли очевидных ограничений для этого, по крайней мере на ближайший год. Не видно упора ни в в алгоритмы, ни в вычисления, ни в данные. https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/#executive-summary