Пост LLM научился думать "концептами", а не токенами — и стал в 2 раза эффективнее

LLM научился думать "концептами", а не токенами — и стал в 2 раза эффективнее Стандартные LLM предсказывают следующий токен. Но что если обучать модель предсказывать не токены, а более высокоуровневые "концепты" — сжатые латентные представления сразу нескольких токенов? Именно это делает NCP-ArchPreview. Архитектура состоит из трёх модулей: Token Encoder сжимает токены в концепты через mean pooling, Concept Module предсказывает следующий концепт в дискретном латентном пространстве (через vector quantization), а Token Decoder использует эти предсказания для генерации токенов. Обучение идёт совместно: и Next Token Prediction, и Next Concept Prediction. Результат на 5.73T токенах: модель сходится в 1.95x быстрее OLMo-3-7B на тех же данных, обгоняет его на +2.45 пункта на бенчмарках и +5.99 на GSM8K. Бонус: концептное пространство ускоряет speculative decoding и даёт лёгкую доменную адаптацию через 17M-параметровый интерфейс. Веса, код и рецепты обучения — в открытом доступе. https://arxiv.org/abs/2609.10715