Пост Запустить большую модель Qwen на 125 миллиардов параметров на игровой видеокарте с 12 ГБ видеопамяти? На первый взгляд э…

Запустить большую модель Qwen на 125 миллиардов параметров на игровой видеокарте с 12 ГБ видеопамяти? На первый взгляд это кажется почти невероятным. Strata предлагает довольно интересный подход. Модель состоит из 24 576 небольших экспертов, но для обработки каждого токена задействуются только 10 из них. Несколько тысяч наиболее востребованных экспертов размещаются в видеопамяти, а все остальные хранятся в оперативной памяти. При этом центральный процессор также участвует в вычислениях. Автор протестировал проект на обычном игровом компьютере с RTX 5070 и 64 ГБ оперативной памяти. Скорость генерации составила от 53 до 94 токенов в секунду, что быстрее обычной скорости чтения текста. Проект уже набрал 26 тысяч звёзд на GitHub. GitHub: github.com/Niko1221/Strata На Windows установка запускается двойным щелчком по файлу, а на Linux достаточно выполнить скрипт. После установки с моделью можно общаться прямо в браузере. Также предусмотрено прямое подключение Claude Code и Codex. При этом все данные остаются на компьютере пользователя. 📱 @git_developer