Strata — это открытый движок для запуска больших языковых моделей на обычном потребительском железе. Проект ставит перед собой простую цель: чтобы мощная модель работала локально, без облака, без аккаунта и без оплаты за токены. Установка сводится к одному установщику, а после запуска вы получаете чат, работу с кодом и даже приём изображений на своём компьютере.
Под капотом у Strata собственный инференс-движок, а наружу он выставляет API, совместимый с OpenAI и Anthropic, на локальном адресе. Это значит, что к нему можно подключить любимые инструменты — Claude Code, Codex CLI, OpenCode и другие агенты, — и они будут думать, что общаются с облачным провайдером. Данные при этом не покидают вашу машину.
В этой заметке я разберу, что умеет Strata, какие модели поддерживаются, как выполнить установку и как подключить её к своим инструментам.
Что это такое
Strata — свободный проект под лицензией MIT. Он решает три задачи:
- Локальный запуск моделей. Движок рассчитан на потребительские видеокарты и объединённую память, а не на серверные ускорители.
- Единый интерфейс. Снаружи это OpenAI- и Anthropic-совместимый API на localhost, поэтому подключается почти всё, что умеет работать с этими протоколами.
- Простота. Десктопное приложение и установщик для терминала убирают работу с зависимостями, драйверами и сборкой из исходников.
Отдельно стоит отметить необязательный ввод изображений. Модель может работать не только с текстом, но и с картинками, что делает локальный чат заметно полезнее для разбора скриншотов и документов.
Модели
Основная рекомендация проекта — Qwen3.8-Flash-Next. Для неё предлагается несколько наборов квантования от разных поставщиков:
- ISTA-DASLab — рекомендуемый вариант: Q2_0, IQ2_XS, IQ3_XXS, IQ3_S, а для кода отдельный Coder IQ1_M.
- Unsloth — UD-IQ4_XS, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL, Q8_0.
- Gyro от agentionai — Gyro-S и Gyro-M: меньше памяти, но медленнее.
Кроме флагманской модели поддерживаются Qwen3.6-35B-A3B и DeepSeekV4.1-Flash-1017. Последняя интересна тем, что не поместившиеся в память части модели читаются прямо с SSD, поэтому для неё нужно много свободного места на диске. Есть варианты на 239, 257 и 274 ГБ, а также облегчённая Coder-версия примерно на 191 ГБ, где удалена половина экспертов.
Запуск DeepSeek из терминала выглядит так:
strata launch --family deepseek41 --model ist-das-2.00bpw --plan
Флаг —plan показывает план запуска до того, как начнётся загрузка. Для больших наборов это полезно: сразу видно, сколько памяти и диска потребуется.
Требования к железу
Strata поддерживает широкий спектр оборудования:
- NVIDIA GeForce RTX 20, 30, 40 и 50 серий.
- AMD Radeon RX 7700, 7800, 7900, RX 9060, 9070 и AI PRO R9700.
- AMD Radeon RX 6800 и 6900 — экспериментально.
- Intel Arc под Linux.
- Apple Silicon от M1 и новее.
- AMD Ryzen AI Max (Strix Halo).
- NVIDIA DGX Spark под Linux.
Для ориентира вот несколько замеров DeepSeekV4.1-Flash на наборе 2.00 bpw. В колонке «вывод» — скорость генерации ответа, в колонке «промпт» — скорость чтения вашего ввода.
- RTX 5070 12 ГБ, 64 ГБ ОЗУ — 4–6 токенов/с, промпт около 110 токенов/с.
- RTX 3060 12 ГБ, 46 ГБ ОЗУ — 9–11 токенов/с, промпт около 155 токенов/с.
- 1x Radeon AI PRO R9700, 251 ГБ ОЗУ — 21–25 токенов/с, промпт 320–360 токенов/с.
- 4x Radeon AI PRO R9700 — 74–77 токенов/с, промпт 400–450 токенов/с.
- Ryzen AI Max+ 395 (Strix Halo), 128 ГБ объединённой памяти — 19–21 токен/с на коде и 11 на чате.
Если не уверены, что поместится, у проекта есть отдельный гид по выбору модели под объём памяти.
Установка десктопного приложения
Самый простой путь — скачать готовый установщик со страницы релизов. Для каждой системы свой файл:
Strata-0.2.13-windows-x64-setup.exe
Strata-0.2.13-linux-x86_64.AppImage
Strata-0.2.13-macos-arm64.dmg
Устанавливаете приложение, выбираете модель и начинаете общение. При первом запуске приложение само скачивает движок под вашу видеокарту. Отдельно настраивать драйверы или собирать что-то из исходников не нужно.
В окне приложения чат, файлы и живой предпросмотр кода находятся рядом, что удобно при работе над проектом.
Установка в терминале
Если вы предпочитаете консоль, поставьте Strata установочным скриптом, а затем запустите команду strata launch.
В Linux и macOS:
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
В Windows PowerShell:
irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex
После установки в Windows откройте новое окно терминала и выполните:
strata launch
Программа задаст вопросы, скачает нужную модель и запустит её. Во время работы показываются активность модели, скорость, потребление памяти и последние запросы — удобно, чтобы понимать, что происходит с железом.
Для тех, кто хочет собрать всё сам, есть сборка из исходников, вариант через Docker и подробное руководство по установке.
Подключение инструментов
Главная сила Strata в том, что она выставляет локальный API, совместимый с OpenAI и Anthropic. Благодаря этому к ней подключаются популярные агентные инструменты: Claude Code, Codex CLI, OpenCode, oh-my-pi, pi.dev, Hermes Agent, OpenClaw и другие.
Чтобы узнать, как настроить конкретный инструмент, достаточно выполнить:
strata connect
Команда покажет готовые инструкции для вашего приложения. Дальше всё как с обычным облачным провайдером: в качестве базового адреса указывается локальный endpoint Strata, в качестве ключа — то, что выдаёт движок. Никакого интернета для инференса при этом не требуется.
На что обратить внимание
Локальный запуск — это компромисс, и о нём стоит знать заранее.
- Скорость зависит от железа. На слабых видеокартах большие модели будут отвечать медленно, особенно если часть весов читается с диска. Замеры выше дают примерное представление.
- Модели всё равно большие. Диск и память — главный ограничитель. Для DeepSeek нужны сотни гигабайт свободного места.
- Качество квантования. Сильно сжатые наборы экономят память, но могут терять в качестве. Если позволяет железо, берите вариант с более высоким bpw.
- Первичная загрузка. При первом запуске скачиваются и движок, и веса модели, поэтому нужно стабильное соединение и место на диске.
При этом вы получаете полный контроль: никаких лимитов, подписок и утечек данных. Всё считается на вашей машине.
Кому это подойдёт
Strata имеет смысл, если вы хотите держать рабочие данные локально, не зависеть от облачных тарифов или просто любите эксперименты с локальным ИИ. Для программиста это ещё и способ подключить привычный агент к модели, которая работает рядом, без задержек на сеть и без оплаты за каждый запрос.
Проект активно развивается: десятки тысяч звёзд, тысячи форков, частые релизы и подробная документация по каждому типу железа. Начать проще всего с десктопного приложения, а потом, если понравится, перейти на терминал и подключить свои инструменты.
Ссылки
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/releases/latest
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/TERMINAL_LAUNCH.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/HOW_IT_WORKS.md
https://github.com/Niko1221/Strata/blob/main/docs/TROUBLESHOOTING.md
Источники
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/blob/main/README.md
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/AMD_HIP.md
https://github.com/Niko1221/Strata/blob/main/docs/STRIX_HALO.md
Добавить комментарий