Strata 是一个开源引擎，用于在商用硬件上运行大型语言模型。该项目有一个简单的目标：让强大的模型在本地运行，无需云，无需帐户，无需支付代币。安装减少为一个安装程序，启动后您可以聊天、使用代码，甚至在计算机上接收图像。
在底层，Strata 拥有自己的推理引擎，并在外部在本地地址公开与 OpenAI 和 Anthropic 兼容的 API。这意味着您可以将您最喜欢的工具连接到它 – Claude Code、Codex CLI、OpenCode 和其他代理 – 他们会认为他们正在与云提供商交谈。数据不会离开您的机器。
在这篇文章中，我将详细介绍 Strata 的功能、支持哪些型号、如何安装以及如何将其连接到您的仪器。
这是什么
Strata 是 MIT 许可下的免费项目。它解决了三个问题：
- 本地启动模型。该引擎专为消费类视频卡和组合内存而设计，而不是为服务器加速器而设计。
- 单一接口。从外部来看，这是本地主机上兼容 OpenAI 和 Anthropic 的 API，因此几乎所有可以使用这些协议的东西都可以连接。
- 简单。桌面应用程序和终端安装程序从源中消除了依赖项、驱动程序和程序集的工作。
另外，值得注意的是图像的可选输入。该模型不仅可以处理文本，还可以处理图片，这使得本地聊天对于解析屏幕截图和文档更加有用。
模型
主要推荐的项目是Qwen3.8-Flash-Next。不同的供应商为其提供了几种量化集：
- ISTA-DASLab – 推荐选项：Q2_0、IQ2_XS、IQ3_XXS、IQ3_S，以及单独的编码器 IQ1_M。
- 不懒惰 – UD-IQ4_XS、UD-Q4_K_XL、UD-Q5_K_XL、UD-Q6_K_XL、Q8_0。
- 来自agentionai的陀螺仪 – Gyro-S和Gyro-M：内存更少，但速度较慢。
除旗舰型号外，还支持Qwen3.6-35B-A3B和DeepSeekV4.1-Flash-1017。后者很有趣，因为模型中不适合内存的部分是直接从 SSD 读取的，因此需要大量可用磁盘空间。有 239、257 和 274 GB 的选项，以及大约 191 GB 的轻量级 Coder 版本，其中一半的专家已被删除。
从终端启动 DeepSeek 如下所示：
strata launch --family deepseek41 --model ist-das-2.00bpw --plan
–plan 标志显示下载开始之前的启动计划。对于大型集合，这很有用：您可以立即看到需要多少内存和磁盘。
硬件要求
Strata 支持多种设备：
- NVIDIA GeForce RTX 20、30、40 和 50 系列。
- AMD Radeon RX 7700、7800、7900、RX 9060、9070 和 AI PRO R9700。
- AMD Radeon RX 6800 和 6900 – 实验性。
- 适用于 Linux 的英特尔 Arc。
- Apple Silicon，来自 M1 及更新版本。
- AMD Ryzen AI Max（Strix Halo）。
- 适用于 Linux 的 NVIDIA DGX Spark。
作为参考，以下是 DeepSeekV4.1-Flash 在 2.00 bpw 装置上的一些测量结果。在“输出”列中 – 生成响应的速度，在“提示”列中 – 读取输入的速度。
- RTX 5070 12 GB、64 GB RAM – 4–6 个令牌/秒，提示约 110 个令牌/秒。
- RTX 3060 12 GB、46 GB RAM – 9–11 个令牌/秒，提示约 155 个令牌/秒。
- 1x Radeon AI PRO R9700，251 GB RAM – 21–25 个令牌/秒，提示 320–360 个令牌/秒。
- 4x Radeon AI PRO R9700 – 74–77 个令牌/秒，提示 400–450 个令牌/秒。
- Ryzen AI Max+ 395 (Strix Halo)，128 GB 组合内存 – 代码上每秒 19–21 个令牌，聊天上每秒 11 个令牌。
如果您不确定什么适合，该项目有一个单独的指南，用于根据内存量选择型号。
安装桌面应用程序
最简单的方法是从发布页面下载现成的安装程序。每个系统都有自己的文件：
Strata-0.2.13-windows-x64-setup.exe
Strata-0.2.13-linux-x86_64.AppImage
Strata-0.2.13-macos-arm64.dmg
安装应用程序，选择型号并开始通信。当您首次启动该应用程序时，它会自动下载适用于您的视频卡的引擎。无需单独配置驱动程序或从源代码编译任何内容。
在应用程序窗口中，聊天、文件和实时代码预览位于附近，这在处理项目时很方便。
在终端中安装
如果您更喜欢控制台，请使用安装脚本安装 Strata，然后运行 strata launch 命令。
在 Linux 和 macOS 上：
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
在 Windows PowerShell 中：
irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex
在 Windows 上安装后，打开一个新的终端窗口并运行：
strata launch
该程序将提出问题，下载所需的模型并启动它。在运行过程中，会显示模型的活动、速度、内存消耗和最新请求 – 方便了解硬件发生的情况。
对于那些想要自己构建所有内容的人，可以从源代码构建、通过 Docker 的选项和详细的安装指南。
连接仪器
Strata 的主要优势在于它公开了与 OpenAI 和 Anthropic 兼容的本地 API。因此，流行的代理工具可以连接到它：Claude Code、Codex CLI、OpenCode、oh-my-pi、pi.dev、Hermes Agent、OpenClaw等。
要了解如何配置特定工具，只需运行：
strata connect
The team will show ready-made instructions for your application.然后一切都与常规云提供商相同：本地端点 Strata 被指定为基地址，引擎生成的内容被指定为密钥。 No Internet is required for inference.
需要注意什么
在本地运行是一种权衡，值得提前了解。
- 速度取决于硬件。在较弱的显卡上，大型模型的响应速度会很慢，尤其是从磁盘读取部分权重时。上面的测量给出了一个粗略的想法。
- 模型仍然很大。磁盘和内存是主要限制因素。 DeepSeek 需要数百 GB 的可用空间。
- 量化质量。高度压缩的集可节省内存，但可能会降低质量。如果您的硬件允许，请选择更高 bpw 的选项。
- 初始下载。首次启动时，引擎和模型权重都会下载，因此您需要稳定的连接和磁盘空间。
同时，您可以获得完全控制：没有限制、订阅或数据泄漏。一切都取决于您的机器。
这是给谁的？
如果您想将工作数据保留在本地、不依赖云计划，或者只是想尝试本地人工智能，那么 Strata 是有意义的。对于程序员来说，这也是将熟悉的代理连接到附近工作的模型的一种方法，没有网络延迟，也无需为每个请求付费。
该项目正在积极开发：数以万计的star、数千个fork、频繁的发布以及每种类型硬件的详细文档。最简单的开始方法是使用桌面应用程序，然后，如果您愿意，可以转到终端并连接您的工具。
链接
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/releases/latest
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/TERMINAL_LAUNCH.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/HOW_IT_WORKS.md
https://github.com/Niko1221/Strata/blob/main/docs/TROUBLESHOOTING.md
来源
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/blob/main/README.md
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/AMD_HIP.md
https://github.com/Niko1221/Strata/blob/main/docs/STRIX_HALO.md
Leave a Reply