Strata ist eine Open-Source-Engine zum Ausführen großer Sprachmodelle auf Standardhardware. Das Projekt hat ein einfaches Ziel: das leistungsstarke Modell lokal zum Laufen zu bringen, ohne Cloud, ohne Konto und ohne Bezahlung von Token. Die Installation ist auf ein Installationsprogramm beschränkt, und nach dem Start können Sie chatten, mit Code arbeiten und sogar Bilder auf Ihrem Computer empfangen.
Unter der Haube verfügt Strata über eine eigene Inferenz-Engine und stellt außen eine mit OpenAI und Anthropic kompatible API unter einer lokalen Adresse bereit. Das bedeutet, dass Sie Ihre Lieblingstools damit verbinden können – Claude Code, Codex CLI, OpenCode und andere Agenten – und diese denken, dass sie mit dem Cloud-Anbieter sprechen. Die Daten verlassen Ihren Rechner nicht.
In diesem Beitrag werde ich erläutern, was Strata kann, welche Modelle unterstützt werden, wie man es installiert und wie man es an Ihre Instrumente anschließt.
Was ist das?
Strata ist ein kostenloses Projekt unter der MIT-Lizenz. Es löst drei Probleme:
- Lokale Einführung von Modellen. Die Engine ist für Consumer-Grafikkarten und kombinierten Speicher konzipiert und nicht für Serverbeschleuniger.
- Einzelne Schnittstelle. Äußerlich handelt es sich hierbei um eine OpenAI- und Anthropic-kompatible API auf localhost, sodass fast alles angebunden werden kann, was mit diesen Protokollen arbeiten kann.
- Einfachheit. Die Desktop-Anwendung und das Installationsprogramm für das Terminal machen die Arbeit mit Abhängigkeiten, Treibern und Assemblys aus Quellen überflüssig.
Unabhängig davon ist die optionale Eingabe von Bildern erwähnenswert. Das Modell kann nicht nur mit Text, sondern auch mit Bildern arbeiten, wodurch der lokale Chat zum Parsen von Screenshots und Dokumenten wesentlich nützlicher wird.
Modelle
Die Hauptempfehlung des Projekts ist Qwen3.8-Flash-Next. Dafür werden von verschiedenen Anbietern mehrere Quantisierungssets angeboten:
- ISTA-DASLab – empfohlene Option: Q2_0, IQ2_XS, IQ3_XXS, IQ3_S und für den Code ein separater Coder IQ1_M.
- Unsloth – UD-IQ4_XS, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL, Q8_0.
- Gyro von agentionai – Gyro-S und Gyro-M: weniger Speicher, aber langsamer.
Neben dem Flaggschiffmodell werden Qwen3.6-35B-A3B und DeepSeekV4.1-Flash-1017 unterstützt. Letzteres ist interessant, da Teile des Modells, die nicht in den Speicher passen, direkt von der SSD gelesen werden und somit viel freien Speicherplatz benötigen. Es gibt Optionen für 239, 257 und 274 GB sowie eine leichte Coder-Version mit etwa 191 GB, bei der die Hälfte der Experten entfernt wurde.
Das Starten von DeepSeek vom Terminal aus sieht folgendermaßen aus:
strata launch --family deepseek41 --model ist-das-2.00bpw --plan
Das Flag –plan zeigt den Startplan an, bevor der Download beginnt. Bei großen Mengen ist das praktisch: Sie sehen sofort, wie viel Speicher und Festplatte benötigt werden.
Hardwareanforderungen
Strata unterstützt eine breite Palette von Geräten:
- NVIDIA GeForce RTX 20, 30, 40 und 50 Serien.
- AMD Radeon RX 7700, 7800, 7900, RX 9060, 9070 und AI PRO R9700.
- AMD Radeon RX 6800 und 6900 – experimentell.
- Intel Arc für Linux.
- Apple Silicon ab M1 und neuer.
- AMD Ryzen AI Max (Strix Halo).
- NVIDIA DGX Spark für Linux.
Als Referenz finden Sie hier einige Messungen von DeepSeekV4.1-Flash an einem 2,00-bpw-Set. In der Spalte „Ausgabe“ – die Geschwindigkeit, mit der die Antwort generiert wird, in der Spalte „Eingabeaufforderung“ – die Geschwindigkeit, mit der Ihre Eingabe gelesen wird.
- RTX 5070 12 GB, 64 GB RAM – 4–6 Token/s, prompt ca. 110 Token/s.
- RTX 3060 12 GB, 46 GB RAM – 9–11 Token/s, prompt etwa 155 Token/s.
- 1x Radeon AI PRO R9700, 251 GB RAM – 21–25 Token/s, prompt 320–360 Token/s.
- 4x Radeon AI PRO R9700 – 74–77 Token/s, prompt 400–450 Token/s.
- Ryzen AI Max+ 395 (Strix Halo), 128 GB kombinierter Speicher – 19–21 Token/s im Code und 11 im Chat.
Wenn Sie nicht sicher sind, was passt, gibt es im Projekt eine separate Anleitung zur Auswahl eines Modells für die Speichergröße.
Installieren einer Desktop-Anwendung
Am einfachsten ist es, das fertige Installationsprogramm von der Release-Seite herunterzuladen. Jedes System hat seine eigene Datei:
Strata-0.2.13-windows-x64-setup.exe
Strata-0.2.13-linux-x86_64.AppImage
Strata-0.2.13-macos-arm64.dmg
Installieren Sie die Anwendung, wählen Sie ein Modell aus und beginnen Sie mit der Kommunikation. Wenn Sie die Anwendung zum ersten Mal starten, lädt sie automatisch die Engine für Ihre Grafikkarte herunter. Es ist nicht erforderlich, Treiber separat zu konfigurieren oder etwas aus Quellen zu kompilieren.
Im Anwendungsfenster befinden sich Chat, Dateien und Live-Code-Vorschau in der Nähe, was bei der Arbeit an einem Projekt praktisch ist.
Installation im Terminal
Wenn Sie die Konsole bevorzugen, installieren Sie Strata mit dem Installationsskript und führen Sie dann den Strata-Startbefehl aus.
Unter Linux und macOS:
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
In Windows PowerShell:
irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex
Öffnen Sie nach der Installation unter Windows ein neues Terminalfenster und führen Sie Folgendes aus:
strata launch
Das Programm stellt Fragen, lädt das gewünschte Modell herunter und startet es. Während des Betriebs werden Aktivität, Geschwindigkeit, Speicherverbrauch und aktuelle Anfragen des Modells angezeigt – praktisch, um zu verstehen, was mit der Hardware passiert.
Für diejenigen, die alles selbst bauen möchten, gibt es einen Build aus dem Quellcode, eine Option über Docker und eine ausführliche Installationsanleitung.
Instrumente anschließen
Die Hauptstärke von Strata besteht darin, dass es eine lokale API bereitstellt, die mit OpenAI und Anthropic kompatibel ist. Dadurch sind beliebte Agenten-Tools damit verbunden: Claude Code, Codex CLI, OpenCode, oh-my-pi, pi.dev, Hermes Agent, OpenClaw und andere.
Um herauszufinden, wie Sie ein bestimmtes Tool konfigurieren, führen Sie einfach Folgendes aus:
strata connect
Das Team zeigt Ihnen vorgefertigte Anleitungen für Ihre Bewerbung. Dann ist alles wie bei einem regulären Cloud-Anbieter: Als Basisadresse wird der lokale Endpunkt Strata angegeben und als Schlüssel wird angegeben, was die Engine produziert. Für die Schlussfolgerung ist kein Internet erforderlich.
Worauf Sie achten sollten
Der lokale Betrieb ist ein Kompromiss, und es lohnt sich, sich darüber im Voraus im Klaren zu sein.
- Die Geschwindigkeit hängt von der Hardware ab. Auf schwachen Grafikkarten reagieren große Modelle langsam, insbesondere wenn ein Teil der Gewichte von der Festplatte gelesen wird. Die obigen Maße geben einen ungefähren Eindruck.
- Die Modelle sind immer noch groß. Festplatte und Speicher sind die Hauptbegrenzer. DeepSeek benötigt Hunderte Gigabyte freien Speicherplatz.
- Quantisierungsqualität. Stark komprimierte Sätze sparen Speicherplatz, können jedoch an Qualität verlieren. Wenn Ihre Hardware es zulässt, wählen Sie die Option mit einem höheren Bpw.
- Erster Download. Beim ersten Start werden sowohl die Engine als auch die Modellgewichte heruntergeladen, daher benötigen Sie eine stabile Verbindung und Speicherplatz.
Gleichzeitig erhalten Sie die volle Kontrolle: keine Limits, Abonnements oder Datenlecks. Auf Ihrer Maschine zählt alles.
Für wen ist das?
Strata ist sinnvoll, wenn Sie Ihre Arbeitsdaten lokal halten möchten, sich nicht auf Cloud-Pläne verlassen möchten oder einfach gerne mit lokaler KI experimentieren möchten. Für einen Programmierer ist dies auch eine Möglichkeit, einen vertrauten Agenten mit einem Modell zu verbinden, das in der Nähe arbeitet, ohne Netzwerkverzögerungen und ohne für jede Anfrage zu bezahlen.
Das Projekt entwickelt sich aktiv weiter: Zehntausende Sterne, Tausende Forks, häufige Veröffentlichungen und detaillierte Dokumentation für jeden Hardwaretyp. Der einfachste Weg ist, mit der Desktop-Anwendung zu beginnen. Wenn Sie möchten, gehen Sie dann zum Terminal und verbinden Sie Ihre Tools.
Links
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/releases/latest
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/TERMINAL_LAUNCH.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/HOW_IT_WORKS.md
https://github.com/Niko1221/Strata/blob/main/docs/TROUBLESHOOTING.md
Quellen
https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/blob/main/README.md
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/AMD_HIP.md
https://github.com/Niko1221/Strata/blob/main/docs/STRIX_HALO.md
Leave a Reply