स्ट्रेटा – आपके कंप्यूटर पर शक्तिशाली एआई

स्ट्रेटा कमोडिटी हार्डवेयर पर बड़े भाषा मॉडल चलाने के लिए एक ओपन सोर्स इंजन है। परियोजना का एक सरल लक्ष्य है: शक्तिशाली मॉडल को स्थानीय स्तर पर, बिना क्लाउड के, बिना किसी खाते के और बिना टोकन के भुगतान के काम करना। इंस्टॉलेशन को एक इंस्टॉलर तक सीमित कर दिया गया है, और लॉन्च के बाद आपको चैट करने, कोड के साथ काम करने और यहां तक ​​कि अपने कंप्यूटर पर छवियां प्राप्त करने की सुविधा भी मिलती है।

हुड के तहत, स्ट्रैटा का अपना अनुमान इंजन है, और इसके बाहर एक स्थानीय पते पर ओपनएआई और एंथ्रोपिक के साथ संगत एपीआई का खुलासा होता है। इसका मतलब है कि आप अपने पसंदीदा टूल – क्लाउड कोड, कोडेक्स सीएलआई, ओपनकोड और अन्य एजेंटों को इससे जोड़ सकते हैं – और वे सोचेंगे कि वे क्लाउड प्रदाता से बात कर रहे हैं। डेटा आपकी मशीन नहीं छोड़ता.

इस पोस्ट में, मैं बताऊंगा कि स्ट्रेटा क्या कर सकता है, कौन से मॉडल समर्थित हैं, इसे कैसे स्थापित करें, और इसे अपने उपकरणों से कैसे कनेक्ट करें।

यह क्या है

स्ट्रेटा एमआईटी लाइसेंस के तहत एक निःशुल्क परियोजना है। यह तीन समस्याओं का समाधान करता है:

• मॉडलों का स्थानीय लॉन्च। इंजन उपभोक्ता वीडियो कार्ड और संयुक्त मेमोरी के लिए डिज़ाइन किया गया है, न कि सर्वर एक्सेलेरेटर के लिए।
• एकल इंटरफ़ेस। बाह्य रूप से, यह लोकलहोस्ट पर एक OpenAI- और एंथ्रोपिक-संगत एपीआई है, इसलिए इन प्रोटोकॉल के साथ काम करने वाली लगभग हर चीज को जोड़ा जा सकता है।
• सरलता। डेस्कटॉप एप्लिकेशन और टर्मिनल के लिए इंस्टॉलर स्रोतों से निर्भरता, ड्राइवर और असेंबली के साथ काम को हटा देते हैं।

अलग से, यह छवियों के वैकल्पिक इनपुट पर ध्यान देने योग्य है। मॉडल न केवल पाठ के साथ, बल्कि चित्रों के साथ भी काम कर सकता है, जो स्क्रीनशॉट और दस्तावेज़ों को पार्स करने के लिए स्थानीय चैट को अधिक उपयोगी बनाता है।

मॉडल

प्रोजेक्ट की मुख्य अनुशंसा Qwen3.8-Flash-Next है। विभिन्न आपूर्तिकर्ताओं से इसके लिए कई परिमाणीकरण सेट पेश किए जाते हैं:

• ISTA-DASLab – अनुशंसित विकल्प: Q2_0, IQ2_XS, IQ3_XXS, IQ3_S, और कोड के लिए एक अलग कोडर IQ1_M।
• अनस्लॉथ – UD-IQ4_XS, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL, Q8_0.
• Agentionai से जाइरो – जाइरो-एस और जाइरो-एम: कम मेमोरी, लेकिन धीमी।

फ्लैगशिप मॉडल के अलावा, Qwen3.6-35B-A3B और DeepSeekV4.1-Flash-1017 समर्थित हैं। उत्तरार्द्ध दिलचस्प है क्योंकि मॉडल के कुछ हिस्से जो मेमोरी में फिट नहीं होते हैं उन्हें सीधे एसएसडी से पढ़ा जाता है, इसलिए इसके लिए बहुत अधिक खाली डिस्क स्थान की आवश्यकता होती है। 239, 257 और 274 जीबी के विकल्प हैं, साथ ही लगभग 191 जीबी का हल्का कोडर संस्करण भी है, जहां से आधे विशेषज्ञों को हटा दिया गया है।

टर्मिनल से डीपसीक लॉन्च करना इस तरह दिखता है:

strata launch --family deepseek41 --model ist-das-2.00bpw --plan

–प्लान ध्वज डाउनलोडिंग शुरू होने से पहले स्टार्टअप योजना दिखाता है। बड़े सेट के लिए यह उपयोगी है: आप तुरंत देख सकते हैं कि कितनी मेमोरी और डिस्क की आवश्यकता होगी।

हार्डवेयर आवश्यकताएँ

स्ट्रेटा उपकरणों की एक विस्तृत श्रृंखला का समर्थन करता है:

• NVIDIA GeForce RTX 20, 30, 40 और 50 श्रृंखला।
• AMD Radeon RX 7700, 7800, 7900, RX 9060, 9070 और AI PRO R9700।
• AMD Radeon RX 6800 और 6900 – प्रयोगात्मक।

लिनक्स के लिए

• इंटेल आर्क।
• Apple सिलिकॉन M1 और नए से।
• AMD Ryzen AI Max (स्ट्रीक्स हेलो)।
• लिनक्स के लिए NVIDIA DGX स्पार्क।

संदर्भ के लिए, यहां 2.00 बीपीडब्ल्यू सेट पर डीपसीकवी4.1-फ्लैश के कुछ माप दिए गए हैं। “आउटपुट” कॉलम में – प्रतिक्रिया उत्पन्न करने की गति, “प्रॉम्प्ट” कॉलम में – आपके इनपुट को पढ़ने की गति।

• RTX 5070 12 जीबी, 64 जीबी रैम – 4-6 टोकन/सेक, लगभग 110 टोकन/सेकेंड।
• RTX 3060 12 जीबी, 46 जीबी रैम – 9-11 टोकन/सेक, लगभग 155 टोकन/सेकेंड।
• 1x Radeon AI PRO R9700, 251 जीबी रैम – 21-25 टोकन/सेकेंड, प्रॉम्प्ट 320-360 टोकन/सेकेंड।
• 4x Radeon AI PRO R9700 – 74-77 टोकन/सेक, प्रॉम्प्ट 400-450 टोकन/सेक।
• रायज़ेन एआई मैक्स+ 395 (स्ट्रिक्स हेलो), 128 जीबी की संयुक्त मेमोरी – कोड पर 19-21 टोकन और चैट पर 11।

यदि आप निश्चित नहीं हैं कि क्या फिट होगा, तो प्रोजेक्ट में मेमोरी की मात्रा के लिए मॉडल चुनने के लिए एक अलग गाइड है।

डेस्कटॉप एप्लिकेशन इंस्टॉल करना

सबसे आसान तरीका रिलीज़ पेज से तैयार इंस्टॉलर को डाउनलोड करना है। प्रत्येक सिस्टम की अपनी फ़ाइल होती है:

Strata-0.2.13-windows-x64-setup.exe
Strata-0.2.13-linux-x86_64.AppImage
Strata-0.2.13-macos-arm64.dmg

एप्लिकेशन इंस्टॉल करें, एक मॉडल चुनें और संचार शुरू करें। जब आप पहली बार एप्लिकेशन लॉन्च करते हैं, तो यह स्वचालित रूप से आपके वीडियो कार्ड के लिए इंजन डाउनलोड करता है। ड्राइवरों को अलग से कॉन्फ़िगर करने या स्रोतों से कुछ भी संकलित करने की कोई आवश्यकता नहीं है।

एप्लिकेशन विंडो में, चैट, फ़ाइलें और लाइव कोड पूर्वावलोकन पास में स्थित होते हैं, जो किसी प्रोजेक्ट पर काम करते समय सुविधाजनक होता है।

टर्मिनल में स्थापना

यदि आप कंसोल पसंद करते हैं, तो इंस्टॉलेशन स्क्रिप्ट के साथ स्ट्रैटा इंस्टॉल करें और फिर स्ट्रैटा लॉन्च कमांड चलाएं।

Linux और macOS पर:

curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh

विंडोज़ पॉवरशेल में:

irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

एक बार विंडोज़ पर इंस्टॉल हो जाने पर, एक नई टर्मिनल विंडो खोलें और चलाएं:

strata launch

प्रोग्राम प्रश्न पूछेगा, वांछित मॉडल डाउनलोड करेगा और उसे लॉन्च करेगा। ऑपरेशन के दौरान, मॉडल की गतिविधि, गति, मेमोरी खपत और नवीनतम अनुरोध दिखाए जाते हैं – यह समझने के लिए सुविधाजनक है कि हार्डवेयर के साथ क्या हो रहा है।

जो लोग स्वयं सब कुछ बनाना चाहते हैं, उनके लिए स्रोत से एक निर्माण, डॉकर के माध्यम से एक विकल्प और एक विस्तृत इंस्टॉलेशन गाइड है।

कनेक्टिंग उपकरण

स्ट्रेटा की मुख्य ताकत यह है कि यह एक स्थानीय एपीआई को उजागर करता है जो ओपनएआई और एंथ्रोपिक के साथ संगत है। इसके लिए धन्यवाद, लोकप्रिय एजेंट टूल इससे जुड़े हुए हैं: क्लाउड कोड, कोडेक्स सीएलआई, ओपनकोड, ओह-माय-पीआई, pi.dev, हर्मीस एजेंट, ओपनक्लॉ और अन्य।

किसी विशिष्ट टूल को कॉन्फ़िगर करने का तरीका जानने के लिए, बस चलाएँ:

strata connect

टीम आपके आवेदन के लिए तैयार निर्देश दिखाएगी। फिर सब कुछ एक नियमित क्लाउड प्रदाता के समान ही होता है: स्थानीय एंडपॉइंट स्ट्रैटा को आधार पते के रूप में निर्दिष्ट किया जाता है, और इंजन जो उत्पन्न करता है उसे कुंजी के रूप में निर्दिष्ट किया जाता है। अनुमान के लिए किसी इंटरनेट की आवश्यकता नहीं है।

किस बात पर ध्यान दें

स्थानीय स्तर पर दौड़ना एक समझौता है, और इसके बारे में पहले से जागरूक होना उचित है।

• गति हार्डवेयर पर निर्भर करती है। कमजोर वीडियो कार्ड पर, बड़े मॉडल धीरे-धीरे प्रतिक्रिया देंगे, खासकर यदि वजन का हिस्सा डिस्क से पढ़ा जाता है। उपरोक्त माप एक मोटा अंदाज़ा देते हैं।
• मॉडल अभी भी बड़े हैं। डिस्क और मेमोरी मुख्य सीमाएं हैं। डीपसीक को सैकड़ों गीगाबाइट खाली स्थान की आवश्यकता है।
• क्वांटिज़ेशन गुणवत्ता। अत्यधिक संपीड़ित सेट मेमोरी को बचाते हैं, लेकिन गुणवत्ता खो सकते हैं। यदि आपका हार्डवेयर अनुमति देता है, तो उच्च bpw वाला विकल्प चुनें।
• प्रारंभिक डाउनलोड। पहले लॉन्च पर, इंजन और मॉडल वेट दोनों डाउनलोड हो जाते हैं, इसलिए आपको एक स्थिर कनेक्शन और डिस्क स्थान की आवश्यकता होती है।

साथ ही, आपको पूर्ण नियंत्रण मिलता है: कोई सीमा, सदस्यता या डेटा लीक नहीं। सब कुछ आपकी मशीन पर निर्भर करता है।

यह किसके लिए है?

यदि आप अपने कार्य डेटा को स्थानीय रखना चाहते हैं, क्लाउड योजनाओं पर निर्भर नहीं रहना चाहते हैं, या केवल स्थानीय एआई के साथ प्रयोग करना चाहते हैं तो स्ट्रेटा समझ में आता है। एक प्रोग्रामर के लिए, यह एक परिचित एजेंट को एक ऐसे मॉडल से जोड़ने का एक तरीका है जो नेटवर्क में देरी के बिना और प्रत्येक अनुरोध के लिए भुगतान किए बिना, पास में काम करता है।

परियोजना सक्रिय रूप से विकसित हो रही है: प्रत्येक प्रकार के हार्डवेयर के लिए हजारों सितारे, हजारों कांटे, लगातार रिलीज और विस्तृत दस्तावेज़ीकरण। शुरुआत करने का सबसे आसान तरीका डेस्कटॉप एप्लिकेशन से है, और फिर, यदि आप इसे पसंद करते हैं, तो टर्मिनल पर जाएं और अपने टूल कनेक्ट करें।

लिंक

https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/releases/latest
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/TERMINAL_LAUNCH.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/HOW_IT_WORKS.md
https://github.com/Niko1221/Strata/blob/main/docs/TROUBLESHOOTING.md

स्रोत

https://github.com/niko1221/strata
https://github.com/Niko1221/Strata/blob/main/README.md
https://github.com/Niko1221/Strata/blob/main/docs/INSTALL.md
https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md
https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
https://github.com/Niko1221/Strata/blob/main/docs/AMD_HIP.md
https://github.com/Niko1221/Strata/blob/main/docs/STRIX_HALO.md