Linux पर स्विच करने से मेरा स्थानीय LLM सेटअप समय घंटों से मिनटों में कम हो गया

प्रकाशित: 30 अप्रैल, 2026, दोपहर 3:30 बजे EDT

अफाम का टेक प्रकाशन में अनुभव 2018 से है, जब उन्होंने Make Tech Easier के लिए काम किया। वर्षों से, उन्होंने उच्च-गुणवत्ता वाले गाइड, समीक्षाएं, टिप्स, और व्याख्याता लेख प्रकाशित करने की प्रतिष्ठा बनाई है, जिसमें Windows, लिनक्स, और ओपन सोर्स टूल्स शामिल हैं। उनका काम Technical Ustad, Windows Report, Guiding Tech, Alphr, और Next of Windows सहित शीर्ष वेबसाइटों पर प्रदर्शित किया गया है।

उनके पास कंप्यूटर विज्ञान में पहली डिग्री है और वे डेटा गोपनीयता और सुरक्षा के प्रबल समर्थक हैं, इस विषय पर कई टिप्स, वीडियो, और ट्यूटोरियल Fuzo Tech YouTube चैनल पर प्रकाशित हैं।

जब वह काम नहीं कर रहे होते, तो वे अपने परिवार के साथ समय बिताना, साइकिल चलाना, या अपने बगीचे की देखभाल करना पसंद करते हैं।

मैंने कभी नहीं सोचा था कि Windows पर स्थानीय LLM चलाना इतना चुनौतीपूर्ण होगा। यहां तक कि जब यह ठीक लग रहा था, मुझे बाद में एहसास हुआ कि इंस्टेंस पूरी तरह से मेरे CPU पर चल रहा था। ड्राइवर्स कॉन्फिगर करना, एनवायरनमेंट वेरिएबल्स, और अंत में Ollama मॉडल खींचने के बाद WSL2 सेट करना एक अलग परियोजना की तरह लगा। और उसके बाद, मुझे स्टैक को बनाए रखना बहुत थकाऊ लगा।

मैं सुखद आश्चर्यचकित था जब मैंने इसे Linux पर आज़माया। प्रक्रिया अधिक सीधी, आसान थी, और ईमानदारी से, मुझे अब चीजों के टूटने की उम्मीद नहीं थी। यह तब जैसा लगा जब मैंने अपने लिनक्स टर्मिनल को एक स्थानीय AI सहायक में बदल दिया।

वह सेटअप जिसमें दस मिनट लगने चाहिए थे

Windows पर Ollama आपको बार-बार खींचता रहता है

Windows पर Ollama के लिए सेटअप प्रक्रिया सीधी लग सकती है, लेकिन वास्तव में, यह इंस्टॉलर डाउनलोड करने और चलाने से कहीं आगे जाती है। पहले रन पर, आप आश्वस्त हो सकते हैं कि सब कुछ सही है क्योंकि आपको टेक्स्ट और प्रतिक्रियाएं मिलेंगी। हालांकि, कमांड के साथ जांच करने पर: ollama ps, एक आइडल GPU का पता चलता है। ऐसा इसलिए है क्योंकि यह CPU पर चल रहा है, और केवल 3 से 5 टोकन प्रति सेकंड काफी धीमा है जितना होना चाहिए।

Ollama का डिफ़ॉल्ट साइलेंट फॉलबैक आम है और इसे देखना मुश्किल है क्योंकि यह कोई त्रुटि नहीं देता। यह व्यवहार अन्य OSes पर संभव है यदि मॉडल के लिए उपलब्ध VRAM बहुत छोटा है। हालांकि, Windows पर, ड्राइवर/इंस्टॉलर रेस कंडीशंस, एनवायरनमेंट वेरिएबल प्रसार, और प्रतिस्पर्धी संसाधन उपयोग जैसे कई अन्य कारक इसे ट्रिगर कर सकते हैं।

यहां तक कि जब कुछ भी गलत नहीं लगता, यह अभी भी विफल हो सकता है; उन मामलों में, आप WSL2 की ओर रुख कर सकते हैं। मैंने Docker के माध्यम से Open WebUI आज़माया, जो Ollama को ब्राउज़र-आधारित सेवा होने के बावजूद स्थानीय ChatGPT जैसा महसूस कराता है। हालांकि, Docker Windows पर WSL2 से सबसे अधिक मज़बूती से चलता है। यह Windows के भीतर चलने वाला एक लिनक्स वातावरण है, और आपको किसी भी जटिलता से बचने के लिए इसे सावधानीपूर्वक कॉन्फिगर करना होगा।

बेशक, आप अंततः इसे सही कर लेंगे। छोटी समस्या, हालांकि, यह है कि यह प्रक्रिया कभी ऐसा महसूस नहीं करती कि यह वास्तव में समाप्त हो गई है। यह एक चीज को ठीक करने का चक्र है, फिर दूसरी, फिर दूसरी। आप कभी अनुमान नहीं लगा सकते कि एक कार्यशील सेटअप प्राप्त करने में कितना समय लगेगा; यह पांच मिनट या पांच घंटे हो सकते हैं।

संबंधित

5 लिनक्स टर्मिनल कमांड जो मेरी अधिकांश सिस्टम समस्याओं को ठीक करते हैं

हर उपयोगकर्ता को पता होने वाले आवश्यक लिनक्स समस्या निवारण कमांड।

Linux इंस्टॉल वास्तव में कैसा दिखता था

एक कमांड, GPU सक्रिय, और कॉन्फिगर करने के लिए कुछ भी नहीं बचा

तुलना में, Linux पर स्थानीय LLM इंस्टॉल करना निर्घटना था। मैं एक इंस्टॉल कमांड से मॉडल डाउनलोड, GPU का पता चला, और बस इतना ही था। जब मैंने अपनी पहली प्रतिक्रिया उत्पन्न की, तो मैं बस इस मामले में घूमता रहा कि कुछ ठीक करने के लिए हो; वहाँ नहीं था।

यह इस सवाल का नहीं है कि कौन सा OS बेहतर है। यह बस इस तथ्य का था कि Ollama के लिए इंस्टॉलेशन स्क्रिप्ट पहले Linux के लिए लिखी गई थी और लगभग निर्दोष रूप से काम करती थी, बाइनरी इंस्टॉल करने और Ollama को एक बैकग्राउंड सर्विस के रूप में पंजीकृत करने से जो सिस्टम के साथ शुरू होती है, GPU हार्डवेयर का स्वचालित रूप से पता लगाने के लिए। इसमें किसी ब्रिजिंग लेयर या एनवायरनमेंट ट्रांसलेशन की आवश्यकता नहीं है। जब तक सभी ड्राइवर इंस्टॉलेशन से पहले मौजूद हैं, पूरी प्रक्रिया खुद का ख्याल रखती है।

अगर GPU डिटेक्शन विफल होता है क्योंकि आपने ड्राइवरों की पुष्टि से पहले इंस्टॉलेशन किया था, तो बस Ollama को पुनः इंस्टॉल करें ताकि इसे ठीक किया जा सके।

मेरे अनुभव से, यहां दोनों OSes में प्रक्रिया की तुलना है:

चरण

Windows

Linux

Ollama इंस्टॉल करें

.exe इंस्टॉलर (GPU उपयोग के लिए अलग सत्यापन आवश्यक)

एक कमांड (GPU स्वचालित रूप से पता लगाया गया)

पहले रन पर GPU वास्तव में उपयोग किया गया

अक्सर चुपचाप CPU पर फॉलबैक करता है

ड्राइवर मौजूद होने पर तुरंत उपयोग किया जाता है

Open WebUI सेटअप

WSL2 इंस्टॉल और उसके अंदर Docker कॉन्फिगर करने की आवश्यकता

सिंगल Docker कमांड

AMD GPU त्वरण

प्रयोगात्मक (ROCm v6.1+, लगातार CPU फॉलबैक रिपोर्ट किया गया)

ROCm v7 के माध्यम से पूर्ण समर्थन

स्टार्टअप पर Ollama चलता है

मैनुअल कॉन्फिगरेशन आवश्यक

systemd के माध्यम से स्वचालित

Windows समर्थित है — Linux वह जगह है जहां वे लिखे गए थे

एक बार जब आप इकोसिस्टम में काफी देर तक रहते हैं, तो आप पाते हैं कि Ollama, Open WebUI, और Docker Windows के लिए नहीं बने थे, न ही उनके आसपास बने Python एकीकरण। Windows सपोर्ट उनके ऊपर रखा गया है, और यह एक महत्वपूर्ण अंतर बनाता है।

सबसे अच्छा उदाहरण Open WebUI है, जो Linux पर एक सिंगल Docker कमांड है। यह कमांड तुरंत कंटेनर शुरू करेगा जो Ollama के स्थानीय इंस्टेंस से जुड़ता है जबकि आप एक ब्राउज़र खोलते हैं। Windows पर, आप इन सभी तत्वों को कॉन्फिगर कर रहे हैं। यह काम करता है, लेकिन अक्सर यह आपके पहले प्रयास पर नहीं करता, जो आम तौर पर एक लंबी डिबगिंग प्रक्रिया की ओर ले जाता है।

ये समस्याएं AMD GPU उपयोगकर्ताओं के लिए और भी जटिल हैं। ROCm संस्करण 7 के लिए पूर्ण Linux समर्थन है, AMD का GPU इन्फ्रेंस के लिए कंप्यूट प्लेटफॉर्म। Windows पर, आधिकारिक समर्थन संस्करण 6.1+ पर रुक जाता है और प्रयोगात्मक रहता है। नतीजतन, AMD GPU के कई Windows उपयोगकर्ता अभी भी अपनी हार्डवेयर क्षमताओं की परवाह किए बिना CPU पर Ollama चलाते हैं। अंतर्निहित GPU स्टैक बस उपलब्ध नहीं है।

LM Studio को Ollama से अलग एक टूल के रूप में उपयोग करने पर विचार करें। यह GUI-फर्स्ट है, Windows और Linux पर साफ चलता है, और आपको टर्मिनल के बिना मॉडल चलाने देता है। हालांकि, यह केवल तभी काम करता है जब आप स्थानीय LLM के साथ चैट करना चाहते हैं बिना ज्यादा कुछ किए।

आप जो समय बचाते हैं वह अग्रिम नहीं है

जबकि मुझे प्रारंभिक इंस्टॉल बहुत तरल लगा, मुझे स्थानीय LLMs के Linux पर काम करने की सराहना हुई मेरे सेटअप के प्रत्येक बाद के उपयोग के साथ। कारण यह है कि यह एक बार का इंस्टॉल नहीं है जिसे आप हमेशा के लिए उपयोग करते रहते हैं। आप नए मॉडल आज़माते रहते हैं जैसे ही वे उपलब्ध होते हैं। आप लगातार छोटे, क्वांटाइज्ड संस्करण आज़माते हैं जैसे ही कोई मॉडल बहुत धीमा हो जाता है।

इन सभी को सिस्टम-लेवल परिवर्तनों की आवश्यकता होती है। Windows पर प्रारंभिक जटिलताएं आपके द्वारा परिवर्तन करने पर दोहरा सकती हैं, और केवल आपके स्थानीय LLMs के साथ अनुभव को बहुत अप्रिय बना देंगी।

यदि आप केवल स्थानीय LLM के लिए Linux आज़माना चाहते हैं, तो मैं आपको Linux Mint का उपयोग करने की सलाह दूंगा। यह शायद Windows इकोसिस्टम से आने वाले किसी भी व्यक्ति के लिए सबसे अच्छा डिस्ट्रो है।

Linux Mint डेस्कटॉप और लैपटॉप के लिए एक लोकप्रिय, मुफ्त, और ओपन-सोर्स ऑपरेटिंग सिस्टम है। यह उपयोगकर्ता-अनुकूल, स्थिर, और बॉक्स से बाहर कार्यात्मक है।