स्थानीय एलएलएम चैटजीपीटी या जेमिनी का प्रतिस्थापन नहीं हैं:मेरा अनुभव
<पी> यदि आप एआई और तकनीक में नए विकास का अनुसरण करते हैं, तो आपने कई तकनीकी प्रभावितों को स्थानीय बड़े भाषा मॉडल, या एलएलएम, सेटअप की सिफारिश करते हुए देखा होगा। जब मैंने अपने पीसी पर पूरी तरह से गोपनीयता-केंद्रित एलएलएम चलाने का विचार सुना, तो मैं उत्साहित हो गया और तुरंत इसे आज़माया। यहाँ बात यह है - जबकि एक स्थानीय एलएलएम के पास कुछ विशिष्ट उपयोग के मामलों में इसके लाभ हैं, यह आपके वर्कस्टेशन पर चलते समय चैटजीपीटी या किसी अन्य बड़े तकनीकी एआई को प्रतिस्थापित नहीं करेगा। आइए मैं समझाता हूं क्यों... <पी> सामग्री तालिका स्थानीय एलएलएम बनाम चैटजीपीटी:वास्तविकता की जांच
<पी> आपके सामने आने वाली पहली और सबसे महत्वपूर्ण बाधा हार्डवेयर सीमा है। मैं एक औसत गैर-गेमिंग लैपटॉप उपयोगकर्ता हूं, जिसके पास 64 जीबी 3200 मेगाहर्ट्ज रैम वाला डेल लैटीट्यूड 5520 लैपटॉप और 1 टीबी से अधिक तेज स्टोरेज वाले दो एनवीएमई एम.2 एसएसडी हैं। हालाँकि, इस बॉलपार्क के अधिकांश वर्कस्टेशन में एक समर्पित जीपीयू का अभाव है या बॉक्स के बाहर एक लो-एंड फिट किया गया है। <पी> स्थानीय एलएलएम चलाने की बात यह है कि वे रैम और स्टोरेज पर कम और आपके पीसी की कंप्यूटिंग शक्ति, यानी सीपीयू और जीपीयू पर अधिक निर्भर करते हैं। इसलिए, इंटेल इंटीग्रेटेड ग्राफ़िक्स वाला मेरा i7 प्रोसेसर बड़े मल्टी-मोडल मॉडल नहीं चला सकता है। शुक्र है, मेरे पास अभी भी कई विकल्प थे, जैसे lfm2.5-thinking:1.2b , मिनिस्ट्रल-3:3बी , और ग्रेनाइट4:3बी , अधिक लोकप्रिय llama3 के साथ और phi3 मॉडल. 
<पी> अब, आइए तुलना को परिप्रेक्ष्य में रखने के लिए गणित करें। एक lfm2.5 , जो अनिवार्य रूप से एक छोटा भाषा मॉडल (एसएलएम) है, मेरे जैसे औसत पीसी पर चलने की दो बड़ी सीमाएं हैं:बहुत कम कंप्यूटिंग शक्ति और एसएलएम की एक छोटी पैरामीटर गिनती, या मस्तिष्क। इसकी तुलना में, चैटजीपीटी जैसे क्लाउड एलएलएम शाब्दिक सुपर कंप्यूटर पर चलते समय सेकंड में डेटा के टेराबाइट्स को प्रोसेस करते हैं। <पी> उस गणित को ध्यान में रखते हुए, आइए एक स्थानीय lfm2.5-thinking:1.2b की कुछ प्रतिक्रियाओं पर नजर डालें और चैटजीपीटी का निःशुल्क संस्करण। आपको सीमाएं दिखाने के बाद, हम उन उपयोग के मामलों को भी देखेंगे जहां एक स्थानीय एसएलएम वास्तव में वाणिज्यिक एलएलएम से आगे निकल जाता है। तर्क परीक्षण:जहां स्थानीय एलएलएम विफल रहा
<पी> ध्यान दें: इस तुलना का उद्देश्य स्थानीय एलएलएम को नीचा दिखाना नहीं है - हाई-एंड पीसी पर स्थापित स्थानीय एलएलएम चमत्कार कर सकते हैं। लेकिन मेरा इरादा मेरे जैसे औसत उपयोगकर्ता को यह दिखाना है कि निम्न-से-मध्यम श्रेणी के पीसी पर चलने वाला स्थानीय भाषा मॉडल चैटजीपीटी या जेमिनी के तुलनीय परिणाम नहीं देगा। 1. "सामान्य ज्ञान शून्य" संकेत:
<पी> एक छोटे मॉडल में संपूर्ण विकिपीडिया डेटाबेस को संग्रहीत करने के लिए पैरामीटर गणना नहीं होती है। जब आप उससे कोई विशिष्ट ऐतिहासिक तथ्य पूछेंगे, तो वह यह नहीं कहेगा, "मैं नहीं जानता" - यह संभवतः मतिभ्रम होगा। <पी> स्थानीय एलएलएम:गलत, मतिभ्रमपूर्ण उत्तर 
<पी> चैटजीपीटी:सही उत्तर 
2. "स्वर विफलता" संकेत:
<पी> छोटे स्थानीय मॉडल आमतौर पर भावनात्मक बारीकियों से जूझते हैं। वे आक्रामक रूप से रोबोटिक और अत्यधिक निष्क्रिय आउटपुट के बीच बेतहाशा झूलते रहते हैं क्योंकि उनके पास मानवीय सामाजिक अनुग्रह को समझने के लिए पर्याप्त पैरामीटर नहीं हैं। <पी> स्थानीय एलएलएम :बहुत कठोर और कुंद 
<पी> चैटजीपीटी:परफेक्ट नहीं, लेकिन पास करने योग्य 
3. "अव्यवस्थित इनपुट विफलता" संकेत:
<पी> हम हमेशा अपने प्रश्नों को सावधानीपूर्वक प्रारूपित और संरचित नहीं करते हैं। स्थानीय एसएलएम को संरचित प्रतिक्रियाएँ प्रदान करने के लिए संरचित संकेतों की आवश्यकता होती है - अन्यथा, वे सब कुछ गड़बड़ कर देते हैं। <पी> स्थानीय एलएलएम :बहुत अस्पष्ट और उपयोगी नहीं हैं 
<पी> चैटजीपीटी:एक विस्तृत चरण-दर-चरण समाधान 
4. "'इसे ऐसे समझाएं जैसे मैं एक्स हूं' विफलता" संकेत:
<पी> एक जटिल अमूर्त अवधारणा को पूरी तरह से असंबंधित विषय पर मैप करने के लिए भारी कंप्यूटिंग शक्ति की आवश्यकता होती है। दो अलग-अलग डोमेन को मर्ज करने का प्रयास करते समय छोटे मॉडल अक्सर प्लॉट खो देते हैं। <पी> स्थानीय एलएलएम :कोई मतलब नहीं बनता 
<पी> चैटजीपीटी:सादृश्य का सही उपयोग 
5. "संदर्भ शून्य" संकेत:
<पी> जब आप कोई अस्पष्ट तकनीकी प्रश्न पूछते हैं, तो क्लाउड मॉडल सबसे सामान्य आधुनिक समाधानों का अनुमान लगाने के लिए अपने विशाल प्रशिक्षण डेटा का उपयोग करते हैं। छोटे स्थानीय मॉडल अधिकतर सामान्य, पुरानी सलाह देते हैं। <पी> स्थानीय एलएलएम :सामान्य समाधान 
<पी> ChatGPT:समस्या का समाधान होने की अधिक संभावना 
'संदर्भ' समस्या
<पी> मेरे स्थानीय एसएलएम सेटअप के साथ एक और बड़ा मुद्दा तब सामने आया जब बातचीत केवल कुछ प्रश्नों से अधिक लंबी चली। फिर, 64 जीबी रैम पर्याप्त थी, लेकिन प्रोसेसिंग पावर मुख्य बाधा थी। पंखा बहुत ज़ोर से घूमने लगा, लैपटॉप गर्म हो गया, और ओलामा को प्रतिक्रिया देने में बहुत अधिक समय लगने लगा, यहाँ तक कि कभी-कभी ठंड भी लग गई। इसलिए, आपके पीसी को पिघलने से बचाने के लिए, स्थानीय AI ऐप्स मॉडल की मेमोरी को महत्वपूर्ण रूप से सीमित कर देते हैं। <पी> यदि आप चैटजीपीटी या जेमिनी के साथ लंबी बातचीत करने के आदी हैं तो यह मुद्दा एक बड़ा सौदा तोड़ने वाला हो सकता है - यह निश्चित रूप से मेरे लिए था। जैसा कि पहले चर्चा की गई है, वे क्लाउड एलएलएम अत्याधुनिक जीपीयू द्वारा संचालित अल्ट्रा-फास्ट सर्वर पर चलते हैं, जिससे उन्हें बड़े संदर्भ विंडो को आसानी से संभालने की क्षमता मिलती है। जब स्थानीय AI वास्तव में जीतता है
<पी> इस बिंदु पर, आप सोच रहे होंगे कि स्थानीय एलएलएम व्यावहारिक रूप से बेकार है, लेकिन रुकिए, ऐसी कई स्थितियाँ हैं जहाँ वे वास्तव में बहुत काम आते हैं। यहां कुछ उदाहरण दिए गए हैं: 'डिजिटल सुरक्षित' (संपूर्ण गोपनीयता)
छवि स्रोत:फ्रीपिक एआई <पी> यदि आप गोपनीय दस्तावेज़ों पर काम कर रहे हैं जिन्हें आप चैटजीपीटी या जेमिनी के सर्वर पर अपलोड नहीं करना चाहते हैं, तो उन फ़ाइलों को संसाधित करने के लिए एक स्थानीय एलएलएम आपका 100% निजी समाधान है। या आप "एआई की प्रतिक्रियाओं को बेहतर बनाने" के लिए आपके निजी मामलों को पढ़ने वाले मानव मॉडरेटर के बारे में चिंता किए बिना अपनी व्यक्तिगत समस्याओं के बारे में बात कर सकते हैं। 'हवाई जहाज़ मोड' सहायक
<पी> क्लाउड एआई को काम करने के लिए निरंतर इंटरनेट कनेक्शन की आवश्यकता होती है। दुनिया के अधिकांश हिस्सों में विश्वसनीय कनेक्टिविटी के कारण यह आमतौर पर कोई समस्या नहीं है। हालाँकि, ऐसी स्थितियाँ हैं जहाँ इंटरनेट उपलब्ध नहीं है या आप बस उससे कनेक्ट नहीं होना चाहते हैं। तभी एक स्थानीय एलएलएम संभावित रूप से दिन बचा सकता है। अनफ़िल्टर्ड रचनात्मक लेखक
<पी> अधिकांश वाणिज्यिक एआई चैटबॉट इसे आम जनता के लिए उपयुक्त बनाने के लिए फ़िल्टर्ड अनुभव प्रदान करते हैं। यदि आप अपराध उपन्यास जैसे किसी रचनात्मक प्रोजेक्ट पर काम कर रहे हैं तो यह विशेष रूप से कमजोर करने वाला हो सकता है। सभी निःशुल्क भाषा मॉडल इस प्रकार की अनफ़िल्टर्ड प्रतिक्रियाएँ प्रदान नहीं करते हैं, लेकिन आपके प्रयास के लिए कुछ बिना सेंसर वाली प्रतिक्रियाएँ उपलब्ध हैं। वास्तविक "शून्य लागत" सहायक
छवि स्रोत:फ्रीपिक एआई <पी> एक बार जब आप ओलामा या GPT4ALL जैसा ऐप सेट कर लेते हैं, तो आपको वास्तव में सदस्यता-मुक्त, असीमित समाधान मिलता है। आप इसे जितना चाहें उतना उपयोग कर सकते हैं, बिना किसी कष्टप्रद दैनिक सीमा को पार किए। यदि आप अपनी अपेक्षाओं को स्थानीय एसएलएम सेटअप की चर्चा की गई सीमाओं के भीतर रखते हैं, तो यह आपके कम से कम कुछ प्रीमियम एआई सब्सक्रिप्शन को खत्म करने का एक अच्छा तरीका है, सभी को नहीं। सर्वोत्तम रोलप्ले समाधान
<पी> यदि आप कुछ टर्मिनल कमांड के साथ छेड़छाड़ करने में सहज हैं, तो आप विषय विशेषज्ञ के रूप में कार्य करने के लिए संभावित रूप से अपने स्थानीय एलएलएम को अनुकूलित कर सकते हैं। उदाहरण के लिए, आप इसे एक कंटेंट एडिटर, एक कॉपीराइटर, एक कानूनी सलाहकार, या वस्तुतः किसी भी पेशेवर की तरह काम करवा सकते हैं जिसे आप चाहते हैं। निजी वेब सहायक
<पी> यह थोड़ा उन्नत उपयोग का मामला है, लेकिन आप अपने स्थानीय एलएलएम को हार्पा एआई जैसे वेब सहायक ब्राउज़र एक्सटेंशन से जोड़ सकते हैं। इस तरह आप एक ऑफ़लाइन, गोपनीयता-केंद्रित AI ब्राउज़र अनुभव प्राप्त कर सकते हैं जो Perplexity Comet जैसे प्रीमियम उत्पाद और चैटजीपीटी एटलस ऑफ़र, अक्सर कॉर्पोरेट डेटा निगरानी के साथ। हाइब्रिड सेटअप वास्तविक उत्तर क्यों है
<पी> इस पूरे अनुभव से गुजरने के बाद जो मैंने आपके साथ साझा किया है, मैं इस निष्कर्ष पर पहुंचा हूं कि हाइब्रिड एआई सेटअप इसके बारे में जाने का सबसे अच्छा तरीका है। स्थानीय एसएलएम को अपने पास रखना उपयोगी होता है, जब भी मुझे किसी निजी अनुभव की आवश्यकता होती है तो मैं सक्रिय होने के लिए तैयार रहता हूं। हालाँकि, सामान्य-उद्देश्य, शोध-भारी कार्यों के लिए, मैं जेमिनी प्रो का उपयोग करना पसंद करता हूँ। इस तरह, मैं दोनों अद्भुत प्रौद्योगिकियों का पूरा उपयोग करते हुए, दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करता हूं। <पी> वैसे, ओलामा और GPT4ALL आपके एकमात्र विकल्प नहीं हैं। ओपन वेबयूआई स्थानीय एलएलएम स्थापित करने का एक और आसान तरीका है।
