लिनक्स और मैक पर लॉग फाइल्स को बेहतर तरीके से कैसे समझें

जब लिनक्स में चीजें गलत होती हैं, तो समस्या निवारण एक बुरा सपना हो सकता है। अंतर्निहित चुनौतियां तब दोगुनी हो जाती हैं जब आप जिस समस्या का सामना कर रहे हैं वह आंतरायिक है, और आप नहीं जानते कि इसका कारण क्या है।

मुझे लगता है कि आप घंटे दर घंटे स्टैक ओवरफ्लो देख सकते हैं, और रेडिट से मदद मांग सकते हैं। या आप चीजों को अपने हाथों में ले सकते हैं, और अपने सिस्टम की लॉग फाइल्स में गोता लगा सकते हैं, ताकि यह पता लगाया जा सके कि समस्या क्या है।

लॉग फाइल्स क्या हैं?

कई प्रोग्राम -- चाहे वे विंडोज, मैक, या लिनक्स के लिए हों -- चलते समय लॉग फाइल्स उत्पन्न करते हैं। एंड्रॉइड भी उन्हें उत्पन्न करता है। ये प्लेन-टेक्स्ट फाइलें हैं जिनमें इस बारे में जानकारी होती है कि कोई प्रोग्राम कैसे चल रहा है। प्रत्येक इवेंट अपनी लाइन पर होगा, सेकंड तक टाइम-स्टैम्प्ड।

हालांकि यह सभी एप्लिकेशन के लिए सार्वभौमिक रूप से सच नहीं है, लॉग फाइल्स आमतौर पर /var/log डायरेक्टरी में पाई जाती हैं।

इन फाइलों में डेटा भारी मात्रा में सांसारिक होगा। यह जरूरी नहीं कि किसी समस्या का संकेत दे। यह केवल एक दिए गए समय पर प्रोग्राम क्या कर रहा था, इस पर अपडेट होगा।

लेकिन जब कोई समस्या होती है, तो आप गारंटी दे सकते हैं कि इसके बारे में जानकारी लॉग फाइलों में होगी। इस जानकारी का उपयोग इसे ठीक करने के लिए किया जा सकता है, या किसी ऐसे व्यक्ति से वर्णनात्मक प्रश्न पूछने के लिए जो जानता हो।

तो, लॉग फाइलों से निपटते समय, आप जिस जानकारी की परवाह करते हैं उसे उस सामान से कैसे अलग करते हैं जिसकी आप परवाह नहीं करते?

मानक लिनक्स यूटिलिटीज का उपयोग करना

जैसा कि हमने पहले उल्लेख किया, लॉग फाइल्स किसी एक प्लेटफॉर्म के लिए विशिष्ट नहीं हैं। इसके बावजूद, इस लेख का फोकस लिनक्स और OS X पर होगा, क्योंकि ये दो ऑपरेटिंग सिस्टम आवश्यक UNIX कमांड लाइन टूल्स के साथ आते हैं जो उनके माध्यम से पार्स करने के लिए आवश्यक हैं।

चूंकि लॉग फाइल्स प्लेन-टेक्स्ट फाइलें हैं, आप ऐसे किसी भी टूल का उपयोग कर सकते हैं जिसका उपयोग आप ऐसी फाइलों को देखने के लिए करेंगे। इनमें से, grep शायद सीखने में सबसे कठिन है, लेकिन सबसे उपयोगी भी है। यह आपको किसी विशेष फाइल के भीतर विशिष्ट वाक्यांशों और शब्दों को खोजने की अनुमति देता है। इसके लिए सिंटैक्स है grep [term] [filename]।

उनके सबसे उन्नत स्तर पर, आप नियमित अभिव्यक्तियों (RegEx) का उपयोग करके शब्दों और वस्तुओं को लेजर-फोकस के साथ खोज सकते हैं। हालांकि RegEx अक्सर जादू जैसा दिखता है, लेकिन इसकी आदत डालना वास्तव में काफी सरल है।

फिर 'head' और 'tail' कमांड हैं। इनके काम का अनुमान लगाने के लिए कोई अंक नहीं। ये क्रमशः एक फाइल की ऊपर और नीचे की दस लाइनें दिखाते हैं। इसलिए, यदि आप लॉगफाइल पर नवीनतम आइटम देखना चाहते हैं, तो आप "tail filename" चलाएंगे।

आप '-n' ट्रिगर का उपयोग करके प्रदर्शित लाइनों की संख्या बदल सकते हैं। इसलिए, यदि आप एक फाइल की पहली 20 लाइनें देखना चाहते हैं, तो आप चलाएंगे

head -n 20 [filename]

यदि आप किसी फाइल की पूरी सामग्री देखना चाहते हैं, तो आप 'cat' यूटिलिटी का उपयोग कर सकते हैं। यह थोड़ा अनाड़ी हो सकता है, क्योंकि लॉग फाइलें अक्सर सैकड़ों हजारों लाइनों में मापी जाती हैं। एक बेहतर विचार होगा इसे less यूटिलिटी से पाइप करना, जो आपको इसे एक समय में एक पेज देखने देगा। ऐसा करने के लिए, चलाएं

cat [filename] | less

वैकल्पिक रूप से, आप sed और awk का उपयोग कर सकते हैं। ये दो यूटिलिटीज आपको सरल स्क्रिप्ट लिखने की अनुमति देती हैं जो टेक्स्ट फाइलों को प्रोसेस करती हैं। हमने पिछले साल उनके बारे में लिखा था।

अंत में, यदि आप इसके साथ सहज हैं, तो आप vim टेक्स्ट एडिटर को भी आजमाना चाह सकते हैं। इसमें कई बिल्ट-इन कमांड हैं जो लॉग फाइलों के माध्यम से पार्स करना तुच्छ बनाते हैं। vim का 32-बिट वर्जन भी 2 GB की अधिकतम फाइल साइज रखता है, हालांकि मैं प्रदर्शन कारणों से आपको इतनी बड़ी फाइलों पर इसका उपयोग करने की सलाह नहीं दूंगा।

लॉग मैनेजमेंट सॉफ्टवेयर का उपयोग करना

अगर यह बहुत अधिक मेहनत लगता है, या आप कुछ अधिक विजुअल उपयोग करना पसंद करते हैं, तो आप लॉग मैनेजमेंट एप्लिकेशन (अक्सर SIEM, या सिक्योरिटी इंफॉर्मेशन एंड इवेंट मैनेजमेंट के साथ भ्रमित) का उपयोग करने पर विचार कर सकते हैं।

इनके बारे में अच्छी बात यह है कि वे आपके लिए बहुत सारा कठिन काम करते हैं। उनमें से कई लॉग्स को देख सकते हैं, और स्वचालित रूप से मुद्दों की पहचान कर सकते हैं। वे लॉग्स को सभी प्रकार के मनभावन ग्राफ और चार्ट में विजुअलाइज़ भी कर सकते हैं, जिससे आप यह बेहतर समझ सकते हैं कि कोई एप्लिकेशन कितना विश्वसनीय प्रदर्शन कर रहा है।

सबसे प्रसिद्ध लॉग मैनेजमेंट प्रोग्राम में से एक को Splunk कहा जाता है। यह लॉग मैनेजमेंट टूल आपको वेब इंटरफेस का उपयोग करके फाइलों को पार करने देता है। इसमें अपनी शक्तिशाली और बहुमुखी खोज प्रसंस्करण भाषा भी है, जो आपको परिणामों पर प्रोग्रामेटिक तरीके से ड्रिल डाउन करने की अनुमति देती है।

Splunk का उपयोग अनगिनत बड़े व्यवसायों द्वारा किया जाता है। यह मैक, विंडोज और लिनक्स के लिए उपलब्ध है। लेकिन इसका एक फ्री वर्जन भी है, जिसका उपयोग घरेलू और छोटे व्यवसाय उपयोगकर्ता अपने लॉग्स को प्रबंधित करने के लिए कर सकते हैं।

यह वर्जन -- जिसे Splunk Light कहा जाता है -- एंटरप्राइज वर्जन के साथ बहुत कुछ साझा करता है। यह लॉग्स ब्राउज़ कर सकता है, समस्याओं के लिए फाइलों की निगरानी कर सकता है, और जब कुछ गलत हो तो अलर्ट जारी कर सकता है।

उस ने कहा, Splunk Light की कुछ सीमाएं हैं, जो काफी उचित हैं। पहला, यह जितना डेटा उपभोग कर सकता है वह 500 MB प्रति दिन तक सीमित है। यदि यह पर्याप्त नहीं है, तो आप Splunk Light के पेड वर्जन में अपग्रेड कर सकते हैं, जो प्रति दिन 20 GB लॉग्स उपभोग कर सकता है। वास्तविक रूप से, हालांकि, अधिकांश उपयोगकर्ता उस संख्या के कहीं आसपास भी नहीं पहुंचेंगे।

यह केवल पांच उपयोगकर्ताओं को भी सपोर्ट करता है, जो अधिकांश लोगों के लिए समस्या नहीं होनी चाहिए, खासकर अगर यह केवल घरेलू वेब और फाइल सर्वर पर चलाया जा रहा है।

Splunk एक क्लाउड वर्जन प्रदान करता है, जो उन लोगों के लिए आदर्श है जो अपने मशीनों पर पूरे क्लाइंट को इंस्टॉल नहीं करना चाहते, या जिनके पास कई रिमोट सर्वर हैं। इसका नकारात्मक पक्ष इसमें शामिल भारी लागत है। सबसे सस्ता Splunk प्लान $125.00 प्रति माह है।

यह बहुत सारा पैसा है।

आप अपनी लॉग फाइलों को कैसे संभालते हैं?

तो, हमने उन तरीकों को देखा जिनसे आप अपनी लॉग फाइलों की पूछताछ कर सकते हैं और व्यक्तिगत रूप से, या दूरस्थ सहायता के साथ समस्या निवारण के लिए आवश्यक जानकारी ढूंढ सकते हैं। लेकिन क्या आप किसी बेहतर तरीके के बारे में जानते हैं? क्या आप लॉग मैनेजमेंट सॉफ्टवेयर का उपयोग करते हैं, या मानक लिनक्स यूटिलिटीज?

मैं इसके बारे में सुनना चाहता हूं। नीचे कमेंट्स में मुझे बताएं।