Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> प्रोग्रामिंग

डेटा माइनिंग में वर्गीकरण और भविष्यवाणी के संबंध में विभिन्न मुद्दे क्या हैं?

निम्नलिखित प्री-प्रोसेसिंग चरण हैं जिन्हें डेटा पर लागू किया जा सकता है ताकि वर्गीकरण या भविष्यवाणी चरण की सटीकता, प्रभावशीलता, और स्केलेबिलिटी को बढ़ावा दिया जा सके:

  • डेटा सफाई (Data Cleaning): यह शोर को कम या खत्म करने के लिए स्मूथिंग विधियों का उपयोग करके और लापता मानों के संचालन (उदाहरण के लिए, उस विशेषता के लिए सबसे आम तौर पर दिखाई देने वाले मान के साथ लापता मान को प्रतिस्थापित करके, या आंकड़ों पर स्थापित सर्वोत्तम संभावित मूल्य के साथ) द्वारा डेटा का पूर्व-प्रसंस्करण परिभाषित करता है। हालांकि विभिन्न वर्गीकरण एल्गोरिदम में शोर या लापता जानकारी के प्रबंधन के लिए कुछ संरचनाएं हैं, यह चरण सीखने के दौरान भ्रम को कम करने में मदद कर सकता है।

  • प्रासंगिकता विश्लेषण (Relevance Analysis): डेटा में कई विशेषताएं हैं जो वर्गीकरण या भविष्यवाणी कार्य के लिए अप्रासंगिक हो सकती हैं। उदाहरण के लिए, जिस दिन बैंक ऋण सॉफ्टवेयर भरा गया था, उस सप्ताह के दिन को रिकॉर्ड करने वाला डेटा सॉफ्टवेयर की सफलता के लिए प्रासंगिक होने की संभावना नहीं है। इसके अलावा, कुछ अन्य विशेषताएं अनावश्यक हो सकती हैं।

    इसलिए, सीखने की प्रक्रिया से कुछ अप्रासंगिक या अनावश्यक विशेषताओं को हटाने के लिए डेटा पर प्रासंगिकता विश्लेषण लागू किया जा सकता है। मशीन लर्निंग में, इस चरण को फीचर चयन के रूप में संदर्भित किया जाता है। इसमें ऐसी विशेषताएं शामिल हैं जो अन्यथा धीमा कर सकती हैं, और संभवतः सीखने के चरण को गुमराह कर सकती हैं।

    सही ढंग से, प्रासंगिकता विश्लेषण पर खर्च किया गया समय, जब परिणामस्वरूप "कम" फीचर उपसमुच्चय पर सीखने में खर्च किए गए समय में जोड़ा जाता है, उस समय से कम होना चाहिए जो प्रारंभिक फीचर सेट से सीखने पर खर्च किया गया होता। इसलिए, ऐसा विश्लेषण वर्गीकरण प्रभावशीलता और स्केलेबिलिटी को बढ़ावा देने में मदद कर सकता है।

  • डेटा ट्रांसफॉर्मेशन (Data Transformation): डेटा को उच्च-स्तरीय दृष्टिकोण तक सामान्यीकृत किया जा सकता है। कॉन्सेप्ट हायरार्की का उपयोग इन लक्ष्यों के लिए किया जा सकता है। यह विशेष रूप से सतत-मूल्यवान विशेषताओं के लिए सहायक है। उदाहरण के लिए, आय विशेषता के लिए गणितीय मानों को निम्न, मध्यम, और उच्च सहित असतत क्षेत्र में सामान्यीकृत किया जा सकता है। इसी तरह, नाममात्र-मूल्यवान विशेषताएं, जैसे सड़क, को उच्च-स्तरीय अवधारणाओं जैसे शहर में सामान्यीकृत किया जा सकता है।

    क्योंकि सामान्यीकरण प्रारंभिक प्रशिक्षण डेटा को छोटा करता है, सीखने के दौरान कम इनपुट/आउटपुट ऑपरेशन शामिल हो सकते हैं। डेटा को सामान्यीकृत भी किया जा सकता है, विशेष रूप से जब न्यूरल नेटवर्क या दूरी माप वाली तकनीकों का उपयोग सीखने के चरण में किया जाता है।

    सामान्यीकरण में किसी दिए गए विशेषता के सभी मानों को स्केल करना शामिल है ताकि वे एक छोटे निर्दिष्ट क्षेत्र में गिर जाएं, जिसमें -1.0 से 1.0, या 0 से 1.0 शामिल हैं। इन दृष्टिकोणों में जो दूरी माप लागू करते हैं, उदाहरण के लिए, यह मूल रूप से उच्च रेंज वाली विशेषताओं (जैसे, आय) को रोक सकता है।

  1. - डेटा माइनिंग में टेक्स्ट माइनिंग के क्षेत्र क्या हैं?

    टेक्स्ट माइनिंग को टेक्स्ट विश्लेषण के रूप में भी जाना जाता है। यह सरल विश्लेषण के लिए असंरचित टेक्स्ट को संरचित डेटा में बदलने की प्रक्रिया है। टेक्स्ट माइनिंग प्राकृतिक भाषा प्रसंस्करण (NLP) लागू करती है, जिससे मशीनें मानव भाषा को समझ सकती हैं और इसे स्वचालित रूप से संसाधित कर सकती हैं। इसे मानक

  1. - डेटा वेयरहाउस में सुरक्षा मुद्दे क्या हैं?

    डेटा वेयरहाउसिंग एक दृष्टिकोण है जिसका उपयोग आमतौर पर व्यवसाय को महत्वपूर्ण व्यावसायिक अंतर्दृष्टि देने के लिए कई स्रोतों से डेटा एकत्र करने और संभालने के लिए किया जाता है। एक डेटा वेयरहाउस विशेष रूप से प्रबंधन निर्णयों का समर्थन करने के लिए डिज़ाइन किया गया है। सरल शब्दों में, एक डेटा वेयरहाउस एक

  1. - डेटा माइनिंग इंटरफेस क्या हैं?

    डेटा माइनिंग रिपॉजिटरी में संग्रहीत बड़ी मात्रा में डेटा के माध्यम से उपयोगी नए सहसंबंधों, पैटर्न और रुझानों को खोजने की प्रक्रिया है, जिसमें सांख्यिकीय और गणितीय तकनीकों सहित पैटर्न पहचान तकनीकों का उपयोग किया जाता है। यह तथ्यात्मक डेटासेट का विश्लेषण करके अनपेक्षित संबंधों की खोज करना और डेटा माल