न्यूरल नेटवर्क और बैक प्रोपैगेशन
एक न्यूरल नेटवर्क एल्गोरिदम का एक क्रम है जो डेटा के एक सेट में मूल संबंधों की पहचान करने का प्रयास करता है एक ऐसी प्रक्रिया के माध्यम से जो मानव मस्तिष्क के काम करने के तरीके की नकल करती है। इस दृष्टिकोण में, न्यूरल नेटवर्क न्यूरॉन्स की प्रणालियों को दर्शाते हैं, जैसे जैविक या कृत्रिम।
न्यूरल नेटवर्क संज्ञानात्मक प्रणाली में सीखने की (परिकल्पित) प्रक्रिया और मस्तिष्क के न्यूरोलॉजिकल कार्यों के बाद तैयार किए गए विश्लेषणात्मक दृष्टिकोण हैं और वर्तमान जानकारी से तथाकथित सीखने की प्रक्रिया को निष्पादित करने के बाद अन्य अवलोकनों से नए अवलोकनों (निश्चित चर पर) का पूर्वानुमान लगाने में सक्षम हैं।
बैक प्रोपैगेशन के चरण
नेटवर्क एक प्रशिक्षण उदाहरण प्राप्त करता है और, नेटवर्क में वर्तमान वजनों का उपयोग करके, आउटपुट या आउटपुट्स की गणना करता है।
बैक प्रोपैगेशन गणना किए गए परिणाम और अपेक्षित (वास्तविक परिणाम) के बीच अंतर बनाकर त्रुटि की गणना करता है।
त्रुटि को वेब के माध्यम से वापस फीड किया जाता है और वजनों को त्रुटि को कम करने के लिए संशोधित किया जाता है, इसलिए नाम बैक प्रोपैगेशन क्योंकि त्रुटियों को नेटवर्क के माध्यम से वापस प्रसारित किया जाता है।
बैक प्रोपैगेशन एल्गोरिदम प्रत्येक प्रशिक्षण उदाहरण पर उत्पन्न मूल्यों की तुलना वास्तविक मान से करके नेटवर्क की कुल त्रुटि की गणना करता है। यह आउटपुट लेयर के वजनों को त्रुटि को कम करने के लिए बदल सकता है, लेकिन समाप्त नहीं कर सकता। हालांकि, एल्गोरिदम पूरा नहीं हुआ है।
यह नेटवर्क में पिछले नोड्स पर दोष डाल सकता है और उन नोड्स को जोड़ने वाले वजनों को बदल सकता है, इसके अलावा समग्र त्रुटि को कम कर सकता है। दोष सौंपने के लिए विशिष्ट संरचना आवश्यक नहीं है। यह कहना पर्याप्त है कि बैक प्रोपैगेशन एक जटिल संख्यात्मक प्रक्रिया की आवश्यकता होती है जिसमें सक्रियण फ़ंक्शन के सीमित डेरिवेटिव्स लेने की आवश्यकता होती है।
वजनों को बदलने की इस विधि को जनरलाइज़्ड डेल्टा नियम के रूप में जाना जाता है। जनरलाइज़्ड डेल्टा नियम का उपयोग करने से संबंध दो आवश्यक पैरामीटर हैं। पहला मोमेंटम (Momentum) है, जो प्रत्येक इकाई के भीतर वजनों की प्रवृत्ति को उस "दिशा" को बदलने के लिए परिभाषित करता है जिस दिशा में वे जा रहे हैं।
यानी, प्रत्येक वजन याद रखता है कि यह बड़ा या छोटा हो रहा है, और मोमेंटम इसे उसी दिशा में जाने के लिए बनाए रखने का प्रयास करता है। उच्च मोमेंटम वाला नेटवर्क नए प्रशिक्षण उदाहरणों पर धीरे-धीरे प्रतिक्रिया करता है जिनके लिए वजनों को उलटने की आवश्यकता होती है। यदि मोमेंटम कम है, तो वजनों को अधिक स्वतंत्र रूप से दोलन करने की अनुमति है।
लर्निंग रेट (Learning Rate) नियंत्रित करता है कि वजन कितनी तेजी से बदलते हैं। लर्निंग रेट के लिए सबसे अच्छी विधि बड़ी शुरू करना और धीरे-धीरे इसे कम करना है क्योंकि नेटवर्क प्रशिक्षित होता है। मूल रूप से, वजन यादृच्छिक होते हैं, इसलिए उच्च दोलन सर्वोत्तम वजनों के आसपास के क्षेत्र में पहुंचने के लिए फायदेमंद होते हैं। हालांकि, जैसे-जैसे नेटवर्क इष्टतम समाधान के निकट आता है, लर्निंग रेट को कम करना चाहिए ताकि नेटवर्क सामान्य इष्टतम वजनों के लिए फाइन-ट्यून कर सके।
