बैकप्रोपोगेशन ग्रेडिएंट की गणना और स्टोकेस्टिक ग्रेडिएंट डिसेंट में इसकी आवश्यकता दोनों को शामिल करने वाली पूरी प्रक्रिया को परिभाषित करता है। तकनीकी रूप से, बैकप्रोपोगेशन का उपयोग नेटवर्क के संशोधन योग्य वजन के संबंध में नेटवर्क की त्रुटि के ग्रेडिएंट की गणना के लिए किया जाता है।
विशेषताएं
बैकप्रोपोगेशन की विशेषताएं पुनरावृत्त, पुनरावर्ती और प्रभावी दृष्टिकोण हैं जिसके माध्यम से यह नेटवर्क को तब तक बढ़ाने के लिए अद्यतन वजन की गणना करता है जब तक कि यह उस सेवा को लागू करने में सक्षम न हो जाए जिसके लिए इसे प्रशिक्षित किया जा रहा है। नेटवर्क डिजाइन समय पर सक्रियण फ़ंक्शन के डेरिवेटिव को बैकप्रोपोगेशन के लिए जाना जाता है।
बैकप्रोपोगेशन न्यूरल नेटवर्क प्रशिक्षण में व्यापक रूप से उपयोग किया जाता है और नेटवर्क के वजन के लिए लॉस फ़ंक्शन की गणना करता है। यह मल्टी-लेयर न्यूरल नेटवर्क के साथ अपनी सेवा देता है और इनपुट-आउटपुट मैपिंग के आंतरिक विवरण की खोज करता है।
यह कृत्रिम नेटवर्क प्रशिक्षण का एक मानक रूप है, जो नेटवर्क में सभी वजन के संबंध में ग्रेडिएंट लॉस फ़ंक्शन की गणना करने का समर्थन करता है। बैकप्रोपोगेशन एल्गोरिदम का उपयोग चेन नियम विधि के माध्यम से न्यूरल नेटवर्क को अधिक प्रभावी ढंग से प्रशिक्षित करने के लिए किया जाता है।
इस ग्रेडिएंट का उपयोग एक साधारण स्टोकेस्टिक ग्रेडिएंट डिसेंट एल्गोरिदम में त्रुटि को कम करने वाले वजन खोजने के लिए किया जाता है। त्रुटि आउटपुट नोड्स से आंतरिक नोड्स की ओर पीछे की ओर प्रसारित होती है।
प्रशिक्षण एल्गोरिदम के चरण
- वजन का आरंभीकरण (Initialization of weights) - कुछ छोटे यादृच्छिक मान असाइन किए जाते हैं।
- फीड-फॉरवर्ड (Feed-forward) - प्रत्येक इकाई X एक इनपुट सिग्नल प्राप्त करती है और इस सिग्नल को प्रत्येक छिपी हुई इकाई Z1, Z2,... Zn तक पहुंचाती है। प्रत्येक छिपी हुई इकाई सक्रियण फ़ंक्शन की गणना करती है और अपना सिग्नल Z1 प्रत्येक आउटपुट इकाई को भेजती है। आउटपुट इकाई दिए गए इनपुट पैटर्न की प्रतिक्रिया बनाने के लिए सक्रियण फ़ंक्शन की गणना करती है।
- त्रुटियों का बैकप्रोपोगेशन (Backpropagation of errors) - प्रत्येक आउटपुट इकाई सक्रियण Yk की तुलना लक्ष्य मान Tk से करके उस इकाई के लिए संबंधित त्रुटि निर्धारित करती है। त्रुटि के आधार पर, कारक δk (K = 1, ..., m) की गणना की जाती है और आउटपुट इकाई Yk पर त्रुटि को पिछली परत में सभी इकाइयों में वापस वितरित करने के लिए उपयोग किया जाता है। इसी तरह कारक δj (j = 1, ..., p) की तुलना प्रत्येक छिपी हुई इकाई Zj के लिए की जाती है।
- वजन और बायस अद्यतन - वजन और बायस को अद्यतन किया जाता है।
बैकप्रोपोगेशन के प्रकार
स्टैटिक बैक प्रोपोगेशन (Static Back Propagation)
इस प्रकार के बैकप्रोपोगेशन में, स्टैटिक इनपुट के मैपिंग के कारण स्टैटिक आउटपुट बनाया जाता है। इसका उपयोग ऑप्टिकल कैरेक्टर रिकग्निशन जैसे स्थिर वर्गीकरण समस्याओं को हल करने के लिए किया जाता है।
रिकरेंट बैकप्रोपोगेशन (Recurrent Backpropagation)
रिकरेंट प्रोपोगेशन को तब तक आगे निर्देशित किया जाता है जब तक एक विशिष्ट निर्धारित मूल्य या थ्रेशोल्ड मूल्य प्राप्त नहीं हो जाता। निश्चित मूल्य के बाद, त्रुटि का मूल्यांकन किया जाता है और पीछे की ओर प्रसारित किया जाता है।
