एक कृत्रिम तंत्रिका नेटवर्क में पर्सेप्ट्रॉन मॉडल की तुलना में अधिक जटिल तंत्र होता है। मल्टीलायर कृत्रिम तंत्रिका नेटवर्क में कई विधियां हैं जो निम्नलिखित हैं -
नेटवर्क में इसके इनपुट और आउटपुट परतों के बीच कई मध्यवर्ती परतें शामिल हो सकती हैं। ऐसी मध्यवर्ती परतों को छिपी हुई परतों के रूप में जाना जाता है और इन परतों में स्थापित नोड्स को छिपे हुए नोड्स के रूप में जाना जाता है। परिणामी वास्तुकला को मल्टीलायर तंत्रिका नेटवर्क कहा जाता है।
एक फीड-फॉरवर्ड तंत्रिका नेटवर्क में, एक परत में नोड्स केवल अगली परत में नोड्स से जुड़े होते हैं। पर्सेप्ट्रॉन एक सिंगल-लेयर, फीड-फॉरवर्ड तंत्रिका नेटवर्क है क्योंकि इसमें नोड्स की केवल एक परत होती है आउटपुट परत जो जटिल संख्यात्मक संचालन लागू करती है। एक रिकरेंट तंत्रिका नेटवर्क में, लिंक समान परत के अंदर नोड्स या एक परत से पूर्व परतों के नोड्स को जोड़ सकते हैं।
नेटवर्क साइन फ़ंक्शन के अलावा सक्रियण फ़ंक्शन की विधियों का उपयोग कर सकता है। कई सक्रियण फ़ंक्शन के उदाहरण जैसे रैखिक, सिग्मॉइड (लॉजिस्टिक), और हाइपरबोलिक टेंजेंट फ़ंक्शन। ये सक्रियण फ़ंक्शन छिपे हुए और आउटपुट नोड्स को आउटपुट मूल्य बनाने में सक्षम बनाते हैं जो उनके इनपुट पैरामीटर्स में गैर-रैखिक हैं।
ये अधिक जटिलताएं मल्टीलायर तंत्रिका नेटवर्क को इनपुट और आउटपुट चरों के बीच अधिक जटिल संबंधों को मॉडल करने में सक्षम बनाती हैं। उदाहरणों को दो हाइपरप्लेन का उपयोग करके परिभाषित किया जा सकता है जो इनपुट स्पेस को उनकी विशिष्ट कक्षाओं में विभाजित करते हैं।
ANN मॉडल के वजन को समझने के लिए, एक कुशल एल्गोरिदम की आवश्यकता होती है जो सही समाधान पर इकट्ठा होता है जब प्रशिक्षण डेटा की संतोषजनक मात्रा प्रदान की जाती है। एक विधि नेटवर्क में प्रत्येक छिपे हुए नोड या आउटपुट नोड को एक अलग पर्सेप्ट्रॉन इकाई मानना और समान वजन अद्यतन सूत्र का उपयोग करना है।
यह विधि काम नहीं करेगी क्योंकि इसमें छिपे हुए नोड्स के सही आउटपुट के बारे में पूर्व ज्ञान का अभाव है। यह त्रुटि पद, (y - y'), को प्रत्येक छिपे हुए नोड से संबंधित निर्धारित करना जटिल बनाता है। ग्रेडिएंट डिसेंट विधि पर निर्भर एक तंत्रिका नेटवर्क के वजन को समझने के लिए एक पद्धति अगले दिखाई गई है।
ANN सीखने के एल्गोरिदम का उद्देश्य वजन w का एक वर्ग तय करना है जो कुल वर्ग त्रुटियों के योग को न्यूनतम करता है -
$$\mathrm{E(w)\:=\:\frac{1}{2}\sum\limits_{i=1}^N (Y_{i}-Y'_i)^2}$$
वर्ग त्रुटियों का योग w पर आधारित है क्योंकि भविष्यवाणी की गई कक्षा y' छिपे हुए और आउटपुट नोड्स को बनाए गए वजन का एक फ़ंक्शन है। मामलों में, ANN का आउटपुट इसके पैरामीटर्स का एक गैर-रैखिक फ़ंक्शन है क्योंकि इसके सक्रियण फ़ंक्शन जैसे सिग्मॉइड या tanh फ़ंक्शन की पसंद के कारण।
