एक कृत्रिम तंत्रिका नेटवर्क में एक परसेप्ट्रोन मॉडल की तुलना में अधिक जटिल तंत्र होता है। बहुपरत कृत्रिम तंत्रिका नेटवर्क में कई विधियाँ हैं जो इस प्रकार हैं -
नेटवर्क अपने इनपुट और आउटपुट परतों के बीच कई मध्यस्थ परतों को शामिल कर सकता है। इस तरह की मध्यवर्ती परतों को छिपी हुई परतों के रूप में जाना जाता है और इन परतों में स्थापित नोड्स को छिपे हुए नोड्स के रूप में जाना जाता है। परिणामी वास्तुकला को बहुपरत तंत्रिका नेटवर्क कहा जाता है।
फीड-फॉरवर्ड न्यूरल नेटवर्क में, एक परत में नोड्स केवल निम्न परत में नोड्स से जुड़े होते हैं। परसेप्ट्रॉन एक सिंगल-लेयर, फीड-फॉरवर्ड न्यूरल नेटवर्क है क्योंकि इसमें आउटपुट लेयर की नोड्स की सिर्फ एक परत होती है जो जटिल संख्यात्मक संचालन को लागू करती है। एक आवर्तक तंत्रिका नेटवर्क में, लिंक एक समान परत के अंदर नोड्स या एक परत से पिछली परतों तक नोड्स को जोड़ सकते हैं।
नेटवर्क साइन फ़ंक्शन के अलावा अन्य सक्रियण कार्यों के तरीकों का उपयोग कर सकता है। कई सक्रियण कार्यों जैसे कि रैखिक, सिग्मॉइड (लॉजिस्टिक), और अतिशयोक्तिपूर्ण स्पर्शरेखा कार्यों के उदाहरण। ये सक्रियण फ़ंक्शन छिपे हुए और आउटपुट नोड्स को आउटपुट मान बनाने में सक्षम करते हैं जो उनके इनपुट पैरामीटर में गैर-रैखिक हैं।
ये अधिक जटिलताएं बहुपरत तंत्रिका नेटवर्क को इनपुट और आउटपुट चर के बीच उच्च जटिल संबंधों को मॉडल करने में सक्षम बनाती हैं। उदाहरणों को दो हाइपरप्लेन का उपयोग करके परिभाषित किया जा सकता है जो इनपुट स्पेस को उनके विशिष्ट वर्गों में विभाजित करते हैं।
यह एक एएनएन मॉडल के वजन को समझ सकता है, इसके लिए एक कुशल एल्गोरिथम की आवश्यकता होती है जो प्रशिक्षण डेटा की संतोषजनक मात्रा का समर्थन करने पर सही समाधान के लिए इकट्ठा होता है। एक तरीका यह है कि नेटवर्क में प्रत्येक छिपे हुए नोड या आउटपुट नोड को एक अलग परसेप्ट्रॉन इकाई के रूप में माना जाए और समान भार अद्यतन सूत्र का उपयोग किया जाए।
यह विधि काम नहीं करेगी क्योंकि इसमें छिपे हुए नोड्स के सही आउटपुट के बारे में एक प्राथमिकता, ज्ञान की कमी हो सकती है। यह त्रुटि शब्द को निर्धारित करने के लिए जटिल बनाता है, (y – y ' ), प्रत्येक छिपे हुए नोड से संबंधित। एक तंत्रिका नेटवर्क के वजन को समझने के लिए एक पद्धति ग्रेडिएंट डिसेंट विधि पर निर्भर करती है जिसे आगे दिखाया गया है।
एएनएन लर्निंग एल्गोरिथम का उद्देश्य भार डब्ल्यू का एक वर्ग तय करना है जो चुकता त्रुटियों के कुल योग को कम करता है -
$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2 }$$
चुकता त्रुटियों का योग w पर आधारित है क्योंकि अनुमानित वर्ग y ' छिपे हुए और आउटपुट नोड्स के लिए बनाए गए भार का एक कार्य है। मामलों में, एएनएन का आउटपुट इसके मापदंडों का एक गैर-रेखीय कार्य है क्योंकि इसके सक्रियण कार्यों जैसे कि सिग्मॉइड या टैन फ़ंक्शन की पसंद है।