रैंडम फॉरेस्ट एन्सेम्बल दृष्टिकोणों का एक वर्ग है जिसे विशेष रूप से निर्णय वृक्ष क्लासिफायर के लिए डिज़ाइन किया गया है। यह कई निर्णय वृक्षों द्वारा की गई भविष्यवाणियों को एकीकृत करता है, जहां प्रत्येक वृक्ष अलग-अलग यादृच्छिक वैक्टर के मूल्यों के सेट पर आधारित होता है।
यादृच्छिक वैक्टर एक स्थिर संभाव्यता वितरण से उत्पन्न होते हैं, AdaBoost में उपयोग की जाने वाली अनुकूली विधियों के विपरीत, जहां संभाव्यता वितरण विविध होता है ताकि उन उदाहरणों को लक्षित किया जा सके जिन्हें वर्गीकृत करना मुश्किल है।
निर्णय वृक्षों के साथ बैगिंग रैंडम फॉरेस्ट का एक निश्चित मामला है, जहां यादृच्छिकता को प्रारंभिक प्रशिक्षण सेट से N नमूनों को रेस्टोरेशन के साथ यादृच्छिक रूप से चुनकर मॉडल-बिल्डिंग प्रक्रिया में डाला जाता है। बैगिंग भी अपने बूटस्ट्रैप्ड नमूने बनाने के लिए पूरे मॉडल-बिल्डिंग चरण में एक समान समान संभाव्यता वितरण का उपयोग करता है।
प्रत्येक निर्णय वृक्ष को एक यादृच्छिक वेक्टर की आवश्यकता होती है जो कुछ स्थिर संभाव्यता वितरण से उत्पन्न होता है। एक यादृच्छिक वेक्टर को निर्णय वृक्ष-विकास प्रक्रिया में कई तरीकों से एकीकृत किया जा सकता है। पहली विधि प्रत्येक निर्णय वृक्ष के नोड पर विभाजित करने के लिए F इनपुट विशेषताओं को यादृच्छिक रूप से चुनना है।
परिणामस्वरूप, सभी सुलभ विशेषताओं की जांच करने के बजाय, एक नोड को विभाजित करने का निर्णय इन चयनित विशेषताओं से तय किया जाता है। वृक्ष को बिना किसी प्रूनिंग के अपनी संपूर्णता तक विकसित किया जाता है। यह परिणामी वृक्ष में मौजूद बायस को कम करने में मदद कर सकता है।
क्योंकि वृक्ष बनाए गए हैं, भविष्यवाणियों को बहुमत मतदान डिजाइन का उपयोग करके जोड़ा जाता है। इस दृष्टिकोण को फॉरेस्ट-RI कहा जाता है, जहां RI यादृच्छिक इनपुट चयन को परिभाषित करता है। यादृच्छिकता में सुधार के लिए, फॉरेस्ट-RI के लिए बूटस्ट्रैप नमूने बनाने के लिए बैगिंग का उपयोग किया जा सकता है।
रैंडम फॉरेस्ट की मजबूती और सहसंबंध F के आकार पर आधारित हो सकते हैं। यदि F पर्याप्त रूप से छोटा है, तो वृक्ष कम सहसंबद्ध हो जाते हैं। अन्य शब्दों में, वृक्ष क्लासिफायर की ताकत विशेषताओं की अधिक संख्या, F के साथ बढ़ती है।
यदि मूल विशेषताओं की संख्या d बहुत छोटी है, तो निर्णय वृक्ष बनाने के लिए यादृच्छिक विशेषताओं का एक अलग सेट चुनना जटिल है। विशेषता स्थान बढ़ाने की एक विधि इनपुट विशेषताओं का एक रैखिक संयोजन बनाना है। विशेष रूप से, प्रत्येक नोड पर, L इनपुट विशेषताओं को यादृच्छिक रूप से चुनकर एक नई विशेषता बनाई जाती है।
इनपुट विशेषताओं को [-1, 1] की सीमा में समान वितरण से उत्पन्न गुणांकों का उपयोग करके रैखिक रूप से जोड़ा जाता है। प्रत्येक नोड पर, ऐसे यादृच्छिक रूप से संयुक्त नई विशेषताओं में से F बनाए जाते हैं, और उनमें से सर्वश्रेष्ठ को अंततः नोड को विभाजित करने के लिए चुना जाता है। इस दृष्टिकोण को फॉरेस्ट-RC कहा जाता है।
