ROC का अर्थ है Receiver Operating Characteristic (रिसीवर ऑपरेटिंग विशेषता)। ROC वक्र दो वर्गीकरण मॉडल का विश्लेषण करने के लिए एक सुविधाजनक दृश्य उपकरण हैं। ROC वक्र द्वितीय विश्व युद्ध के दौरान रडार छवियों की खोज के लिए विकसित सिग्नल डिटेक्शन सिद्धांत से उत्पन्न हुए हैं।
एक ROC वक्र दिए गए मॉडल के लिए सच्ची सकारात्मक दर या संवेदनशीलता (सकारात्मक टुपल्स का अनुपात जो पहचाने गए हैं) और गलत-सकारात्मक दर (नकारात्मक टुपल्स का अनुपात जो गलत तरीके से सकारात्मक के रूप में पहचाने गए हैं) के बीच ट्रेड-ऑफ को प्रदर्शित करता है।
द्वि-क्लास समस्या को देखते हुए, यह हमें टेस्ट सेट के कई "भागों" के लिए मॉडल द्वारा 'हां' मामलों को सटीक रूप से पहचानने की दर बनाम 'नहीं' मामलों को गलती से 'हां' के रूप में पहचानने की दर के बीच ट्रेड-ऑफ की आशा करने में सक्षम बनाता है। सच्ची सकारात्मक दर में कुछ वृद्धि गलत-सकारात्मक दर में वृद्धि के मूल्य पर होती है। ROC वक्र के नीचे का क्षेत्र मॉडल की सटीकता का एक आकलन है।
एक दिए गए वर्गीकरण मॉडल, M, के लिए ROC वक्र संचालित करने के लिए, मॉडल को प्रत्येक टेस्ट टुपल के अनुमानित क्लास के लिए संभावना या रैंकिंग वापस करने में सक्षम होना चाहिए। टेस्ट टुपल्स को अवरोही क्रम में रैंक करना आवश्यक है, जहां वह जिसे क्लासिफायर आमतौर पर सकारात्मक या 'हां' क्लास से संबंधित मानता है, सूची के शीर्ष पर होता है।
नैव बेयसियन और बैकप्रोपेगेशन क्लासिफायर उपयुक्त हैं, जबकि निर्णय वृक्ष क्लासिफायर सहित, को केवल प्रत्येक भविष्यवाणी के लिए क्लास संभावना वितरण वापस करने के लिए बदला जा सकता है। ROC वक्र का ऊर्ध्वाधर अक्ष सच्ची सकारात्मक दर को परिभाषित करता है। क्षैतिज अक्ष गलत-सकारात्मक दर को परिभाषित करता है। M के लिए एक ROC वक्र निम्नानुसार प्लॉट किया जाता है।
नीचे बाएं कोने से शुरू (जहां सच्ची सकारात्मक दर और गलत-सकारात्मक दर दोनों 0 हैं), यह सूची में पहले टुपल के वास्तविक क्लास लेबल की जांच करता है। यदि यह एक सच्चा सकारात्मक है (यानी, एक सकारात्मक टुपल जिसे सही ढंग से परिभाषित किया गया था), तो ROC वक्र पर, यह ऊपर जा सकता है और एक बिंदु प्लॉट कर सकता है।
यह दो वर्गीकरण मॉडल के ROC वक्रों को प्रदर्शित करता है। प्लॉट एक विकर्ण रेखा भी प्रदर्शित करता है जहां ऐसे मॉडल के प्रत्येक सच्चे सकारात्मक के लिए, आमतौर पर एक गलत सकारात्मक का सामना करना पड़ता है।
इसलिए, मॉडल का ROC वक्र विकर्ण रेखा के जितना करीब होगा, मॉडल उतना ही कम कुशल होगा। यदि मॉडल सर्वोत्तम है, तो मूल रूप से यह रैंक की गई सूची में नीचे जाने पर सच्चे सकारात्मक का सामना करने की संभावना है। इसलिए, वक्र शून्य से तेजी से ऊपर जा सकता है। बाद में, जैसे-जैसे यह कम और कम सच्चे सकारात्मक का सामना करना शुरू करता है, और उत्तरोत्तर गलत सकारात्मक, वक्र बंद हो जाता है और अधिक क्षैतिज हो जाता है।
