ओवरफिटिंग

ओवरफिटिंग क्या है?

ओवरफिटिंग आँकड़ों में एक मॉडलिंग त्रुटि है जो तब होती है जब कोई फ़ंक्शन डेटा बिंदुओं के सीमित सेट के साथ बहुत निकटता से जुड़ा होता है। नतीजतन, मॉडल केवल अपने प्रारंभिक डेटा सेट के संदर्भ में उपयोगी है, न कि किसी अन्य डेटा सेट के लिए।

मॉडल को ओवरफिट करना आम तौर पर अध्ययन के तहत डेटा में विशिष्टताओं को समझाने के लिए एक अत्यधिक जटिल मॉडल बनाने का रूप लेता है। वास्तव में, अक्सर अध्ययन किए गए डेटा में कुछ हद तक त्रुटि या यादृच्छिक शोर होता है। इस प्रकार, मॉडल को थोड़े गलत डेटा के बहुत करीब से बनाने का प्रयास मॉडल को पर्याप्त त्रुटियों से संक्रमित कर सकता है और इसकी भविष्य कहनेवाला शक्ति को कम कर सकता है।

ओवरफिटिंग को समझना

उदाहरण के लिए, पैटर्न खोजने के लिए ऐतिहासिक बाजार डेटा के व्यापक डेटाबेस खोजने के लिए कंप्यूटर एल्गोरिदम का उपयोग करना एक आम समस्या है। पर्याप्त अध्ययन को देखते हुए, विस्तृत प्रमेय विकसित करना अक्सर संभव होता है जो शेयर बाजार में करीब सटीकता के साथ रिटर्न की भविष्यवाणी करते प्रतीत होते हैं।

हालाँकि, जब नमूने के बाहर के डेटा पर लागू किया जाता है, तो ऐसे प्रमेय संभवतः एक मॉडल के केवल ओवरफिटिंग साबित हो सकते हैं जो वास्तव में केवल संयोग की घटनाएँ थीं। सभी मामलों में, डेटा के विरुद्ध एक मॉडल का परीक्षण करना महत्वपूर्ण है जो इसे विकसित करने के लिए उपयोग किए गए नमूने के बाहर है।

ओवरफिटिंग को कैसे रोकें

ओवरफिटिंग को रोकने के तरीकों में क्रॉस-सत्यापन शामिल है, जिसमें मॉडल के प्रशिक्षण के लिए उपयोग किए जा रहे डेटा को फोल्ड या पार्टीशन में काट दिया जाता है और मॉडल को प्रत्येक फोल्ड के लिए चलाया जाता है। फिर, समग्र त्रुटि अनुमान औसत है। अन्य तरीकों में शामिल हैं: भविष्यवाणियों को कम से कम दो अलग-अलग मॉडलों से जोड़ा जाता है, डेटा वृद्धि, जिसमें उपलब्ध डेटा सेट विविध दिखने के लिए बनाया जाता है, और डेटा सरलीकरण, जिसमें ओवरफिटिंग से बचने के लिए मॉडल को सुव्यवस्थित किया जाता है।

वित्तीय पेशेवरों को हमेशा सीमित डेटा के आधार पर किसी मॉडल के ओवरफिटिंग या अंडरफिटिंग के खतरों के बारे में पता होना चाहिए। आदर्श मॉडल संतुलित होना चाहिए।

मशीन लर्निंग में ओवरफिटिंग

मशीन लर्निंग में ओवरफिटिंग भी एक कारक है। यह तब सामने आ सकता है जब किसी मशीन को विशिष्ट डेटा को एक तरह से स्कैन करना सिखाया गया हो, लेकिन जब उसी प्रक्रिया को डेटा के नए सेट पर लागू किया जाता है, तो परिणाम गलत होते हैं। यह उस मॉडल में त्रुटियों के कारण है जिसे बनाया गया था, क्योंकि यह संभवतः कम पूर्वाग्रह और उच्च विचरण दिखाता है। मॉडल में निरर्थक या अतिव्यापी विशेषताएं हो सकती हैं, जिसके परिणामस्वरूप यह अनावश्यक रूप से जटिल और इसलिए अप्रभावी हो गया है।

ओवरफिटिंग बनाम। अंडरफिटिंग

एक मॉडल जो ओवरफिट है वह बहुत जटिल हो सकता है, जिससे यह अप्रभावी हो जाता है। लेकिन एक मॉडल को भी कम आंका जा सकता है, जिसका अर्थ है कि यह बहुत आसान है, बहुत कम सुविधाओं के साथ और एक प्रभावी मॉडल बनाने के लिए बहुत कम डेटा। एक ओवरफिट मॉडल में कम पूर्वाग्रह और उच्च विचरण होता है, जबकि एक अंडरफिट मॉडल इसके विपरीत होता है - इसमें उच्च पूर्वाग्रह और कम विचरण होता है। एक बहुत ही सरल मॉडल में अधिक सुविधाएँ जोड़ने से पूर्वाग्रह को सीमित करने में मदद मिल सकती है।

ओवरफिटिंग उदाहरण

उदाहरण के लिए, एक विश्वविद्यालय जो एक कॉलेज छोड़ने की दर देख रहा है जो कि वह तय करता है कि वह एक मॉडल बनाना चाहता है जिससे यह अनुमान लगाया जा सके कि एक आवेदक स्नातक के माध्यम से इसे सभी तरह से बना देगा।

ऐसा करने के लिए, विश्वविद्यालय 5,000 आवेदकों और उनके परिणामों के डेटासेट से एक मॉडल को प्रशिक्षित करता है। इसके बाद यह मॉडल को मूल डेटासेट- 5,000 आवेदकों के समूह पर चलाता है और मॉडल 98% सटीकता के साथ परिणाम की भविष्यवाणी करता है। लेकिन इसकी सटीकता का परीक्षण करने के लिए, वे मॉडल को दूसरे डेटासेट पर भी चलाते हैं - 5,000 और आवेदक। हालांकि, इस बार, मॉडल केवल 50% सटीक है, क्योंकि मॉडल एक संकीर्ण डेटा सबसेट के लिए बहुत करीब से फिट था, इस मामले में, पहले 5,000 एप्लिकेशन।

##हाइलाइट

• ओवरफिटिंग एक त्रुटि है जो डेटा मॉडलिंग में एक विशेष फ़ंक्शन के परिणामस्वरूप होती है जो डेटा बिंदुओं के न्यूनतम सेट के बहुत करीब से संरेखित होती है।

• जब एक मॉडल को ओवरफिटिंग द्वारा समझौता किया गया है, तो मॉडल निवेश के लिए एक भविष्य कहनेवाला उपकरण के रूप में अपना मूल्य खो सकता है।

• एक डेटा मॉडल को भी कम आंका जा सकता है, जिसका अर्थ है कि यह बहुत आसान है, बहुत कम डेटा बिंदु प्रभावी होने के लिए।

• वित्तीय पेशेवरों को सीमित डेटा के आधार पर एक मॉडल को ओवरफिट करने और त्रुटिपूर्ण परिणामों के साथ समाप्त होने का खतरा होता है।

• ओवरफिटिंग अंडरफिटिंग की तुलना में अधिक लगातार समस्या है और आमतौर पर ओवरफिटिंग से बचने की कोशिश के परिणामस्वरूप होती है।