과적합

과적합이란 무엇입니까?

과적합은 함수가 제한된 데이터 포인트 세트에 너무 가깝게 정렬될 때 발생하는 통계의 모델링 오류입니다. 결과적으로 이 모델은 초기 데이터 세트에 대해서만 참조할 때 유용하며 다른 데이터 세트에는 유용하지 않습니다.

모델 과적합은 일반적으로 연구 중인 데이터의 특이성을 설명하기 위해 지나치게 복잡한 모델을 만드는 형태를 취합니다. 실제로 자주 연구되는 데이터에는 어느 정도의 오류나 무작위 노이즈가 있습니다. 따라서 모델을 약간 부정확한 데이터에 너무 가깝게 맞추려고 하면 상당한 오류로 모델을 감염시키고 예측력을 감소시킬 수 있습니다.

과적합 이해하기

예를 들어, 일반적인 문제는 패턴을 찾기 위해 과거 시장 데이터의 광범위한 데이터베이스를 검색하기 위해 컴퓨터 알고리즘 을 사용하는 것입니다. 충분한 연구를 통해 주식 시장 의 수익 을 매우 정확하게 예측하는 것처럼 보이는 정교한 정리를 개발하는 것이 종종 가능합니다.

그러나 샘플 외부의 데이터에 적용할 때 이러한 정리는 실제로는 우연히 발생한 것에 대한 모델의 과적합에 불과한 것으로 판명될 수 있습니다. 모든 경우에 모델을 개발하는 데 사용된 샘플 외부의 데이터에 대해 모델을 테스트하는 것이 중요합니다.

과적합을 방지하는 방법

과적합을 방지하는 방법에는 모델 학습에 사용되는 데이터를 폴드 또는 파티션으로 자르고 각 폴드에 대해 모델을 실행하는 교차 검증이 포함됩니다. 그런 다음 전체 오류 추정치가 평균화됩니다. 다른 방법에는 앙상블이 포함됩니다. 최소 두 개의 개별 모델에서 예측을 결합하고, 사용 가능한 데이터 세트를 다양하게 보이도록 만드는 데이터 증대, 과적합을 방지하기 위해 모델을 간소화하는 데이터 단순화가 있습니다.

재무 전문가는 항상 제한된 데이터를 기반으로 모델을 과대적합하거나 과소적합하는 위험을 인식해야 합니다. 이상적인 모델은 균형을 이루어야 합니다.

머신러닝의 과적합

과적합은 또한 기계 학습의 요인입니다. 기계가 특정 데이터를 한 방향으로 스캔하도록 학습되었을 때 나타날 수 있지만 동일한 프로세스가 새로운 데이터 세트에 적용되면 결과가 올바르지 않습니다. 이는 낮은 편향과 높은 분산을 보일 가능성이 있는 빌드된 모델의 오류 때문입니다. 모델에 중복되거나 겹치는 기능이 있어 불필요하게 복잡해져서 비효율적일 수 있습니다.

과적합 대 언더피팅

과적합된 모델은 너무 복잡하여 비효율적일 수 있습니다. 그러나 모델이 과소적합될 수도 있습니다. 즉, 너무 단순하고 기능이 너무 적고 데이터가 너무 적어 효과적인 모델을 구축할 수 없습니다. 과적합 모델은 편향이 낮고 분산이 높은 반면, 언더핏 모델은 편향이 높고 분산이 낮습니다. 너무 단순한 모델에 더 많은 기능을 추가하면 편향을 제한하는 데 도움이 될 수 있습니다.

과적합의 예

예를 들어, 대학 중퇴율이 원하는 것보다 높은 대학은 지원자가 졸업할 때까지 합격할 가능성을 예측하는 모델을 만들기로 결정합니다.

이를 위해 대학은 5,000명의 지원자와 그 결과의 데이터 세트에서 모델을 훈련합니다. 그런 다음 원래 데이터 세트(5,000명의 지원자 그룹)에서 모델을 실행하고 모델은 98%의 정확도로 결과를 예측합니다. 그러나 정확성을 테스트하기 위해 두 번째 데이터 세트(5,000명 이상의 지원자)에서도 모델을 실행합니다. 그러나 이번에는 모델이 좁은 데이터 하위 집합(이 경우 처음 5,000개 응용 프로그램)에 너무 밀접하게 적합했기 때문에 모델의 정확도는 50%에 불과합니다.

##하이라이트

• 과적합은 특정 기능이 최소한의 데이터 포인트 세트에 너무 가깝게 정렬된 결과로 데이터 모델링에서 발생하는 오류입니다.

• 모델이 과적합에 의해 손상되면 모델은 투자를 위한 예측 도구로서의 가치를 잃을 수 있습니다.

• 데이터 모델도 과소적합될 수 있습니다. 즉, 너무 단순하여 효과적이기에는 데이터 포인트가 너무 적습니다.

• 금융 전문가는 제한된 데이터를 기반으로 모델을 과대적합하여 결국 결함이 있는 결과를 얻을 위험이 있습니다.

• 과적합은 과소적합보다 더 빈번한 문제이며 일반적으로 과적합을 피하려는 결과로 발생합니다.