과적합 검색 결과

해당 글 3건

Regularization

Bias-Variance Trade-off 1) 개요 - 아래의 이미지를 통해 bias와 variance의 직관적인 이해를 할 수 있다. 2) Bias (편향) - high bias, low variance일 경우, 모델이 단순하여 underfitting을 초래하고 train, test dataset 모두에서 낮은 정확도를 나타낼 수 있다. 3) Variance (분산) - low bias, high variance일 경우, 모델이 너무 복잡하여 overfitting을 초래하여 train dataset에서는 높은 정확도를 보이지만 새로운 data에 대한 정확도는 현저히 낮다. 4) 수학적 이해 - expected MSE (mean squared error)를 낮추기 위해 bias 또는 var를 낮춰야 성..
AI/Machine Learning 2021. 2. 19. 21:10

Feature selection (변수 선택)

개요 1) feature selection은 머신러닝에서 모델에 영향을 주는 핵심 과정 중 하나임 2) 관련 없거나 제한적으로만 연관돼 있다면 모델 성능 감소하는데 주요 요소가 될 수 있음 다양한 방법 1) missing value 제거 2) 변수 간의 상관관계가 높을 경우, 하나를 제외하고 제거 장점 1) overfitting 감소 2) 정확도 향상 3) 학습시간 감소 Filtering method 1) 변수 간의 상관관계를 측정하여 이를 알려줌 - 연산속도가 빠르며, 상관관계를 알아내는데 적합하므로 전처리에 많이 사용됨 2) i.e. - chi-square test - corr coefficient (heat map) Wrapper method 1) 예측 모델에 변수들의 subset(부분집합)을 계속..
Data/Data preprocessing 2021. 1. 17. 15:08

주성분 분석 (PCA)

PCA (Principal Component Analysis) 1) 개념 - Unsupervised feature extraction의 방법 중 하나 - 다수 데이터가 모인 분포의 주요 성분을 분석하는 것으로 데이터들의 분산이 가장 큰 방향벡터를 의미 - 원본 데이터셋과 투영된 데이터셋 간의 평균제곱거리를 최소화하는 축 - n 개의 관측치와 i 개의 변수로 구성된 데이터에서 상관관계가 없는 j 개의 변수로 구성된 데이터(n개의 관측치) - 기존 변수의 선형결합으로 구성됨 2) 활용도 - 영상인식 - 데이터 압축 (차원 감소) - 노이즈 제거 등 3) 방법 - 모든 변수 x 에 대해 임의의 기저 (basis) 또는 계수 (x 개수)로 선형결합 -> 각 기저로 사영 변환 후의 변수 - 정사영 (project..
AI/Machine Learning 2021. 1. 4. 11:37