Data/Data preprocessing 검색 결과

해당 글 6건

Sampling unbalanced data

Unbalance Data 1) 개요 - 클래스 별 관측치의 수가 현저하게 차이나는 데이터 - 정상 (다수), 이상 (소수)에서 이상(소수)를 정확히 분류하는 것이 중요하다. (ex 불량품, 카드사기) 2) 해결방안 - 데이터를 조정 : under sampling, over sampling - 모델을 조정 : 비용기반학습 (cost sensitive learning), 단일 클래스 분류기법 (novelty detection) Under sampling 1) 개요 - 다수 범주를 줄여서 소수 범주와 비슷하게 맞춘다. 2) 장점 - 다수 범주 관측치 제거로 계산 시간 감소 - 클래스 오버랩 감소 가능 3) 단점 - 데이터 제거로 인한 정보 손실 발생 가능성 증가 4) Random undersampling -..
Data/Data preprocessing 2021. 2. 23. 17:07

Kernel method

Kernel method 1) 개요 - 선형적으로 구분이 불가능한 비선형 데이터를 다루는데 사용한다. - 주로 SVM, LR과 같은 분류 알고리즘에 사용된다. 2) Kernel function - 벡터 간의 내적 값 (닮음, 유사도)을 구하는 일종의 함수이다. $$K(\vec{v},\vec{w})\;\;\; K:R^{N}\times R^{N}\: \rightarrow R$$ - kernel trick이라고도 불리는 이유는 직접적인 계산으로 차원을 늘리는게 아니라 암묵적으로 추가 메모리 사용없이 늘릴 수 있기 때문이다. 3) Various type of kernels - Polynomial Kernel $$K(\vec{v},\vec{w})=(\vec{v}^{T} \vec{w} + \theta)^{P}$$ ..
Data/Data preprocessing 2021. 2. 22. 23:07

Feature Extraction (PCA, LDA)

개요 1) 변수의 변환을 통해 새로운 변수 추출 2) 차원의 저주로 인한 과적합 줄이기 3) 규제가 없는 모델에서 주로 사용 3) 변수의 개수를 많이 줄일 수 있지만 추출된 변수의 해석이 어려움 PCA (주성분 분석) 1) 개요 - 비지도 학습 - 특성 사이의 상관관계를 기반으로 고차원 데이터에서 낮은 차원을 갖는 새로운 공간으로 투영 - 데이터셋에서 분산이 최대인 직교 성분 축을 찾는다. - 데이터가 부실한 image classification에서 효과적이다. - sjpyo.tistory.com/6 주성분 분석 (PCA) 변수선택 및 추출 (selection & extraction) 1) 목적 - 모델링의 효율화 (계산 복잡도 감소) - 중요한 변수 선택 2) 변수선택 (selection) - 목적에 ..
Data/Data preprocessing 2021. 2. 21. 22:07

Data Scaling (normalization, standardization)

Data Scaling 1) 개요 - tree 모델처럼 scale 조정이 필요없는 몇몇 모델을 제외하고 대부분의 머신러닝 알고리즘은 feature들의 scale이 맞을 때 성능이 좋을 확률이 높다. - 예를 들어, 2 개의 특성을 비교할 때 1번은 1 ~ 10, 2번이 1 ~ 10만이면 knn, perceptron 등 확률분포를 사용한 알고리즘은 scale (범위)이 큰 특성에 오차를 맞추어 가중치를 최적화 한다. - 따라서 특성의 단위나 범위가 다르기 때문에 이를 비교가 가능하도록 하는 것이다. Normalization (정규화) 1) 개요 - 특성 값의 범위를 [0, 1] 사이에 맞추는 것이다. - feature 내의 가장 작은 값은 0, 가장 큰 값이 1을 가진다. 2) Min-max scaler ..
Data/Data preprocessing 2021. 2. 19. 16:00

Categorical variables encoding / mean, one-hot, label

장, 단점 정리표 TYPE of encoding Advantages Disadvantages One-hot encoding (get_dummies) - 각 category는 구분되어 있어서 편향이 적음 - 사용하기 매우 쉬움 - 해당 컬럼에 변수가 많을 경우, 많은 컬럼을 재생산하고 모델의 학습 속도를 낮춤 - 0, 1로만 구성되어 Tree의 깊이만 깊어지며 성능을 증가가 어려움 - Random forest를 사용할 경우, 변수의 수가 많을수록 다른 변수보다 많이 계산에 적용되는데 편향이 발생할 수 있음 - Label encoding (replace to numeric) - Frequency encoding - One-hot encoding에 비해 빠름 (fewer feat) - 사용하기 쉬움 - 각 컬..
Data/Data preprocessing 2021. 1. 22. 15:36

Feature selection (변수 선택)

개요 1) feature selection은 머신러닝에서 모델에 영향을 주는 핵심 과정 중 하나임 2) 관련 없거나 제한적으로만 연관돼 있다면 모델 성능 감소하는데 주요 요소가 될 수 있음 다양한 방법 1) missing value 제거 2) 변수 간의 상관관계가 높을 경우, 하나를 제외하고 제거 장점 1) overfitting 감소 2) 정확도 향상 3) 학습시간 감소 Filtering method 1) 변수 간의 상관관계를 측정하여 이를 알려줌 - 연산속도가 빠르며, 상관관계를 알아내는데 적합하므로 전처리에 많이 사용됨 2) i.e. - chi-square test - corr coefficient (heat map) Wrapper method 1) 예측 모델에 변수들의 subset(부분집합)을 계속..
Data/Data preprocessing 2021. 1. 17. 15:08