AI/Machine Learning 검색 결과

해당 글 14건

Logistic regression

Logistic regression 1) 개요 - 새로운 관측치를 기존 범주 중 하나로 예측 (범주예측, 분류) 2) 이론 배경 - X값이 주어졌을 때 출력변수 Y가 1의 값을 가질 확률 $$Y_{i} = \beta_{0} + \beta_{1}X_{i} + \varepsilon_{i}\;\; Y_{i} = 0\:or\:1$$ $$Assume\: E(\varepsilon_{i}) = 0,\;\;\; E(Y_{i}) = \beta_{0} + \beta_{1}X_{i}$$ $$P(Y_{i} = 1) = \pi_{i}\;,\;\;P(Y_{i} = 0) = 1- \pi_{i}$$ $$E(Y_{i}) = 1\cdot \pi_{i} + 0\cdot (1- \pi_{i})=\pi_{i} $$ $$E(Y_{i}) = \..
AI/Machine Learning 2021. 3. 2. 11:29

Clustering Analysis

Clustering 1) 개요 - 유사한 속성들을 갖는 샘플들을 묶어 그룹으로 나누는 것 - unlabed sample을 그룹별로 나누는 비지도 학습의 대표적인 예이다. 2) 유사도 척도 (관측치 간의 거리) - 거리 측정법은 아래 포스트에 정리돼있다. k-NN (Nearest Neighbors) Instance-based learning으로 별도의 모델 생성없이 인접 데이터를 분류 또는 예측에 사용 (비선형) Nearest neighbors 1) 새로운 데이터에서 가장 가까운 거리에 있는 이웃값들의 범위를 의미함 - k-nearest neig sjpyo.tistory.com Hierarchical Clustering (계층적 군집화) 1) 개요 - 개체들을 가까운 집단부터 차근차근 묶어나가는 방식 - ..
AI/Machine Learning 2021. 2. 28. 16:25

Linear regression

Linear regression 1) 개요 - 하나 이상의 특성 (X)과 연속적인 타킷변수 (y)사이의 선형결합으로 모델링 - 지도 학습의 하위 범주 중 하나로 분류와 달리 연속적인 출력 값을 예측 $$Y = \beta_{0} + \beta_{1}X$$ 2) 선형회귀 모델 가정 - 확률오차 (random error)는 정규분포를 따르고 평균이 0, 분산이 sigma^2이다. $$\varepsilon \sim N(0,\sigma^{2}),\: i=1,2,...,n$$ - 입력변수 (X)와 출력변수 (Y) 평균과의 관계를 설명하는 선형식을 찾는다. - 가지고 있는 데이터들의 함수식으로 parameter (개요의 beta)를 추정한다. Residual (잔차) - 잔차는 확률오차가 실제로 구현된 값으로 같지 ..
AI/Machine Learning 2021. 2. 26. 10:51

Ensemble (Voting, Bagging, Boosting)

Model Ensemble - 여러 모델들을 함께 사용하여 성능을 올린다. - 앙상블 기법에는 voting, bagging, boosting, stacking 등이 있다. Voting 1) 개요 - 다른 종류의 모델들의 예측값을 합쳐 최종 결과를 도출해내는 방법이다. - continuous outputs : combine it by averaging - class label outputs : combine it by voting - Voting 종류는 크게 hard, soft, weighted로 나뉜다. 2) Hard voting - Unanimous voting : 만장일치일 때만 선택한다. - Majority voting : 제일 많이 나온 것을 선택한다. $$Ensemble(\hat{y})=argm..
AI/Machine Learning 2021. 2. 24. 00:01

Model evaluation metrics

데이터가 불균형하거나 클래스 간 차이가 있다면 roc-auc Confusion matrix 예측 클래스 Negative Positive 실제 클래스 Negative True Negative (TN) False Positivie (FP) Positive False Negative (FN) True Positive (TP) - True Positive (TP) : 모델이 정답을 맞췄다. - True Negative (TN) : 모델이 오답을 했다. - False Positive (FP) : 모델이 오답을 정답으로 잘못 예측/분류 했다. - False Negative (FN) : 모델이 정답을 오답으로 잘못 예측/분류 했다. Accuracy - 전체 표본 중 정확히 분류/예측된 표본의 수 - 매우 일반적인 정..
AI/Machine Learning 2021. 2. 23. 14:23

Validation (Cross-val, learning-curve, GridSearch)

Cross validation - 모델의 일반화 성능 (새로운 데이터에서 대한 예측 또는 분류) Holdout cross-validation - 모델의 성능을 높이기 위해 hyper-parameter 튜닝을 통해 모델 선택 과정을 거쳐야 한다. 이때, train, validation, test 3 개로 나눈다. - validation dataset으로 모델 선택에 사용한다. - 다만, train dataset을 나누는 방법에 따라 성능 추정이 민감하다는 단점이 있다. - data의 양이 매우 많을 때 사용하는 것을 권장한다. k-fold cross-validation 1) 개요 - train_test_split을 여러 번 수행하는 것과 같은 방식으로 holdout방식에 비해 많은 computing pow..
AI/Machine Learning 2021. 2. 23. 00:47

Model pipeline

Model pipeline - pipeline을 이용해 여러 개의 변환 단계를 포함해 모델을 학습하고 예측을 만들 수 있다. - transformer와 estimator가 wrapper 안에 들어간다. 마지막은 estimator가 자리한다. 코드예시 from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline pipe_lr = make_pipeline(StandardScaler(), PCA(n_components = 2), LogisticReg..
AI/Machine Learning 2021. 2. 22. 19:43

Regularization

Bias-Variance Trade-off 1) 개요 - 아래의 이미지를 통해 bias와 variance의 직관적인 이해를 할 수 있다. 2) Bias (편향) - high bias, low variance일 경우, 모델이 단순하여 underfitting을 초래하고 train, test dataset 모두에서 낮은 정확도를 나타낼 수 있다. 3) Variance (분산) - low bias, high variance일 경우, 모델이 너무 복잡하여 overfitting을 초래하여 train dataset에서는 높은 정확도를 보이지만 새로운 data에 대한 정확도는 현저히 낮다. 4) 수학적 이해 - expected MSE (mean squared error)를 낮추기 위해 bias 또는 var를 낮춰야 성..
AI/Machine Learning 2021. 2. 19. 21:10

Random Forest

Random Forest (결정트리) 1) 개요 - decision tree의 ensemble로 decision tree들의 예측을 종합한다. - decision tree의 low computational complexity (모델 구축 속도), nonparametric 특성으로 base 모델로 사용된다. - 고차원 데이터에서 변수선택기법으로 널리 활용된다. 모수 : 새로운 데이터 포인트를 분류할 수 있는 함수를 학습하기 위해 훈련 데이터셋에서 모델 파라미터를 예측 정규성을 갖는다는 모수적 특성 이용 (분산, 기대값, 표준편차 등) (linear regression, linear SVM, logistic regression) 비모수 : 고정된 개수의 파라미터로 설명할 수 없다. 훈련 데이터가 늘어나면 파..
AI/Machine Learning 2021. 2. 19. 00:00

Support Vector Machine; SVM

Support Vector Machine - 고차원 데이터 분류에 좋은 성능을 보인다. - 퍼셉트론의 확장 - 최적화 대상은 margin을 최대화하는 것 margin : 클래스를 구분하는 결정 경계와 결정 경계와 가장 가까운 sample사이의 거리로 정의 이때 해당 sample을 support vector라고 부름 선형 SVM 1) 개요 - 클래스가 다른 데이터들을 large margin으로 분리하는 경계를 찾는 것이다. - 즉, 클래스 간의 거리가 최대가 될 수 있도록 하는 것이다. 2) 수학적 이해 - w, b를 찾아야한다. - 목적식 $$w^{T}x_{pos} + b = 1 \;\;vector\;on\;plus\;plane$$ $$w^{T}(x_{neg}+\lambda w) + b = 1 \;\; ..
AI/Machine Learning 2021. 2. 18. 15:26