분류 검색 결과

해당 글 5건

Feature Extraction (PCA, LDA)

개요 1) 변수의 변환을 통해 새로운 변수 추출 2) 차원의 저주로 인한 과적합 줄이기 3) 규제가 없는 모델에서 주로 사용 3) 변수의 개수를 많이 줄일 수 있지만 추출된 변수의 해석이 어려움 PCA (주성분 분석) 1) 개요 - 비지도 학습 - 특성 사이의 상관관계를 기반으로 고차원 데이터에서 낮은 차원을 갖는 새로운 공간으로 투영 - 데이터셋에서 분산이 최대인 직교 성분 축을 찾는다. - 데이터가 부실한 image classification에서 효과적이다. - sjpyo.tistory.com/6 주성분 분석 (PCA) 변수선택 및 추출 (selection & extraction) 1) 목적 - 모델링의 효율화 (계산 복잡도 감소) - 중요한 변수 선택 2) 변수선택 (selection) - 목적에 ..
Data/Data preprocessing 2021. 2. 21. 22:07

Random Forest

Random Forest (결정트리) 1) 개요 - decision tree의 ensemble로 decision tree들의 예측을 종합한다. - decision tree의 low computational complexity (모델 구축 속도), nonparametric 특성으로 base 모델로 사용된다. - 고차원 데이터에서 변수선택기법으로 널리 활용된다. 모수 : 새로운 데이터 포인트를 분류할 수 있는 함수를 학습하기 위해 훈련 데이터셋에서 모델 파라미터를 예측 정규성을 갖는다는 모수적 특성 이용 (분산, 기대값, 표준편차 등) (linear regression, linear SVM, logistic regression) 비모수 : 고정된 개수의 파라미터로 설명할 수 없다. 훈련 데이터가 늘어나면 파..
AI/Machine Learning 2021. 2. 19. 00:00

Support Vector Machine; SVM

Support Vector Machine - 고차원 데이터 분류에 좋은 성능을 보인다. - 퍼셉트론의 확장 - 최적화 대상은 margin을 최대화하는 것 margin : 클래스를 구분하는 결정 경계와 결정 경계와 가장 가까운 sample사이의 거리로 정의 이때 해당 sample을 support vector라고 부름 선형 SVM 1) 개요 - 클래스가 다른 데이터들을 large margin으로 분리하는 경계를 찾는 것이다. - 즉, 클래스 간의 거리가 최대가 될 수 있도록 하는 것이다. 2) 수학적 이해 - w, b를 찾아야한다. - 목적식 $$w^{T}x_{pos} + b = 1 \;\;vector\;on\;plus\;plane$$ $$w^{T}(x_{neg}+\lambda w) + b = 1 \;\; ..
AI/Machine Learning 2021. 2. 18. 15:26

Decision Tree

개념 1) 패턴을 변수의 조합으로 나타냄 2) 스무고개와 유사함 (yes or no) 개요 1) 데이터가 균일해지도록 2개 이상으로 분할 - 분류 : 비슷한 범주 기준 - 예측 : 비슷한 수치 기준 2) 이진분할에 의해서 끝마디의 분할된 데이터의 개수는 input개수와 동일하다. 3차원에서의 모형 예측 모델 1) 새로운 입력 데이터 (Xnew)에 대한 예측값 (Ynew)은 Xnew가 속하는 끝 노드 y값들의 평균값이 된다. (오류가 최소) 2) 과정 - 데이터를 m개로 분할 - cost function이 최소가 되도록 분할 3) 분할변수와 분할점 결정 방법 - 모든 분할변수와 분할점 경우의 수를 계산하며, cost function이 최소가 되는 순서로 노드를 생성한다. - 그리디 알고리즘과 맥락이 같다...
AI/Machine Learning 2021. 1. 21. 17:50

k-NN (Nearest Neighbors)

Instance-based learning으로 별도의 모델 생성없이 인접 데이터를 분류 또는 예측에 사용 (비선형) Nearest neighbors 1) 새로운 데이터에서 가장 가까운 거리에 있는 이웃값들의 범위를 의미함 - k-nearest neighbor의 k는 설정할 거리를 의미함 특징 1) intance-based learning : 관측치 (instance) 만을 이용하여 새로운 데이터에 대한 예측 2) memory-based learning : 모든 데이터를 메모리에 저장한 후, 예측 시도 3) lazy learning : 모델을 적용하지 않고 테스팅 데이터가 들어와야 작동하는 알고리즘을 의미 장점 1) 데이터 내의 노이즈에 영향 x 2) 학습 데이터 수가 많을 경우 효과적이다. 3) 메모리 ..
AI/Machine Learning 2021. 1. 18. 20:28