AI/Deep Learning 검색 결과

해당 글 10건

Graph Convolutional Network (GCN)

Graph 1) 개요 node와 edge로 이루어진 구조를 그래프라고 한다. 이를 활용하여 데이터 간의 관계성이 크고 중요한 데이터를 효과적으로 나타낼 수 있다. 페이스북의 친구관계, 분자구조, 바이러스 감염자 간의 관계 등이 대표적인 예이다. edge는 단순히 연결하는 것에 그치지 않고 방향성(directed, undirected)과 가중치(weighted, unweighted)를 활용하여 추가적인 정보를 가지기도 한다. 2) 그래프 데이터의 구조 그래프 데이터는 vertex (node) set와 edge set로 구성되며 다음의 총 4가지 요소들로 나타낼 수 있다. - node-feature matrix (n x f) : 각 노드에 해당되는 feature 정보를 가지고 있는 matrix로 featur..
AI/Deep Learning 2021. 4. 12. 18:19

CNN(Convolutional Neural Network); 합성곱 신경망

CNN 1) 개요 - 심층 합성곱 신경망은 각 층별로 저수준 특성을 연결하여 고수준 특성을 만들고 이를 이용해 특성 계층 구성 - Fully-connected network는 3차원 (RGB) 이미지 텐서를 학습시킬 때, 1열로 벡터화 시켜야 하는데 이는 이미지의 특성을 추출하는데 어려움이 큼 2) key idea - 희소 연결 : feature map에 있는 하나의 원소는 작은 픽셀 패치 하나에만 연결 - 파라미터 공유 : 동일한 가중치가 입력 이미지의 모든 patch에 사용됨. 3) CNN architecture - Iput -> CONV layer -> Activation function (mostly, ReLU) -> POOL layer -> Fully-connected layer - conv l..
AI/Deep Learning 2021. 3. 15. 22:16

Softmax Classifier

Softmax Classifier 1) 개요 기존의 logistic classifier의 sigmoid function이 binary classification 문제를 해결하는 방법이었다면 softmax classifier는 multi-class classification 문제 해결하는 방법이다. sigmoid function과 같은 activation function은 output으로 [0, 1] 확률값으로 yes / no를 나타낸다. 하지만, softmax function은 3개 이상의 class label을 분류하는데 이 또한 sigmoid function이 했던 것처럼 [0, 1] 확률값을 사용한다. 2) Softmax function - score function (e.g. f(x) = Wx +..
AI/Deep Learning 2021. 3. 9. 20:12

Batch Normalization

Batch Normalization 1) 개요 - vanishing gradient는 layer 수가 많아지면 정도가 커지게 되어 ReLU를 사용하거나 dropout을 하더라도 여전히 발생 - batch normalization을 통해 activation function을 통과하기 전 각 layer별로 정규분포화하는 것이다. - 일반적으로 activation function을 통과하기 전에 BN layer를 삽입하여 사용 2) Internal covariate shift - 각각의 layer들의 input data들의 분포가 training과정에서 일정하지 않아 올바른 학습이 되지 않는다. - 층이 깊은 모델에서 layer가 output에 가까워질수록 이전 layer의 parameter에 크게 예민 3)..
AI/Deep Learning 2021. 3. 5. 16:09

Dropout

Overfitting 1) 개요 Overfitting (과적합) 발생 이유 - 훈련 데이터가 부족하거나 실제(테스트) 데이터에는 존재하지만 훈련 데이터에 없을 경우 - 모델 파라미터가 너무 많을 경우 Overfitting (과대적합) 1) 개요 - 훈련 데이터에서는 잘 동 sjpyo.tistory.com 2) Regularization Regularization Bias-Variance Trade-off 1) 개요 - 아래의 이미지를 통해 bias와 variance의 직관적인 이해를 할 수 있다. 2) Bias (편향) - high bias, low variance일 경우, 모델이 단순하여 underfitting을 초래하고 train,.. sjpyo.tistory.com Dropout 1) 개요 - ov..
AI/Deep Learning 2021. 3. 4. 19:54

Weight Initialization

Weight Initialization 1) 개요 - 학습 parameter (weight)의 초기값 설정은 global minimum을 찾는데 매우 중요하다. - vanishing gradient 또는 과하게 큰 gradient로 인해 올바른 학습이 될 수 없다. 2) weight 값이 0이거나 동일한 값일 경우 - 초기 weight 값이 0이거나 동일한 값일 경우 다음 layer에 동일한 값이 전달된다. - backpropagation을 할 경우, 동일한 weight를 지닌 층에서 동일하게 갱신되기 때문에 모델에서 layer를 쌓은 효과가 없다. LeCun Initialization $$W \sim N(n_{in}, n_{out})$$ $$Var(W) = \frac{1}{n_{in}}$$ Xavier..
AI/Deep Learning 2021. 3. 4. 16:19

SGD (Stochastic Gradient Descent)

Gradient Descent (경사하강법) 경사하강법의 직관적, 수학적 이해 Local maxima and minima 1) 개요 - scalar 값을 output으로 가지는 다변수 함수를 아래와 같이 떠올릴 수 있다. 이때, 각 꼭짓점들을 local maximum이라고 일컫는다. - local maximum point : local maximum이.. sjpyo.tistory.com SGD (확률적 경사하강법) & MB-GD (Mini-Batch) 1) 개요 - 전체 데이터가 아닌 특정 데이터로 학습하는 SGD는 DNN에서 주로 이용되는 최적화 기법 - GD의 느린 속도를 개선하기 위해 사용 - i번째 뉴런의 j번째 weight $$w_{ij}^{t+1} = w_{ij}^{t}-\alpha \frac..
AI/Deep Learning 2021. 3. 4. 14:55

Activation function

Activation function 1) 개요 - 각 layer에서 input과 weight, bias를 곱하고 더하여 선형식을 만들고 activation function을 통해 결과 도출 - activation function으로 XOR과 같은 비선형 문제를 해결할 수 있다. 2) 특징 - 활성화 함수를 사용하면 입력값에 대한 선형결합식을 비선형으로 만들 수 있다. - MLP (Multiple Layer Perceptron)은 활성화 함수를 통해 non-linear 시스템을 여러 겹 쌓는 것이다. - 대부분 ReLU를 시작으로 해당 계열을 사용 선형 함수를 합치면 결국 하나의 선형함수가 된다. 따라서 선형 활성화 함수는 사용하지 않는다. Sigmoid function 1) 개요 - output rang..
AI/Deep Learning 2021. 3. 3. 01:00

Feed-forward NN & Backpropagation

Feed-forward neural network 1) 개요 - 입력층과 은닉층은 완전 연결돼있고 은닉층과 출력층도 완전 연결돼있다. - 은닉층의 개수는 모델 설계 과정에서 층을 늘리거나 줄일 수 있다. - Neuron을 training하는 것은 모델이 최적의 성능을 발휘할 수 있는 weights, bias를 결정하는 것이 목표이다. 2) 특징 - hidden layer를 추가함으로써 classifier를 형성하고 데이터에 최적화된 변환 연산을 training한다. - hidden layer의 neuron 수에 따라 데이터의 차원을 축소하거나 증가할 수 있다. 3) 과정 - x : 입력값, t : 출력값, o : 예측값 $$D_{n} = (x_{n1}, x_{n2}, \cdots, x_{nd}, t_{n..
AI/Deep Learning 2021. 3. 3. 00:40