DNN2 딥러닝 기초 - Perceptron, Gradient Descent 1. Perceptron binary classification을 위한 supervised learning 알고리즘으로, 최근에는 single layer보다 좀 더 복잡한 neural network(multi layer)를 구성하여 deep leaning에서 활용하고 있다. Input layer Weights Bias 복잡한 패턴을 모델링하는데 있어 유연성을 주기 위해 Input layer에 추가하는 data Activation function Input과 bias로 weighted sum하여 output을 결정한다. 주로 sigmoid, ReLu 등 니즈에 맞게 function을 선택하여 사용한다. Output Binary값으로 1 또는 0으로 perceptron의 결과가 나온다. Training al.. 2023. 11. 20. 딥러닝 기초 - Underfitting, Overfitting DNN (Deep Neural Network) 란? Neural Network에서 hidden layer가 2개 이상인 경우 (hidden layer가 점점 많아지면)를 DNN이라 함. 사람의 뇌를 닮아서 사람이 할 수 있는걸 전부 할 수 있는 것 같지만 아래와 같은 문제점이 존재. Underfitting : 학습 부족 Slow : 느림 Overfitting : 과하게 학습하여 융통성이 없음 1. Underfitting 해결 방법 Back propagation (오차 역전파) 내가 틀린 정도를 '미분(기울기)' 한 거를 앞 단으로 다시 전달하여 업데이트 Vanish gradient (그래디언트 소실) 현상 발생 activation 함수로 sigmoid 를 많이 사용하는데, 미분 기울기가 없는 곳을 참조하.. 2022. 3. 21. 이전 1 다음
