back propagation1 딥러닝 기초 - Underfitting, Overfitting DNN (Deep Neural Network) 란? Neural Network에서 hidden layer가 2개 이상인 경우 (hidden layer가 점점 많아지면)를 DNN이라 함. 사람의 뇌를 닮아서 사람이 할 수 있는걸 전부 할 수 있는 것 같지만 아래와 같은 문제점이 존재. Underfitting : 학습 부족 Slow : 느림 Overfitting : 과하게 학습하여 융통성이 없음 1. Underfitting 해결 방법 Back propagation (오차 역전파) 내가 틀린 정도를 '미분(기울기)' 한 거를 앞 단으로 다시 전달하여 업데이트 Vanish gradient (그래디언트 소실) 현상 발생 activation 함수로 sigmoid 를 많이 사용하는데, 미분 기울기가 없는 곳을 참조하.. 2022. 3. 21. 이전 1 다음
