본문 바로가기

Study/Data Science3

딥러닝 기초 - Underfitting, Overfitting, Gradient Descent DNN (Deep Neural Network) 란? Neural Network에서 hidden layer가 2개 이상인 경우 (hidden layer가 점점 많아지면) DNN이라고 합니다. 사람의 뇌를 닮아서 사람이 할 수 있는걸 전부 할 수 있는 것 같지만 문제점이 있습니다. Underfitting : 학습 부족 Slow : 느림 Overfitting : 과하게 학습하여 융통성이 없음 1. Underfitting 해결 방법 Back propagation (오차 역전파) 내가 틀린 정도를 '미분(기울기)' 한 거를 앞 단으로 다시 전달하여 업데이트 Vanish gradient (그래디언트 소실) 현상 발생 activation 함수로 sigmoid 를 많이 사용하는데, 미분 기울기가 없는 곳을 참조하는 경.. 2022. 3. 21.
Hadoop 개요 및 Hadoop 2.0 의 방향 하둡은 데이터 저장소의 역할을 하는 HDFS와 연산작업을 진행하는 MapReduce 가 있다 HDFS 구성· NameNodeo 데이터가 저장된 위치를 갖고 있는 Tree 구조의 데이터 블록들이 저장되어 있다.o DataNode에 I/O 작업 요청을 한다· DataNodeo 실제 데이터가 저장· Secondary NameNodeo NameNode가 죽은경우 대체되기 위해 떠 있는 보조 NameNodeo NameNode의 상태를 동기화 하고 있으며, 약간의 시간차가 존재 한다MapReduce 구성· JobTrackero 클러스터의 전체 리소스 관리o Job의 상태 관리를 하면서 Job마다 Task를 할당 · TaskTrackero Task를 실제 수행o 여러 JVM을 생성하여 다수의 맵리듀스 작업 실행 하둡.. 2017. 9. 27.
린 분석 [#1] 좋은 지표를 찾는 방법 본 문서는 " 린 분석: 성공을 예측하는 31가지 사례와 13가지 패턴 " 책을 읽으면서 발췌한 내용을 정리한 것입니다. 분석의 본질 사업에 매우 중요한 지표를 추적하는 것 사업 모델 (매출원, 비용, 고객 수, 고객 확보 전략의 효율성)과 연관 좋은 지표란? 상대적이어야 한다 비교할 수 있는 대상이 있어야 한다. 예) 지난 주 보다 전환율이 증가했다 이해하기 쉬워야 한다 사람들이 지표를 기억하고 대화를 할 수 있어야 한다 비율로 표현 가능해야 한다 비율은 행동에 반영이 쉽고 비교가 가능하다 행동 방식을 바꾸게 만든다 최소 존속 제품 (Minimum Viable Product, MVP)이 성공할 때 까지 다양한 방식을 시도하게 한다 최소 존속 제품이란? - 시장에 약속한 가치를 제공하는 최소한의 제품 -.. 2016. 12. 14.
반응형