1. Deep Neural Networks

로지스틱 회귀는 1개의 층을 가지는 1 layer NN(단일층 신경망)으로, 매우 얕은(shallow) 신경망이다.

앞서 본 것까지는 2 hidden layer를 가지는 신경망이었다.

hidden layer가 많아지면 신경망이 깊다(deep)고 표현하고, **깊은 신경망(Deep Neural Networks)**이라고 한다.

<aside> 💡 Recap: 신경망의 층을 셀 때는 input layer를 빼고 hidden layer, output layer만 센다. → n layer NN

</aside>

얕은 신경망으로는 해결하지 못하는 문제를 깊은 신경망으로 해결할 수 있다.

문제에 얼마나 깊은 신경망을 사용해야 할지 모르는 경우, 보통 얕은 신경망부터 시작하여 다양하게 시도해 보고, 최적의 hidden layer 개수를 찾는다.

• hidden layer의 개수를 하이퍼파라미터로 사용한다.

<aside> 💡 Notation

</aside>

2. 행렬의 차원

깊은 신경망을 bug-free하게 구현하기 위해 행렬 차원에 주의해야 한다.

3. 왜 ‘깊은’ 신경망이 더 좋을까?

직관 [1]

• 이미지나 오디오를 다루는 깊은 신경망에서는 얕은 층에서는 simple function, 깊은 층으로 갈수록 complex function을 계산한다.
  • face detection/recognition: 얼굴 사진을 input으로 받고 층이 깊어질수록, 특정 방향의 모서리를 감지하는 feature detector/edge detector → 감지된 모서리를 그룹화하여 얼굴의 일부(e.g. 코) 감지 → 얼굴의 일부를 모아서 얼굴을 감지
  • audio: 층이 깊어질수록 low level의 파형 특징 → 소리의 기본 단위(음소) → 단어 → 문장
• 층이 깊어질수록 복잡한 함수를 계산하고 넓은 영역에 대해 처리한다.

직관 [2]