1. 계산 그래프

신경망의 계산(computation)은 정방향 전파와 역방향 전파로 나뉜다.

• 정방향 전파(forward propagation): 신경망의 output 계산
• 역방향 전파(back propagation): 신경망의 경사(gradient), 즉 도함수(derivative) 계산

계산 그래프 이해하기

변수가 3개(a, b, c)인 함수 J를 **계산 그래프(Computation Graph)**로 나타내면 다음과 같다.

• 왼→오 방향으로 최적화하려는 J(output)를 계산 - 정방향 전파
  • 변수의 변화가 계산 그래프에서 오른쪽으로 전파되어 J의 값이 변화한다.
• 왼←오 방향으로 도함수를 계산 - 역방향 전파

J 같은 최종 output을 최적화하고 싶을 때 계산 그래프가 유용하다.

로지스틱 회귀의 경우, 우리가 최적화(최소화)할 cost function을 J로 두고, 파라미터가 변화했을 때 J가 얼마나 변하는지 계산할 수 있다.

계산 그래프로 도함수 계산

미분의 연쇄법칙(Chain Rule)

합성함수의 도함수는 합성함수를 구성하는 함수의 미분을 곱하여 구할 수 있다.

위의 계산 그래프에서 변수 a만 본다면 J까지 도달하는 과정은 a→v→J이다.

그러면 $J=J(v(a))$ 라는 합성함수가 만들어진다.

연쇄법칙에 따르면 $\frac{dJ} {da}$ $=\frac{dJ} {dv}\frac{dv} {da}$ 이다.