<aside> 💡 정규화 → 규제(regularization) 로 변경

• 입력 정규화(normalization), 배치 정규화와 구분 필요 </aside>

-high variance(과대적합)을 개선하기 위한 방법-

1. 정규화(regularization): 가장 먼저 시도해야 할 것
   • 정규화는 bias를 조금 증가시킬 수 있다. - 약간의 tradeoff
     • 충분히 큰 네트워크가 있다면 그렇게까지 증가시키지는 않는다.
2. 더 많은 데이터를 얻기
   • 비용이 많이 든다는 단점이 있다.

1. L1 정규화, L2 정규화

<aside> 💡 norm: 벡터, 행렬, 텐서의 size를 측정하는 방법(벡터의 크기를 정량화할 수 있는 함수)

• $x$의 norm $=\lVert x \rVert$ </aside>

<aside> 💡 L1 norm(Manhattan norm) : 주어진 벡터의 구성요소들의 절댓값 합

• $\lVert x \rVert_1$
• $=\Sigma^{n}_{i=1}|x_i|$ </aside>

<aside> 💡 L1 loss : 실제값과 예측값의 차(오차)의 절댓값의 합

</aside>

<aside> 💡 L2 norm(Euclidean norm) : 원점으로부터 최단 거리 측정

: 주어진 벡터의 구성요소들의 제곱의 합의 루트

• $\lVert x \rVert_2$
• $=\sqrt{\Sigma^{n}_{i=1}x_i^2}$ </aside>

<aside> 💡 L2 loss : 실제값과 예측값의 차(오차)의 제곱의 합

</aside>

먼저 로지스틱 회귀에 대한 L1 정규화, L2 정규화를 살펴보자.

우리의 목표는 파라미터 $w, b$를 조정해서 cost function $J$를 최소화하는 것이다.

L1, L2 정규화는 loss function에 정규화 항을 더하여 패널티를 추가한다.

정규화 파라미터 **$\lambda$ (lambda, 람다)**로 패널티의 강도를 조정한다.

• 람다는 하이퍼파라미터이다.
• 람다가 커질수록 정규화 강도가 증가하여 가중치가 0에 가까워진다.
• 다양한 값을 시도해 보고, train set에 적합하면서 과대적합을 막는 최적의 값을 선택한다.

<aside> ⚠️ 구현할 때 파이썬에 존재하는 lambda 키워드와 충돌 주의

</aside>

<aside> ❓ 파라미터 중 w만 정규화하는 이유?

• w는 꽤 큰 차원의 파라미터 벡터이다. 특히 high variance 문제가 있을 때 많은 파라미터를 가진다.
• b는 상수로, w에 비해 매우 적은 파라미터를 가진다. 대부분의 파라미터는 b가 아닌 w에 있다. 따라서 b를 정규화하는 것이 실질적인 차이를 주지 않으므로, b는 보통 생략한다. </aside>

L1 정규화