리키 렐루
IT 위키
리키 렐루(Leaky ReLU)는 입력값이 음수일 때에도 완전히 0이 되지 않고, 작은 기울기를 유지하는 활성화 함수이다. 이 함수는 딥러닝에서 흔히 사용되는 ReLU(Rectified Linear Unit)의 변형으로, '죽은 뉴런(dying neuron)' 문제를 완화하기 위해 제안되었다.
리키 렐루는 입력값 x가 0보다 크면 x 그대로 출력하고, 0 이하일 경우 작은 기울기를 곱한 값(예: 0.01 × x)을 출력하는 함수이다. 일반적으로 음수 영역의 기울기는 0.01 정도의 작은 양수로 설정된다.
리키 렐루는 ReLU와 달리 음수 입력에도 경사(gradient)를 갖기 때문에, 입력이 계속 음수인 뉴런이 학습 중에 완전히 비활성화되는 '죽은 뉴런(dying ReLU)' 문제를 방지하는 데 효과적이다.
- 장점
- ReLU에 비해 학습 안정성이 뛰어나며, 깊은 네트워크에서 유용하게 사용된다.
- GAN(생성적 적대 신경망)이나 객체 검출 모델 등에서 활성화 유지가 중요할 때 효과적이다.
- 한계
- 기울기 값(예: 0.01)은 하이퍼파라미터로, 너무 작거나 크면 학습 성능에 악영향을 줄 수 있다.
- 기울기 값이 너무 크면 거의 선형 함수처럼 작동하여 비선형성이 줄어든다.
리키 렐루는 일반적으로 다음과 같은 형태로 표현된다:
- x가 0보다 크면 x,
- 작거나 같으면 0.01 × x
- 즉, max(0.01 × x, x) 형태로도 이해할 수 있다.
- “죽은 뉴런 문제”는 ReLU 함수에서 입력이 음수인 뉴런이 경사를 잃고 더 이상 업데이트되지 않는 현상을 말한다.
- Deep sparse rectifier neural networks 논문 (Leaky ReLU variant 언급)
- Kaiming He 외, “Delving Deep into Rectifiers” (PReLU 개념 관련)
