헤비안 학습

헤비안 학습(Hebbian Learning)은 신경세포 간의 활동 상관관계에 기반하여 시냅스 강도를 조정하는 학습 규칙으로, 일반적으로 "함께 발화하는 뉴런들이 연결된다(neurons that fire together, wire together)"는 방식으로 요약된다.

개념 및 기본 원리

헤비안 학습은 두 뉴런이 동시에 활발히 활성화될 때 그 사이의 시냅스 연결이 강화된다는 원칙에 기반한다. 이 규칙은 신경가소성(synaptic plasticity)의 일부 메커니즘을 설명하는 가장 기초적인 모델이다.

수학적 형태로는 다음과 같이 표현된다: \[ \Delta w_{ij} = \eta \, x_i \, y_j \] 여기서 \( x_i \)는 입력 뉴런의 활성, \( y_j \)는 출력 뉴런의 활성, \(\eta\)는 학습률이다.

확장 및 변형

• 일반화된 헤비안 알고리즘 (Generalized Hebbian Algorithm, GHA): 주성분 분석(PCA) 방식으로 입력 데이터의 통계 구조를 학습하는 데 사용됨
• BCM 이론 (Bienenstock–Cooper–Munro rule): 활동 수준에 따라 시냅스 강화와 약화를 동적으로 조정
• 스파이크 타이밍 의존 가소성 (Spike-Timing Dependent Plasticity, STDP): 발화 타이밍의 상대적 차이에 기반해 시냅스를 조정하는 규칙

장점 및 한계

장점

• 단순하고 지역적(local) 규칙으로 구현 가능
• 생물학적 타당성이 비교적 높음
• 비지도 학습 형태로 입력의 통계적 특성을 반영 가능

한계

• 시냅스 강도가 무한히 증가할 수 있어 제어 기작이 필요
• 억제 메커니즘이 없을 경우 과도한 연결 강화 발생 가능
• 출력 오차를 고려하지 않기 때문에 지도 학습에는 부적합

응용 및 현대 연구

• 초기 인공신경망과 연관된 학습 메커니즘으로 사용되었으며, Hopfield 네트워크 등 기억 기반 모델에서 채택되었다.
• 최근에는 깊은 신경망에서도 헤비안 학습을 적용하려는 시도가 있으며, Hebbian convolutional neural networks 구조도 제안되었다
• 억제 메커니즘과 결합한 inhibitory Hebbian learning 방식도 연구되고 있다

같이 보기

• 대조적 헤비안 학습
• 예측 부호화 신경망
• 에너지 기반 모델
• BCM theory