IT 위키 - 사용자 기여 [ko]

PICACHU (인공지능)

2025-12-10T21:33:07Z

인공무능: 새 문서: '''PICACHU(Plug-In CGRA for Nonlinear Operations in LLMs)'''는 대규모 언어 모델(LLM)에서 반복적으로 등장하는 비선형 연산(Softmax, GELU, LayerNorm, RMSNorm, RoPE 등)을 전용 하드웨어에서 가속하기 위해 고안된 '''플러그인(Plug-In) CGRA(Coarse-Grained Reconfigurable Architecture) 기반 가속기'''이다. PICACHU는 전용 컴파일러, 연산 알고리즘 최적화, 그리고 비선형 연산 전용 재구성 가능 연산 유닛(FU)...

'''PICACHU(Plug-In CGRA for Nonlinear Operations in LLMs)'''는 대규모 언어 모델(LLM)에서 반복적으로 등장하는 비선형 연산(Softmax, GELU, LayerNorm, RMSNorm, RoPE 등)을 전용 하드웨어에서 가속하기 위해 고안된 '''플러그인(Plug-In) CGRA(Coarse-Grained Reconfigurable Architecture) 기반 가속기'''이다. PICACHU는 전용 컴파일러, 연산 알고리즘 최적화, 그리고 비선형 연산 전용 재구성 가능 연산 유닛(FU)을 결합하여 기존 GPU가 병목으로 겪는 비선형 연산을 빠르게 처리하도록 설계되었다.

본 기술은 다음 논문을 기반으로 한다: Qin, Jiajun, et al. "PICACHU: Plug-In CGRA Handling Upcoming Nonlinear Operations in LLMs." (ASPLOS 2025).
==배경: 왜 PICACHU가 필요한가?==
대규모 언어 모델은 대부분의 연산이 행렬곱(GEMM)으로 구성되며, 이는 GPU에서 매우 빠르게 처리된다. 그러나 다음과 같은 '''비선형 함수들은 GPU에서 상대적으로 느리고 병목이 된다'''.
*Softmax
*GELU
*Sigmoid / SiLU
*LayerNorm / RMSNorm
*RoPE (Rotary Positional Embedding)
이 함수들은 다음과 같은 고비용 연산을 포함한다:
*지수(exp)
*로그(log)
*나눗셈(division)
*제곱근 / 역제곱근(sqrt / inverse sqrt)
*삼각함수(sin, cos)
따라서 전체 추론(latency)의 15~30%가 비선형 함수 처리에 소요되는 경우가 발생한다. '''PICACHU는 이러한 병목을 완전히 해결하기 위해 설계된 하드웨어 가속기이다.'''
==PICACHU의 전체 구조==
다음 구성요소로 이루어진다.
===1. Compiler (비선형 연산 탐지 및 오프로딩)===
PICACHU 전용 컴파일러는 LLM 모델 그래프 내에서 다음 패턴들을 자동으로 탐지한다.
*<code>call_cgra_GELU</code>
*<code>call_cgra_SOFTMAX</code>
*<code>call_cgra_LAYERNORM</code>
*<code>call_cgra_RMSNORM</code>
*<code>call_cgra_ROPE</code>
탐지된 비선형 연산은 기존 GPU가 아닌 PICACHU CGRA 쪽으로 오프로딩된다. 컴파일러는 다음 과정을 수행한다.
*패턴 매칭 및 오프로딩
*Loop Transformation (Unroll & Vectorize)
*정밀도 변환(FP / INT)
*CGRA용 제어 신호(Control Signals) 생성
*Tile 분할 및 맵핑(Tune & Map)
===2. Algorithm Layer (수학적 최적화)===
비선형 함수들은 계산 비용을 절감하기 위해 다음과 같은 방식으로 단순화된다.
*Softmax → 근사 exp + sum + division
*GELU → 다항식 근사 또는 x·σ(ax + b) 형태로 변환
*SiLU / Sigmoid → exp 기반 근사
*LayerNorm → mean/variance 계산 + inverse sqrt 근사
*RMSNorm → sqrt 근사
*RoPE → sin/cos 근사 및 LUT 활용
이 구조는 하드웨어에서 빠르게 수행될 수 있도록 함수들을 '''기초 수학 연산(exponential, division, inverse sqrt, trigonometric)'''으로 분해한다.
===3. Architecture (PICACHU CGRA)===
PICACHU의 핵심은 구조적으로 재구성 가능한 연산 어레이(FU Array)이다.

주요 구성 요소:
*Precision-aware Functional Units (FU)
*Shared Buffer
*Streaming Interface
*Local Interconnect Network
*DMA 엔진
*CPU 제어 모듈
CGRA는 특정 비선형 함수에 맞춰 데이터 경로를 재구성하여 최적의 병렬 처리 구조를 만든다.
==LLM의 비선형 연산 분류==
PICACHU는 다음과 같은 함수들을 모두 처리한다.
{| class="wikitable"
!Category!!Nonlinear Operation!!Mathematical Operator!!사용 LLM 예시
|-
|Activation Function||Softmax||exp, division||OPT, TS 등 대부분
|-
|Activation Function||GELU(x), GeLU(U·W + b)||division + exponential||GPT, LLaMA, BLOOM 등
|-
|Activation Function||SwiGLU / SiLU(x)||division + exponential||PaLM, DeepSeek, InternLM
|-
|Activation Function||ReLU(x) = max(x, 0)||maximum||모든 LLM
|-
|Normalization||LayerNorm(x)||inverse square root||GPT, Falcon 등
|-
|Normalization||RMSNorm(x)||square root||LLaMA, Qwen 등
|-
|Positional||RoPE||sine, cosine||GPT-NeoX, LLaMA 등
|}문서의 핵심은 다음과 같다:

'''LLM에서 등장하는 모든 비선형 연산은 결국 "기초적인 수학 연산"들의 조합이며, PICACHU는 이들 연산을 전용 하드웨어에서 가속한다.'''
==PICACHU의 장점==
*비선형 연산의 전용 가속으로 GPU 병목을 제거
*GEMM과 비선형 연산의 파이프라이닝 가능
*FP/INT 정밀도 혼합으로 에너지 효율 증가
*컴파일러가 자동 오프로딩하여 개발자 부담 감소
*기존 시스템(GPU/CPU)에 플러그인 형태로 통합 가능
[[분류:인공지능]]
[[분류:하드웨어]]

테일러 근사

2025-12-10T21:10:15Z

인공무능:

테일러 근사(Taylor approximation, Taylor 다항식)는 어떤 함수 $f(x)$를 그 도함수들을 사용하여 특정한 점 근처에서 다항식으로 근사하는 방법이다.
==개요==
테일러 근사는 복잡하거나 해석적 표현이 어려운 함수를, 함수의 도함수 값을 이용해 단순한 다항식으로 근사함으로써 계산, 해석, 근삿값 추정 등에 유용한 도구이다. 특히 함수가 충분히 매끄럽고 도함수가 존재할 경우, 국소 근사(local approximation)가 가능하다.
==정의 및 표현 ==
함수 $f$가 점 $a$를 중심으로 $n$차까지 도함수가 존재한다면, 그 주변에서의 테일러 $n$차 다항식 $T_n(x)$는 다음과 같이 정의된다:

\[ T_n(x) = f(a) + f'(a)(x-a) + \frac{f<nowiki>''</nowiki>(a)}{2!}(x-a)^2 + \dots + \frac{f^{(n)}(a)}{n!}(x-a)^n \]

즉, \[ T_n(x) = \sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x-a)^k \]

이 다항식은 $x$가 $a$ 근처일수록 $f(x)$에 가까워지는 근사치를 제공한다.
==테일러 정리 (오차항 포함)==
테일러 근사가 얼마나 정확한지 알려주는 것은 오차(잔차, remainder)항의 존재이다. 만약 추가 조건이 만족된다면 함수 $f$는 다음과 같이 표현될 수 있다:

\[ f(x) = T_n(x) + R_n(x) \]

여기서 $R_n(x)$는 오차 항이며, 흔히 다음과 같은 형태로 주어진다.

\[ R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1} \] 단, $c$는 $a$와 $x$ 사이의 어떤 값이다.

이 표현은 중심점 $a$에서의 다항식 근사에 대한 정확도를 추정할 수 있게 해 준다.
==특수한 경우 및 주요 전개==
*중심점을 0으로 한 근사는 특히 중요하며, 이를 매클로린 급수(Maclaurin series)라고 부른다. 즉 $a = 0$일 때의 테일러 전개이다.
*함수가 무한번 미분 가능하고, 적절한 수렴 조건이 만족되면 무한급수 형태로 극한을 취해 함수의 값을 완전히 복원하기도 한다.
*예:
**지수 함수 $e^x$ : $e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots$
**삼각 함수 $\sin x$, $\cos x$ 도 비슷하게 전개 가능
==활용 및 응용==
테일러 근사는 다음과 같은 분야 및 목적에서 널리 사용된다.
* 복잡한 함수에 대해 근삿값을 계산할 때
*수치해석, 컴퓨터 계산에서 함수 값을 근사할 때
*미분방정식, 최적화, 물리모델 등에서 비선형 함수를 선형 또는 다항식으로 근사하여 해를 구할 때
*근사 오차 분석 및 수렴성 연구
===현대적 활용 예시===
최근 인공지능 및 딥러닝 분야에서도 테일러 근사는 효율적 계산을 위한 수단으로 활용되고 있다.

소프트맥스(softmax) 함수는 분류 모델의 출력 확률을 계산할 때 사용되며, 다음과 같이 정의된다:

<nowiki>\[ \text{softmax}(v_i) = \frac{e^{v_i}}{\sum_j e^{v_j}} \]</nowiki>

이때 지수 함수 $e^x$의 계산이 비용이 클 수 있어, 이를 $2^x$ 형태로 변형하고, 테일러 급수로 근사하여 계산을 단순화하는 방법이 사용된다. 예를 들어,

\[ 2^x \approx 1 + x \ln 2 + \frac{(x \ln 2)^2}{2!} \]

와 같은 2차 근사식을 사용하면, 곱셈과 덧셈만으로 근사 지수값을 빠르게 계산할 수 있다. 이러한 방식은 임베디드 시스템, 실시간 추론 등에서 연산 효율을 높이는 데 유용하다.
==제한점과 유의사항==
테일러 근사가 항상 유용한 것은 아니다. 다음과 같은 한계가 있다.
*함수가 충분히 미분 가능해야 한다.
*중심점 $a$에서 멀리 떨어진 $x$에 대해서는 오차가 커질 수 있다.
*무한급수 전개가 반드시 수렴하는 것은 아니다 — 실제로 다수의 함수에서는 테일러 급수가 존재하더라도 수렴 구간이 제한적일 수 있다.
==예시==
예를 들어 함수 $f(x) = \ln(1 + x)$을 $a = 0$에서 세차 다항식으로 근사하면, \[ \ln(1 + x) \approx x - \frac{x^2}{2} + \frac{x^3}{3} \] 이 근사는 $|x| < 1$ 구간 안에서 비교적 정확하다.
==같이 보기==
*[[매클로린 급수]]
*[[테일러 정리]]
*[[급수 전개]]
*[[소프트맥스 함수]]
*[[수치해석]]
==각주==
[[분류:수학]]
[[분류:인공지능]]

테일러 근사

2025-12-10T21:08:52Z

인공무능:

테일러 근사(Taylor approximation, Taylor 다항식)는 어떤 함수 $f(x)$를 그 도함수들을 사용하여 특정한 점 근처에서 다항식으로 근사하는 방법이다.
==개요==
테일러 근사는 복잡하거나 해석적 표현이 어려운 함수를, 함수의 도함수 값을 이용해 단순한 다항식으로 근사함으로써 계산, 해석, 근삿값 추정 등에 유용한 도구이다. 특히 함수가 충분히 매끄럽고 도함수가 존재할 경우, 국소 근사(local approximation)가 가능하다.
==정의 및 표현 ==
함수 $f$가 점 $a$를 중심으로 $n$차까지 도함수가 존재한다면, 그 주변에서의 테일러 $n$차 다항식 $T_n(x)$는 다음과 같이 정의된다:

\[ T_n(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \dots + \frac{f^{(n)}(a)}{n!}(x-a)^n'' \]

즉, \[ T_n(x) = \sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x-a)^k \]

이 다항식은 $x$가 $a$ 근처일수록 $f(x)$에 가까워지는 근사치를 제공한다.
==테일러 정리 (오차항 포함)==
테일러 근사가 얼마나 정확한지 알려주는 것은 오차(잔차, remainder)항의 존재이다. 만약 추가 조건이 만족된다면 함수 $f$는 다음과 같이 표현될 수 있다:

\[ f(x) = T_n(x) + R_n(x) \]

여기서 $R_n(x)$는 오차 항이며, 흔히 다음과 같은 형태로 주어진다.

\[ R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1} \] 단, $c$는 $a$와 $x$ 사이의 어떤 값이다.

이 표현은 중심점 $a$에서의 다항식 근사에 대한 정확도를 추정할 수 있게 해 준다.
==특수한 경우 및 주요 전개==
*중심점을 0으로 한 근사는 특히 중요하며, 이를 매클로린 급수(Maclaurin series)라고 부른다. 즉 $a = 0$일 때의 테일러 전개이다.
*함수가 무한번 미분 가능하고, 적절한 수렴 조건이 만족되면 무한급수 형태로 극한을 취해 함수의 값을 완전히 복원하기도 한다.
*예:
**지수 함수 $e^x$ : $e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots$
**삼각 함수 $\sin x$, $\cos x$ 도 비슷하게 전개 가능
==활용 및 응용==
테일러 근사는 다음과 같은 분야 및 목적에서 널리 사용된다.
* 복잡한 함수에 대해 근삿값을 계산할 때
*수치해석, 컴퓨터 계산에서 함수 값을 근사할 때
*미분방정식, 최적화, 물리모델 등에서 비선형 함수를 선형 또는 다항식으로 근사하여 해를 구할 때
*근사 오차 분석 및 수렴성 연구
===현대적 활용 예시===
최근 인공지능 및 딥러닝 분야에서도 테일러 근사는 효율적 계산을 위한 수단으로 활용되고 있다.

소프트맥스(softmax) 함수는 분류 모델의 출력 확률을 계산할 때 사용되며, 다음과 같이 정의된다:

<nowiki>\[ \text{softmax}(v_i) = \frac{e^{v_i}}{\sum_j e^{v_j}} \]</nowiki>

이때 지수 함수 $e^x$의 계산이 비용이 클 수 있어, 이를 $2^x$ 형태로 변형하고, 테일러 급수로 근사하여 계산을 단순화하는 방법이 사용된다. 예를 들어,

\[ 2^x \approx 1 + x \ln 2 + \frac{(x \ln 2)^2}{2!} \]

와 같은 2차 근사식을 사용하면, 곱셈과 덧셈만으로 근사 지수값을 빠르게 계산할 수 있다. 이러한 방식은 임베디드 시스템, 실시간 추론 등에서 연산 효율을 높이는 데 유용하다.
==제한점과 유의사항==
테일러 근사가 항상 유용한 것은 아니다. 다음과 같은 한계가 있다.
*함수가 충분히 미분 가능해야 한다.
*중심점 $a$에서 멀리 떨어진 $x$에 대해서는 오차가 커질 수 있다.
*무한급수 전개가 반드시 수렴하는 것은 아니다 — 실제로 다수의 함수에서는 테일러 급수가 존재하더라도 수렴 구간이 제한적일 수 있다.
==예시==
예를 들어 함수 $f(x) = \ln(1 + x)$을 $a = 0$에서 세차 다항식으로 근사하면, \[ \ln(1 + x) \approx x - \frac{x^2}{2} + \frac{x^3}{3} \] 이 근사는 $|x| < 1$ 구간 안에서 비교적 정확하다.
==같이 보기==
*[[매클로린 급수]]
*[[테일러 정리]]
*[[급수 전개]]
*[[소프트맥스 함수]]
*[[수치해석]]
==각주==
[[분류:수학]]
[[분류:인공지능]]

테일러 근사

2025-12-10T21:01:30Z

인공무능: 새 문서: 테일러 근사(Taylor approximation, Taylor 다항식)는 어떤 함수 $f(x)$를 그 도함수들을 사용하여 특정한 점 근처에서 다항식으로 근사하는 방법이다. ==개요== 테일러 근사는 복잡하거나 해석적 표현이 어려운 함수를, 함수의 도함수 값을 이용해 단순한 다항식으로 근사함으로써 계산, 해석, 근삿값 추정 등에 유용한 도구이다. 특히 함수가 충분히 매끄럽고 도함수가 존재...

테일러 근사(Taylor approximation, Taylor 다항식)는 어떤 함수 $f(x)$를 그 도함수들을 사용하여 특정한 점 근처에서 다항식으로 근사하는 방법이다.
==개요==
테일러 근사는 복잡하거나 해석적 표현이 어려운 함수를, 함수의 도함수 값을 이용해 단순한 다항식으로 근사함으로써 계산, 해석, 근삿값 추정 등에 유용한 도구이다. 특히 함수가 충분히 매끄럽고 도함수가 존재할 경우, 국소 근사(local approximation)가 가능하다.
==정의 및 표현==
함수 $f$가 점 $a$를 중심으로 $n$차까지 도함수가 존재한다면, 그 주변에서의 테일러 $n$차 다항식 $T_n(x)$는 다음과 같이 정의된다:

$T_n(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \dots + \frac{f^{(n)}(a)}{n!}(x-a)^n$ ''

즉, \[ T_n(x) = \sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x-a)^k \]

이 다항식은 $x$가 $a$ 근처일수록 $f(x)$에 가까워지는 근사치를 제공한다.
==테일러 정리 (오차항 포함)==
테일러 근사가 얼마나 정확한지 알려주는 것은 오차(잔차, remainder)항의 존재이다. 만약 추가 조건이 만족된다면 함수 $f$는 다음과 같이 표현될 수 있다:

$f(x) = T_n(x) + R_n(x)$

여기서 $R_n(x)$는 오차 항이며, 흔히 다음과 같은 형태로 주어진다.

$\displaystyle R_n(x) = \frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1}$ — 단, $c$는 $a$와 $x$ 사이 어딘가이다.

이 표현은 중심점 $a$에서의 다항식 근사에 대한 정확도를 추정할 수 있게 해 준다.
==특수한 경우 및 주요 전개==
*중심점을 0으로 한 근사는 특히 중요하며, 이를 매클로린 급수(Maclaurin series)라고 부른다. 즉 $a = 0$일 때의 테일러 전개이다.
*함수가 무한번 미분 가능하고, 적절한 수렴 조건이 만족되면 무한급수 형태로 극한을 취해 함수의 값을 완전히 복원하기도 한다.
*예:
**지수 함수 $e^x$ : $e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots$
**삼각 함수 $\sin x$, $\cos x$ 도 비슷하게 전개 가능
==활용 및 응용==
테일러 근사는 다음과 같은 분야 및 목적에서 널리 사용된다.
*복잡한 함수에 대해 근삿값을 계산할 때
*수치해석, 컴퓨터 계산에서 함수 값을 근사할 때
*미분방정식, 최적화, 물리모델 등에서 비선형 함수를 선형 또는 다항식으로 근사하여 해를 구할 때
*근사 오차 분석 및 수렴성 연구
==제한점과 유의사항==
테일러 근사가 항상 유용한 것은 아니다. 다음과 같은 한계가 있다.
*함수가 충분히 미분 가능해야 한다.
*중심점 $a$에서 멀리 떨어진 $x$에 대해서는 오차가 커질 수 있다.
*무한급수 전개가 반드시 수렴하는 것은 아니다 — 실제로 다수의 함수에서는 테일러 급수가 존재하더라도 수렴 구간이 제한적일 수 있다.
==예시==
예를 들어 함수 $f(x) = \ln(1 + x)$을 $a = 0$에서 세차 다항식으로 근사하면, \[ \ln(1 + x) \approx x - \tfrac{x^2}{2} + \tfrac{x^3}{3} \] 이 근사는 $|x| < 1$ 구간 안에서 비교적 정확하다.
==같이 보기==
*[[매클로린 급수]]
*[[테일러 정리]]
*[[급수 전개]]
*[[수치해석]]
*[[미분법]]
==각주==
[[분류:수학]]
[[분류:인공지능]]

시스톨릭 배열

2025-12-03T20:32:23Z

인공무능: 새 문서: 시스톨릭 아키텍처 시스톨릭 배열(Systolic Array)은 다수의 연산 유닛을 규칙적인 격자 형태로 배치하고, 데이터가 유닛 사이를 흐르듯 전달되면서 연산이 이루어지는 병렬 하드웨어 구조이다. 특히 행렬 곱셈과 같은 대규모 MAC(Multiply-Accumulate) 연산이 필요한 딥러닝 계산에 널리 사용된다. ==개요== 시스톨릭 배열(systolic array)은...

[[파일:시스톨릭 아키텍처.png|섬네일|시스톨릭 아키텍처]]
시스톨릭 배열(Systolic Array)은 다수의 연산 유닛을 규칙적인 격자 형태로 배치하고, 데이터가 유닛 사이를 흐르듯 전달되면서 연산이 이루어지는 병렬 하드웨어 구조이다. 특히 행렬 곱셈과 같은 대규모 MAC(Multiply-Accumulate) 연산이 필요한 딥러닝 계산에 널리 사용된다.

==개요==
시스톨릭 배열(systolic array)은 동일한 구조의 연산 셀을 1차원 또는 2차원 격자로 구성하고, 데이터가 일정한 방향으로 이동하면서 각 셀이 입력을 받아 연산을 수행하는 방식의 아키텍처이다. "Systolic"이라는 용어는 데이터가 심장의 수축(systole)처럼 리듬 있게 이동하는 특성에서 유래하였다.
==특징==
*'''높은 병렬성''': 많은 MAC 유닛이 동시에 연산을 수행한다.
*'''데이터 재사용 최적화''': weight와 activation을 칩 내부에서 전달하며 재사용한다.
*'''단순한 하드웨어 구조''': 규칙적 배열이므로 설계와 배치가 쉽다.
*'''파이프라인 처리''': 데이터가 흐르는 즉시 연산이 이루어져 처리율이 높다.
==구조==
시스톨릭 배열은 일반적으로 다음 요소로 구성된다:
*'''시스톨릭 셀(Systolic Cell)''': weight를 저장하고, 입력 데이터를 이용해 z = w·x + y 형태의 MAC 연산을 수행한다.
*'''데이터 흐름(Dataflow)''': 입력 x는 한 방향으로, partial sum y는 다른 방향으로 전달된다.
*'''2D 격자 구성''': 여러 셀을 2D 배열로 배치해 행렬 곱 전체를 병렬로 계산한다.
==동작 방식==
행렬 곱셈 C = A × B를 계산할 때:
*A의 행(row)은 한 방향으로, B의 열(column)은 다른 방향으로 배열 내부를 통과한다.
*각 셀은 A[i,k]와 B[k,j]를 곱해 partial sum을 누적하여 C[i,j]를 점차 완성한다.
*최종 결과는 배열의 특정 경로를 통해 출력된다.
==변형 (Dataflow 종류)==
데이터 재사용 전략에 따라 여러 종류의 dataflow를 사용할 수 있다.
*'''Weight Stationary''': weight를 셀 내부에 고정하고 activation을 이동시킨다.
*'''Output Stationary''': partial sum이 셀 내부에 머물고 입력이 이동한다.
*'''Input Stationary''': 입력 activation이 고정되고 weight가 이동한다.
==응용 분야==
시스톨릭 배열 또는 그 변형 구조는 다양한 가속기에서 사용된다:
*Google TPU
*NPU(Neural Processing Unit) 기반 모바일/엣지 칩
*Apple Neural Engine(ANE)
*Habana Gaudi / Intel NNP
*Graphcore IPU
*삼성/퀄컴 SoC의 딥러닝 가속기
*FPGA 기반 CNN/Transformer 가속기
==장점==
*외부 메모리 접근 감소 → 에너지 효율 향상
*고정된 데이터 흐름 → 파이프라이닝 용이
*대규모 병렬 처리로 높은 처리량 확보
==단점==
*연산 패턴이 고정적이라 범용 GPU보다 유연성이 낮음
*데이터 흐름이 규칙적이지 않은 연산에는 부적합
==같이 보기==
*딥러닝 가속기
*행렬 곱셈
*[[곱셈-누산 연산|MAC(Multiply-Accumulate)]]
==참고 문헌==
[[분류:하드웨어]]
[[분류:인공지능]]
[[분류:딥 러닝]]

파일:시스톨릭 아키텍처.png

2025-12-03T20:30:55Z

인공무능:

출처: https://www.researchgate.net/figure/Systolic-Array-Architecture-for-CNN_fig1_317574806

Straight-Through Estimator

2025-11-26T22:06:27Z

인공무능:

'''스트레이트스루 추정기'''(Straight-Through Estimator, '''STE''')는 딥러닝에서 미분이 불가능하거나 불연속적인 연산(sign, round, 이산 샘플링 등)을 역전파로 학습 가능하게 만드는 근사 그라디언트(surrogate gradient) 기법이다.
==개요==
다음과 같은 연산들은 미분이 불가능하거나, 거의 모든 지점에서 기울기가 0에 가깝다.
*sign 함수
*round 함수
*이진 게이트(0 또는 1)
*argmax 및 이산 샘플링
STE의 핵심 아이디어는 다음과 같다.
*순전파: 원래의 비분리 함수 f(x)를 그대로 사용한다.
*역전파: f(x)의 실제 미분 대신, 연속적인 근사 함수 g(x)의 미분을 사용한다.
즉, 학습 시에는 다음과 같이 근사한다.
*Forward: y = f(x)
*Backward: dL/dx ≈ dL/dy × (dg(x)/dx)
==수학적 정의==
비연속 함수 f(x)에 대해 Straight-Through Estimator는 다음과 같이 정의된다.
*Forward: y = f(x)
*Backward: dL/dx ≈ (dL/dy) × (dg(x)/dx)
여기서 g(x)는 f(x)를 매끄럽게 근사하는 연속 함수이며, 매우 단순한 형태를 사용하기도 한다.
===예: 기본 sign 함수 STE===
*Forward: y = sign(x)
*Backward(기본형): dL/dx ≈ dL/dy
**sign 연산을 무시하고 그라디언트를 그대로 통과시키는 방식이다.
===Clipped STE===
기본 STE는 모든 구간에서 그라디언트를 통과시켜 불안정할 수 있다. 일반적인 clipped 형태는 다음과 같다.
*Backward:
\[ \frac{dL}{dx} = \begin{cases} \frac{dL}{dy}, & \text{if } |x| \le 1, \\ 0, & \text{otherwise}. \end{cases} \]

===Hard-sigmoid 기반 STE===
이산 게이팅에서 hard-sigmoid나 clipped linear 같은 단순 근사 함수를 사용하여 안정적인 그라디언트를 제공하는 변형도 존재한다.
==활용 분야==
*이진 신경망(Binary Neural Networks, BNN)
** 가중치/활성을 -1 또는 +1로 제한하므로 STE가 필수적
* 양자화 신경망(Quantized Neural Networks)
**8비트 이하 또는 비선형 양자화 함수를 위한 역전파 근사
*선택적 활성화(selective projection)
**스파스 게이팅, 동적 라우팅 등
*Mixture-of-Experts의 이산 expert 선택
*샘플링 기반 확률적 유닛(stochastic neuron)
==장점==
*미분 불가능한 연산을 사용해도 역전파 기반 학습이 가능하다.
*구현이 단순하며 기존 프레임워크(PyTorch, TensorFlow 등)에 쉽게 통합된다.
*BNN/양자화 모델 등에서 사실상의 표준이다.
== 한계==
*실제 미분이 아닌, 편향된(biased) 근사값을 사용한다.
*g(x)의 선택에 따라 학습 안정성·성능이 크게 달라진다.
*이론적 최적성 보장은 부족하다.
==관련 개념==
*역전파
*경사하강법
*이진 신경망
*양자화
*Surrogate Gradient
* Gumbel-Softmax

Straight-Through Estimator

2025-11-26T22:02:34Z

인공무능:

'''스트레이트스루 추정기'''(Straight-Through Estimator, '''STE''')는 딥러닝에서 미분이 불가능하거나 불연속적인 연산(sign, round, 이산 샘플링 등)을 역전파로 학습 가능하게 만드는 근사 그라디언트(surrogate gradient) 기법이다.
==개요==
다음과 같은 연산들은 미분이 불가능하거나, 거의 모든 지점에서 기울기가 0에 가깝다.
*sign 함수
*round 함수
*이진 게이트(0 또는 1)
*argmax 및 이산 샘플링
STE의 핵심 아이디어는 다음과 같다.
*순전파: 원래의 비분리 함수 f(x)를 그대로 사용한다.
*역전파: f(x)의 실제 미분 대신, 연속적인 근사 함수 g(x)의 미분을 사용한다.
즉, 학습 시에는 다음과 같이 근사한다.
*Forward: y = f(x)
*Backward: dL/dx ≈ dL/dy × (dg(x)/dx)
==수학적 정의==
비연속 함수 f(x)에 대해 Straight-Through Estimator는 다음과 같이 정의된다.
*Forward: y = f(x)
*Backward: dL/dx ≈ (dL/dy) × (dg(x)/dx)
여기서 g(x)는 f(x)를 매끄럽게 근사하는 연속 함수이며, 매우 단순한 형태를 사용하기도 한다.
===예: 기본 sign 함수 STE===
*Forward: y = sign(x)
*Backward(기본형): dL/dx ≈ dL/dy
**sign 연산을 무시하고 그라디언트를 그대로 통과시키는 방식이다.
===Clipped STE===
기본 STE는 모든 구간에서 그라디언트를 통과시켜 불안정할 수 있다. 일반적인 clipped 형태는 다음과 같다.
*Backward:
$\displaystyle \frac{dL}{dx} \approx \frac{dL}{dy} \cdot \mathbf{1}(|x| \le 1)$

===Hard-sigmoid 기반 STE===
이산 게이팅에서 hard-sigmoid나 clipped linear 같은 단순 근사 함수를 사용하여 안정적인 그라디언트를 제공하는 변형도 존재한다.
==활용 분야==
*이진 신경망(Binary Neural Networks, BNN)
** 가중치/활성을 -1 또는 +1로 제한하므로 STE가 필수적
* 양자화 신경망(Quantized Neural Networks)
**8비트 이하 또는 비선형 양자화 함수를 위한 역전파 근사
*선택적 활성화(selective projection)
**스파스 게이팅, 동적 라우팅 등
*Mixture-of-Experts의 이산 expert 선택
*샘플링 기반 확률적 유닛(stochastic neuron)
==장점==
*미분 불가능한 연산을 사용해도 역전파 기반 학습이 가능하다.
*구현이 단순하며 기존 프레임워크(PyTorch, TensorFlow 등)에 쉽게 통합된다.
*BNN/양자화 모델 등에서 사실상의 표준이다.
== 한계==
*실제 미분이 아닌, 편향된(biased) 근사값을 사용한다.
*g(x)의 선택에 따라 학습 안정성·성능이 크게 달라진다.
*이론적 최적성 보장은 부족하다.
==관련 개념==
*역전파
*경사하강법
*이진 신경망
*양자화
*Surrogate Gradient
* Gumbel-Softmax

Straight-Through Estimator

2025-11-26T22:00:36Z

인공무능:

'''스트레이트스루 추정기'''(Straight-Through Estimator, '''STE''')는 딥러닝에서 미분 불가능하거나 불연속적인 연산(예: $\mathrm{sign}(x)$, \mathrm{round}(x), 이산 샘플링 등)을 역전파로 학습할 수 있도록 하기 위해 사용되는 근사 그라디언트(surrogate gradient) 기법이다.
==개요==
딥러닝 학습에서 다음과 같은 연산은 미분이 불가능하거나 거의 모든 지점에서 미분값이 0이다.
*$\mathrm{sign}(x)$
*$\mathrm{round}(x)$
*이진 게이트(0 또는 1로 선택)
*$\arg\max$ 및 이산 샘플링
Straight-Through Estimator는 다음 아이디어에 기반한다.
*순전파(Forward): 원래의 이산 또는 비분리 함수 $f(x)$를 그대로 사용한다.
*역전파(Backward): 실제 $f(x)$의 미분 대신, 연속적인 근사 함수 $g(x)$의 미분을 사용한다.
즉,
*$y = f(x)$
*$\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \frac{dg(x)}{dx}$
이라는 방식으로, 실제로는 미분 불가능한 연산을 사용하더라도 경사하강법으로 학습이 가능해진다.
==수학적 정의==
비분리 함수 $f(x)$가 있을 때, STE는 다음과 같이 정의된다.
*Forward: $y = f(x)$
*Backward: $\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \frac{dg(x)}{dx}$
**여기서 $g(x)$는 $f(x)$를 대체하는 연속 함수이며, 보통 매우 단순한 형태를 사용한다.
===예: 기본 sign 함수 STE===
*Forward: $y = \mathrm{sign}(x)$
*Backward (기본 STE): $\frac{dL}{dx} \approx \frac{dL}{dy}$
** sign 연산을 무시하고 그라디언트를 그대로 통과(straight-through)시키는 방식
===Clipped STE===
기본형은 그라디언트를 무제한 통과시키므로 폭주가 발생할 수 있어, 일부 구간에서만 그라디언트를 허용하는 변형이 존재한다.
*$\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \mathbf{1}(|x| \le 1)$
===Hard-sigmoid 기반 STE===
이진 게이팅에서 hard-sigmoid나 clipped linear 같은 간단한 연속 함수의 미분을 사용하여 안정적인 근사 그라디언트를 만든다.
==활용 분야==
Straight-Through Estimator는 다양한 딥러닝 분야에서 핵심적으로 사용된다.
*이진 신경망(Binary Neural Networks, BNN)
**가중치와 활성값을 $\{-1, +1\}$로 제한하기 때문에 STE가 필수
*양자화 신경망(Quantized Neural Networks)
**8비트 이하 또는 비선형 양자화 함수의 역전파 근사
*선택적 활성화(selective projection) 및 스파스 게이팅
**Mixture-of-Experts, 라우팅, 동적 게이트 학습
*확률적 유닛(stochastic neuron)
**이산 샘플링 연산을 위한 surrogate gradient
*일부 강화학습 정책 네트워크 구조
==장점==
*미분 불가능한 연산을 포함해도 역전파 기반 학습이 가능하다.
*구현이 매우 단순하다.
*BNN/양자화 모델 등에서 사실상의 표준 기법이다.
==한계==
*실제 미분이 아닌, 편향된(biased) 근사 그라디언트를 사용한다.
*근사 방식(g(x)의 선택)에 따라 학습 안정성과 성능이 크게 달라진다.
*이론적 최적성이나 수렴 보장 측면에서 제한이 있다.
==관련 개념==
*역전파
*경사하강법
*이진 신경망
*양자화
*서러게이트 그라디언트(surrogate gradient)
*Gumbel-Softmax
==참고 문헌==
*Yoshua Bengio, Nicolas Léonard, Aaron Courville, "Estimating or Propagating Gradients Through Stochastic Neurons", 2013.
*Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David, "BinaryConnect", 2015.

Straight-Through Estimator

2025-11-26T22:00:11Z

인공무능: 새 문서: '''스트레이트스루 추정기'''(Straight-Through Estimator, '''STE''')는 딥러닝에서 미분 불가능하거나 불연속적인 연산(예: $\mathrm{sign}(x)$, $\mathrm{round}(x)$, 이산 샘플링 등)을 역전파로 학습할 수 있도록 하기 위해 사용되는 근사 그라디언트(surrogate gradient) 기법이다. ==개요== 딥러닝 학습에서 다음과 같은 연산은 미분이 불가능하거나 거의 모든 지점에서 미분값이 0이다. *$\math...

'''스트레이트스루 추정기'''(Straight-Through Estimator, '''STE''')는 딥러닝에서 미분 불가능하거나 불연속적인 연산(예: $\mathrm{sign}(x)$, $\mathrm{round}(x)$, 이산 샘플링 등)을 역전파로 학습할 수 있도록 하기 위해 사용되는 근사 그라디언트(surrogate gradient) 기법이다.
==개요==
딥러닝 학습에서 다음과 같은 연산은 미분이 불가능하거나 거의 모든 지점에서 미분값이 0이다.
*$\mathrm{sign}(x)$
*$\mathrm{round}(x)$
*이진 게이트(0 또는 1로 선택)
*$\arg\max$ 및 이산 샘플링
Straight-Through Estimator는 다음 아이디어에 기반한다.
*순전파(Forward): 원래의 이산 또는 비분리 함수 $f(x)$를 그대로 사용한다.
*역전파(Backward): 실제 $f(x)$의 미분 대신, 연속적인 근사 함수 $g(x)$의 미분을 사용한다.
즉,
*$y = f(x)$
*$\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \frac{dg(x)}{dx}$
이라는 방식으로, 실제로는 미분 불가능한 연산을 사용하더라도 경사하강법으로 학습이 가능해진다.
==수학적 정의==
비분리 함수 $f(x)$가 있을 때, STE는 다음과 같이 정의된다.
*Forward: $y = f(x)$
*Backward: $\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \frac{dg(x)}{dx}$
**여기서 $g(x)$는 $f(x)$를 대체하는 연속 함수이며, 보통 매우 단순한 형태를 사용한다.
===예: 기본 sign 함수 STE===
*Forward: $y = \mathrm{sign}(x)$
*Backward (기본 STE): $\frac{dL}{dx} \approx \frac{dL}{dy}$
** sign 연산을 무시하고 그라디언트를 그대로 통과(straight-through)시키는 방식
===Clipped STE===
기본형은 그라디언트를 무제한 통과시키므로 폭주가 발생할 수 있어, 일부 구간에서만 그라디언트를 허용하는 변형이 존재한다.
*$\frac{dL}{dx} \approx \frac{dL}{dy} \cdot \mathbf{1}(|x| \le 1)$
===Hard-sigmoid 기반 STE===
이진 게이팅에서 hard-sigmoid나 clipped linear 같은 간단한 연속 함수의 미분을 사용하여 안정적인 근사 그라디언트를 만든다.
==활용 분야==
Straight-Through Estimator는 다양한 딥러닝 분야에서 핵심적으로 사용된다.
*이진 신경망(Binary Neural Networks, BNN)
**가중치와 활성값을 $\{-1, +1\}$로 제한하기 때문에 STE가 필수
*양자화 신경망(Quantized Neural Networks)
**8비트 이하 또는 비선형 양자화 함수의 역전파 근사
*선택적 활성화(selective projection) 및 스파스 게이팅
**Mixture-of-Experts, 라우팅, 동적 게이트 학습
*확률적 유닛(stochastic neuron)
**이산 샘플링 연산을 위한 surrogate gradient
*일부 강화학습 정책 네트워크 구조
==장점==
*미분 불가능한 연산을 포함해도 역전파 기반 학습이 가능하다.
*구현이 매우 단순하다.
*BNN/양자화 모델 등에서 사실상의 표준 기법이다.
==한계==
*실제 미분이 아닌, 편향된(biased) 근사 그라디언트를 사용한다.
*근사 방식(g(x)의 선택)에 따라 학습 안정성과 성능이 크게 달라진다.
*이론적 최적성이나 수렴 보장 측면에서 제한이 있다.
==관련 개념==
*역전파
*경사하강법
*이진 신경망
*양자화
*서러게이트 그라디언트(surrogate gradient)
*Gumbel-Softmax
==참고 문헌==
*Yoshua Bengio, Nicolas Léonard, Aaron Courville, "Estimating or Propagating Gradients Through Stochastic Neurons", 2013.
*Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David, "BinaryConnect", 2015.

딥 러닝 프레임워크

2025-11-19T23:58:03Z

인공무능:

'''딥 러닝 프레임워크(Deep Learning Frameworks)'''는 인공 신경망 모델을 정의하고 학습하며 배포하기 위한 소프트웨어 도구와 라이브러리의 집합이다. 이러한 프레임워크는 자동 미분(autograd), 텐서 연산, GPU 가속, 모델 구조화, 데이터 파이프라인 구성 등 복잡한 과정을 추상화하여 연구자와 개발자가 효율적으로 딥러닝 모델을 개발할 수 있도록 돕는다.
==개요==
딥러닝 프레임워크는 수학적 연산을 텐서 기반의 API로 제공하며, 학습 시 필요한 역전파(backpropagation), 옵티마이저, 손실 함수 등을 포함한다. 최근에는 컴파일러 기술, 그래프 최적화, 하드웨어 가속기 지원 등이 결합되면서 고성능 모델 학습 및 추론 환경을 제공한다.
==실행 방식에 따른 분류==
===그래프 모드(Graph Mode)===
그래프 모드는 정적 계산 그래프(static computation graph)를 먼저 정의한 뒤, 전체 그래프를 실행하는 방식이다.
;특징
*모델 구조를 먼저 그래프로 컴파일한 뒤 실행
*최적화 및 배포에 유리
*그래프 기반 분석 및 최적화 가능
*디버깅은 상대적으로 어려울 수 있음
;대표 프레임워크
*'''[[텐서플로|TensorFlow]]''' (초기 버전)
*'''Theano'''
*'''Caffe'''
===이거 모드(Eager Mode)===
이거 모드는 파이썬 코드가 실행되는 즉시 연산이 수행되는 동적 동작 방식이다.
;특징
*직관적인 파이썬 스타일 코드 작성
*실행 즉시 결과가 나오므로 디버깅 용이
*학습 개발 속도가 빠름
*최근에는 그래프 변환 및 컴파일 기능(TorchDynamo 등)으로 성능을 보완
;대표 프레임워크
*'''[[파이토치|PyTorch]]'''
*'''Chainer'''
==주요 딥러닝 프레임워크 목록==
===PyTorch===
페이스북 AI Research(FAIR)에서 개발한 딥러닝 프레임워크로, 동적 그래프 기반 구조와 쉬운 디버깅이 장점이다. 연구자들에게 특히 인기가 높으며, PyTorch 2.0부터는 TorchDynamo, TorchInductor 등을 통한 컴파일 기능이 강화되었다.
===TensorFlow===
Google Brain에서 개발한 프레임워크로, 초기에는 정적 그래프 기반이었으나 TensorFlow 2.x에서 eager execution을 기본으로 채택하였다. 모바일 및 배포 생태계(TF Lite, TF Serving)가 잘 갖춰져 있다.
===Theano===
Python 기반 정적 그래프 프레임워크의 선구자로, 많은 현대 프레임워크의 기반 아이디어를 제공했다. 현재는 공식 개발이 종료되었다.
===Caffe===
이미지 처리에 특화된 초기 딥러닝 프레임워크로, 속도가 빠르고 모델 정의가 간결하지만 확장성은 제한적이다.
===Chainer===
Define-by-run 패러다임을 처음으로 제시한 동적 그래프 기반 프레임워크. PyTorch에 많은 영향을 주었으며 현재는 개발이 종료되었다.
==ML 소프트웨어–컴파일러 스택==
딥러닝 프레임워크는 하위 레벨의 컴파일러 및 하드웨어 가속기 기술과 결합하여 전체 ML 스택을 구성한다.
===ML Framework Layer===
모델을 정의하고 학습하는 고수준 인터페이스 계층 예: PyTorch, TensorFlow, Chainer, Caffe, Theano
===IR & 그래프 최적화 계층===
모델을 분석 가능한 중간 표현(IR)으로 변환하여 최적화 예: TorchDynamo, Torch FX, ONNX
===ML 컴파일러 / 코드 생성 계층===
그래프 최적화 결과를 기반으로 특정 하드웨어에 맞는 커널 코드를 생성 예: TVM, [[Triton (인공지능)|Triton]], ONNX Runtime
===커널 라이브러리 계층===
행렬 연산 등 고성능 수학 연산이 구현된 저수준 라이브러리 예: [[cuDNN]], [[cuBLAS]], CUTLASS
===하드웨어 백엔드===
코드를 실제로 실행하는 물리적 장치 예: CPU, [[GPU]], [[구글 TPU|TPU]], 기타 [[AI 가속기]]
==함께 보기==
*[[머신 러닝]]
*[[딥 러닝]]
*[[신경망]]
*[[GPU]]
*[[ONNX]]
==참고==
*PyTorch 공식 문서
*TensorFlow 공식 문서
*ONNX 기술 자료
[[분류:인공지능]]

자동 미분

2025-11-19T21:04:01Z

인공무능: 새 문서: '''자동 미분'''(Automatic Differentiation, AD)은 함수의 기울기(도함수)를 연산 그래프를 기반으로 자동으로 계산하는 기술이다. 심볼릭 미분(symbolic differentiation)이나 수치 미분(numerical differentiation)과 달리, 자동 미분은 기계 오차를 최소화하면서 정확한 기울기를 효율적으로 계산할 수 있어 딥러닝과 최적화 알고리즘의 핵심 기술로 사용된다. ==개요== 자동 미분은 함수...

'''자동 미분'''(Automatic Differentiation, AD)은 함수의 기울기(도함수)를 연산 그래프를 기반으로 자동으로 계산하는 기술이다. 심볼릭 미분(symbolic differentiation)이나 수치 미분(numerical differentiation)과 달리, 자동 미분은 기계 오차를 최소화하면서 정확한 기울기를 효율적으로 계산할 수 있어 딥러닝과 최적화 알고리즘의 핵심 기술로 사용된다.

==개요==
자동 미분은 함수의 구성 요소(덧셈, 곱셈, 행렬 연산 등)에 대해 미분 규칙을 알고 있기 때문에, 프로그래머는 단지 함수를 정의하기만 하면 프레임워크가 역전파(backpropagation)를 통해 기울기를 자동 계산한다.

예: PyTorch, TensorFlow, JAX는 모두 자동 미분 엔진을 핵심으로 갖는다.
==자동 미분의 종류==
자동 미분은 크게 다음 두 가지 방식으로 나뉜다.
===Forward Mode AD===
입력 변수에서 출발하여 출력까지 미분 값을 전달하는 방식.

특징:
*입력 개수가 적고 출력 개수가 많은 함수에 적합
*계산 흐름이 단순함
*JAX의 `jax.jvp`, `jax.forward_ad` 등이 사용
예: f: ℝ → ℝⁿ 형태에서 효율적
===Reverse Mode AD (역전파, Backpropagation)===
출력에서부터 역방향으로 기울기를 계산하는 방식.

특징:
*출력이 스칼라(예: 손실 값)이고 입력 차원이 큰 함수에 최고 효율
*신경망 학습의 표준 기법
*PyTorch, TensorFlow, JAX 등 딥러닝 프레임워크 대부분이 사용
예: 신경망과 같이 파라미터 수가 매우 많을 때 가장 효율적

→ 딥러닝에서 사용하는 backpropagation은 사실상 Reverse Mode AD의 특수한 형태이다.
==자동 미분의 원리==
자동 미분은 보통 다음처럼 동작한다:
#연산을 **그래프(Computation Graph)** 로 기록
#각 노드(연산)의 미분 규칙을 알고 있으므로
#Chain rule(연쇄 법칙)을 이용해 전체 미분을 계산
예시 연산:<syntaxhighlight lang="text">
y = x*2 + x*3
dy/dx = (2 + 3) = 5
</syntaxhighlight>프레임워크는 사용자가 직접 미분 규칙을 쓸 필요 없이 내부적으로 규칙을 조합해 기울기를 계산한다.
==수치 미분 및 심볼릭 미분과의 비교==
{| class="wikitable"
!방식
!설명
!장점
!단점
|-
|수치 미분 (Finite Differences)
|h를 이용한 근사 차분
|구현 쉬움
|오차 큼, 비용 비쌈
|-
|심볼릭 미분
|함수식을 기호적 조작
|정확한 표현식
|표현식 폭발, 복잡함
|-
|자동 미분
|그래프 기반 미분
|정확 + 빠름
|심볼릭보다 엄밀하진 않음 (추상적)
|}
==주요 프레임워크의 자동 미분==
===PyTorch (Autograd)===
*동적 그래프 기반
*연산 수행 시 그래프를 기록
*`.backward()` 호출 시 기울기 계산
*Eager execution이 직관적
===TensorFlow (GradientTape)===
*2.x에서 eager + 자동 그래프 변환
*`tf.GradientTape()`로 연산 추적
===JAX (Autograd + XLA)===
*순수 함수 기반
*`jax.grad` 로 함수의 미분 생성
*JIT + XLA 최적화로 매우 빠른 성능
*Forward/Reverse/Vector-Jacobian 등 다양한 모드 지원
JAX는 AD가 프레임워크 핵심이자 철학이며, 성능 최적화가 매우 뛰어나다.
==딥러닝에서의 자동 미분==
딥러닝 학습 과정은 다음과 같이 자동 미분을 필수로 사용한다:
#손실 함수 L(θ) 계산
#파라미터 θ에 대한 ∂L/∂θ 계산 (역전파)
#옵티마이저(Adam, SGD 등)로 θ 업데이트
이 기울기 계산 과정 전체가 자동 미분 엔진에 의해 수행된다.
==Jacobian, Hessian 등 고차 미분==
자동 미분은 1차 미분뿐 아니라 Jacobian, Hessian 같은 고차 미분도 계산할 수 있다.

대표적 예:
*Hessian-vector product (HVP)
*Jacobian-vector product (JVP)
*JAX는 특히 고차 미분에 강함 (`jax.jacobian`, `jax.hessian`)
==장점==
*사용자는 미분 공식을 직접 작성할 필요 없음
*복잡한 수식·모델에서도 안정적으로 동작
*딥러닝 모델 학습의 필수 기술
*Forward/Reverse 구조로 고성능을 보장
*XLA/Triton 등과 결합하면 매우 빠름
==한계==
*메모리 사용량이 증가할 수 있음
*함수형 제약(JAX) 등 사용 난이도 증가 가능
*비미분 가능 연산(discrete ops)은 별도 처리 필요
*계산 그래프가 너무 크면 성능 저하 발생
==함께 보기==
*[[딥 러닝]]
*[[역전파]]
*[[JAX]]
*[[PyTorch]]
*[[TensorFlow]]
*[[XLA]]
*[[미분]]
*[[그래프 기반 최적화]]
==각주==
[[분류:인공지능]]
[[분류:수학]]
[[분류:프로그래밍]]

TensorFlow

2025-11-19T21:02:48Z

인공무능: 텐서플로 문서로 넘겨주기

#넘겨주기 [[텐서플로]]

텐서플로

2025-11-19T21:02:24Z

인공무능: 새 문서: '''TensorFlow'''는 Google Brain 팀에서 개발한 오픈소스 머신러닝 및 딥러닝 프레임워크로, 수치 계산, 모델 학습, 추론, 배포까지 아우르는 종합적인 ML 플랫폼이다. 대규모 분산 학습, 모바일 및 엣지 배포, TPU 통합 등을 강점으로 하며, TensorFlow Extended(TFX), TensorFlow Lite, TensorFlow.js 등 폭넓은 생태계를 제공한다. ==개요== TensorFlow는 2015년 처음 공개된 이후 산업계와 연구계...

'''TensorFlow'''는 Google Brain 팀에서 개발한 오픈소스 머신러닝 및 딥러닝 프레임워크로, 수치 계산, 모델 학습, 추론, 배포까지 아우르는 종합적인 ML 플랫폼이다. 대규모 분산 학습, 모바일 및 엣지 배포, TPU 통합 등을 강점으로 하며, TensorFlow Extended(TFX), TensorFlow Lite, TensorFlow.js 등 폭넓은 생태계를 제공한다.

==개요==
TensorFlow는 2015년 처음 공개된 이후 산업계와 연구계에서 널리 사용되었다. 초기에는 정적 계산 그래프(static computation graph) 기반의 TensorFlow 1.x가 중심이었으나, 이후 2.x 버전에서 eager execution 중심의 직관적인 인터페이스를 도입했다.

TensorFlow는 다음과 같은 목적을 갖는다:
*대규모 ML 모델 학습 및 배포
*GPU/TPU 가속 지원
*산업 환경에서의 안정적인 제품화
*다양한 언어 및 플랫폼 통합
==특징==
===Keras 통합 API===
TensorFlow 2.x에서는 Keras가 기본 고수준(high-level) API로 통합되었다.
*직관적인 레이어 기반 모델 구성
*Functional/Sequential 모델 구조
*사용자 정의 레이어 및 모델 지원
===Eager Execution===
Python 코드처럼 즉시 실행되는 방식으로 전환되어 디버깅이 쉬워졌다.
===그래프 변환 (tf.function)===
`@tf.function` 데코레이터를 사용하면 Python 코드를 정적 그래프 형태로 컴파일하여 성능을 높일 수 있다.
===TPU 및 XLA 지원===
TensorFlow는 Google Cloud TPU와 깊게 통합되어 있다.
*XLA(Accelerated Linear Algebra) 최적화 엔진 제공
*TPU에서 높은 훈련 효율
*대규모 모델 병렬 학습 지원
===분산 학습 전략===
TensorFlow는 여러 분산 전략을 제공한다.
*MirroredStrategy (단일 노드 multi-GPU)
*MultiWorkerMirroredStrategy (다중 노드)
*TPUStrategy
*ParameterServerStrategy
===TensorFlow Lite (TFLite)===
모바일 및 엣지 디바이스용 경량 딥러닝 추론 엔진.
===TensorFlow.js===
브라우저 및 Node.js 환경에서 모델 실행 가능.
===TensorFlow Extended (TFX)===
ML 제품 파이프라인 구축을 위한 플랫폼:
*데이터 파이프라인
*모델 배포
*서빙 및 모니터링
==내부 구조==
===컴퓨터 그래프===
TensorFlow의 핵심은 연산(operation)과 텐서(tensor)로 구성된 계산 그래프이다. 2.x에서는 eager + 그래프 혼합 모델로 동작한다.
===런타임 / 디바이스 배치===
TensorFlow는 GPU/TPU/CPU 디바이스에 자동으로 연산을 배치하며, XLA 또는 CUDA/cuDNN/cuBLAS를 통해 가속한다.
===SavedModel===
모델을 저장·배포하기 위한 표준 포맷:
*Graph + Weight + Signature 포함
*TFLite, TF Serving, TF.js로 변환 가능
==TensorFlow 1.x와 2.x 비교==
{| class="wikitable"
!항목
!TensorFlow 1.x
!TensorFlow 2.x
|-
|실행 모델||정적 그래프||eager 우선 + 그래프 변환
|-
|고수준 API||tf.layers, Estimators||Keras 통합
|-
|학습 루프||session.run 필요||직관적인 Python 코드
|-
|TPU/XLA||초기부터 지원||더 자연스럽게 통합
|}
==PyTorch 및 JAX와의 비교==
{| class="wikitable"
!항목
!TensorFlow
!PyTorch
!JAX
|-
|철학||산업/제품 중심||연구/실험 중심||함수형 + XLA 중심
|-
|TPU 지원||매우 좋음||제한적||최고 수준
|-
|GPU 생태계||매우 강함||최강 (CUDA 중심)||중간
|-
|코드 스타일||선언적 + Keras||imperative (직관적)||함수형
|-
|배포/서빙||TFLite / TF Serving / TFX||TorchServe / ONNX||제한적
|}
==활용 분야==
*대규모 ML 모델 학습 (Vision, NLP, RL)
*Google 내부 서비스(검색, 번역, 이미지 처리 등)
*모바일/엣지 AI (TensorFlow Lite)
*웹 기반 AI (TensorFlow.js)
*산업용 ML 파이프라인(TFX)
*TPU 기반 연구 및 분산 학습
==장점==
*TPU, XLA와 깊은 통합
*풍부한 배포/서빙 도구(TFX, TFLite)
*산업 제품화에 특화된 생태계
*그래프 기반 최적화로 높은 성능 가능
*다중 언어 및 플랫폼 지원
==한계==
*PyTorch보다 직관성이 떨어진다는 의견 존재
*연구 커뮤니티에서 PyTorch보다 채택률 낮음
*TF 1.x → 2.x 전환으로 혼란 있었음
*그래프/데코레이터 기반 디버깅 난이도
==함께 보기==
*[[PyTorch]]
*[[JAX]]
*[[XLA]]
*[[TPU]]
*[[Keras]]
*[[딥 러닝]]
*[[자동 미분]]
==참고 문헌==
*TensorFlow 공식 문서
*Google Research 블로그
*XLA 및 TPU 기술 자료
[[분류:프로그래밍]]
[[분류:인공지능]]

JAX

2025-11-19T21:00:31Z

인공무능: 새 문서: '''JAX'''는 Google Research에서 개발한 고성능 수치 연산 및 머신러닝 라이브러리로, NumPy 스타일의 API를 기반으로 자동 미분(autograd), JIT 컴파일(just-in-time), 벡터화(Vectorization), 병렬 처리 등을 제공한다. XLA(Accelerated Linear Algebra) 컴파일러를 통해 CPU, GPU, TPU에서 모두 효율적으로 실행되며, 대규모 딥러닝 연구와 과학 계산에서 널리 사용된다. ==개요== JAX는 기존 NumPy 스타...

'''JAX'''는 Google Research에서 개발한 고성능 수치 연산 및 머신러닝 라이브러리로, NumPy 스타일의 API를 기반으로 자동 미분(autograd), JIT 컴파일(just-in-time), 벡터화(Vectorization), 병렬 처리 등을 제공한다. XLA(Accelerated Linear Algebra) 컴파일러를 통해 CPU, GPU, TPU에서 모두 효율적으로 실행되며, 대규모 딥러닝 연구와 과학 계산에서 널리 사용된다.

==개요==
JAX는 기존 NumPy 스타일의 직관성을 유지하면서 다음과 같은 기능을 결합한다:
*자동 미분 (Autograd)
*JIT 컴파일 (XLA 기반)
*벡터화(vmap)
*병렬화(pmap)
*순수 함수 기반의 함수형 프로그래밍 모델
JAX는 TensorFlow나 PyTorch와 달리 모델 정의용 고수준 프레임워크가 아니라, 수치 연산을 함수형 방식으로 최적화하는 “프레임워크의 기초 도구”에 가깝다. Neural network 라이브러리인 Flax, Haiku, Equinox 등이 JAX 위에서 사용된다.
==주요 특징==
===Autograd (자동 미분)===
JAX는 Python 함수를 입력받아 해당 함수의 기울기를 자동 계산한다.
*reverse-mode differentiation
*forward-mode differentiation
*많은 연산에 대한 강력한 합성(differentiable programming)
예시:<syntaxhighlight lang="python">
import jax.numpy as jnp
import jax

f = lambda x: x**2 + 3*x
jax.grad(f)(2.0) # 7.0
</syntaxhighlight>
===JIT 컴파일===
XLA 기반의 JIT 컴파일 기능(`jax.jit`)은 Python 코드를 고성능 기계 코드로 변환하여 실행 속도를 크게 높인다.
*연산 fusion
*device placement 자동 처리
*GPU/TPU에서 높은 효율
<syntaxhighlight lang="python">
@jax.jit
def compute(x):
return jnp.sin(x) * jnp.cos(x)
</syntaxhighlight>
===벡터화 (vmap)===
루프를 Python이 아닌 XLA에서 병렬화하여 대규모 데이터 처리 속도를 높인다.
*Python loop → XLA 병렬 연산 자동 변환
===pmap (병렬 처리)===
다중 GPU/TPU 장치에서 동일한 함수를 병렬 실행.
*Data parallelism 구현
*TPU Pod 환경에서 핵심 기능
===함수형 패러다임===
JAX는 순수 함수(pure function)를 강조하며, 상태(state) 없는 계산을 지향한다. 모델 파라미터도 불변성을 유지한 채 함수 인자로 전달하는 방식으로 관리한다.
==JAX 생태계==
'''Flax'''

* JAX 기반의 고수준 neural network 라이브러리. LLM, Vision Transformer 등 대규모 모델 구현에 널리 사용된다.

'''Haiku'''

* DeepMind에서 개발한 모듈식 신경망 프레임워크.

'''Optax'''

* JAX를 위한 최적화 라이브러리(Adam, RMSProp 등 제공).

'''Equinox'''

* PyTorch와 유사한 객체 스타일의 JAX 신경망 라이브러리.

'''Orbax'''

* JAX 체크포인트 저장 및 복구 라이브러리.

==XLA와의 관계==
JAX는 XLA를 기반으로 동작하는 구조를 가지고 있다:
*JIT → XLA로 그래프 변환
*XLA가 CPU/GPU/TPU용 최적화된 기계 코드 생성
*TPU 사용 시 탁월한 효율
XLA는 TensorFlow와 JAX 모두의 공통 백엔드로 사용되지만, JAX는 훨씬 더 자연스럽게 XLA와 통합되도록 설계되었다.
==TPU와의 통합==
JAX는 TPU를 가장 잘 활용하는 프레임워크 중 하나로 평가된다.
*TPU v2/v3/v4/v5에서 높은 성능
*pmap을 통한 대규모 모델 학습
*Google 내부 연구에서 광범위하게 사용
PaLM, T5, 여러 대형 언어 모델 연구에서 JAX+TPU 조합이 핵심 역할을 한다.
==PyTorch 및 TensorFlow와의 비교==
{| class="wikitable"
!항목
!JAX
!PyTorch
!TensorFlow
|-
|주요 철학||함수형, 확장성, 연구용||직관적, eager 기반||산업용, 정적 그래프
|-
|Autograd||매우 강력함||강력함||강력함
|-
|JIT 속도||매우 빠름(XLA)||PyTorch 2.x Inductor로 개선||TensorFlow XLA로 빠름
|-
|TPU 지원||최고 수준||제한적||좋음
|-
|생태계||Flax/Haiku 중심||가장 큰 생태계||기업 중심
|}
==활용 분야==
*대규모 언어 모델(LLM)
*컴퓨터 비전(ViT, CNN)
*강화학습
*과학 계산 및 시뮬레이션
*Google 내부 연구
*TPU 기반 대규모 학습
==장점==
*매우 빠른 JIT 성능(XLA 기반)
*TPU/GPU 모두에서 높은 효율
*함수형 프로그래밍으로 안전한 코드 구조
*연구·대규모 모델 학습에 최적화
*자동 병렬화(vmap/pmap) 기능
==한계==
*생태계가 PyTorch만큼 크지 않음
*디버깅 난이도가 높을 수 있음
*함수형 패턴에 익숙하지 않은 사용자는 진입 장벽 존재
*stateful 연산 및 비순수 함수가 어렵거나 제한적
==함께 보기==
*[[PyTorch]]
*[[TensorFlow]]
*[[XLA]]
*[[TPU]]
*[[딥 러닝]]
*[[자동 미분]]
*[[Neural Network]]
==참고 문헌==
[[분류:프로그래밍]]
[[분류:인공지능]]

FPGA

2025-11-19T20:57:34Z

인공무능: 새 문서: '''FPGA'''(Field-Programmable Gate Array)는 사용자가 제작된 이후에도 하드웨어 회로를 직접 구성할 수 있도록 설계된 프로그래머블 집적회로이다. 범용 CPU나 GPU와 달리, FPGA는 하드웨어 레벨에서 병렬 처리 구조를 원하는 형태로 설계할 수 있어 높은 유연성과 맞춤형 가속 기능을 제공한다. ==개요== FPGA는 내부에 구성 가능한 논리 블록(logic block)과 이들을 서로 연결하는 라...

'''FPGA'''(Field-Programmable Gate Array)는 사용자가 제작된 이후에도 하드웨어 회로를 직접 구성할 수 있도록 설계된 프로그래머블 집적회로이다. 범용 CPU나 GPU와 달리, FPGA는 하드웨어 레벨에서 병렬 처리 구조를 원하는 형태로 설계할 수 있어 높은 유연성과 맞춤형 가속 기능을 제공한다.

==개요==
FPGA는 내부에 구성 가능한 논리 블록(logic block)과 이들을 서로 연결하는 라우팅 구조로 이루어져 있다. 사용자는 HDL(Hardware Description Language) 또는 고수준 합성(HLS)을 통해 FPGA를 특정 회로처럼 동작하도록 “프로그래밍”할 수 있다.

대표적인 FPGA 제조사는 Xilinx(현 AMD), Intel(Altera), Lattice Semiconductor 등이 있으며, Xilinx Alveo 시리즈는 AI 및 데이터센터 용으로 널리 사용된다.
==특징==
===높은 유연성===
FPGA의 가장 큰 장점은 설계된 후에도 논리 회로를 변경할 수 있다는 점이다. 이는 다음과 같은 장점을 제공한다:
*새로운 알고리즘에 빠르게 대응 가능
*특정 응용을 위한 맞춤형 하드웨어 구현
*ASIC 설계 전에 성능 검증 플랫폼으로 활용 가능
===병렬 처리 성능===
FPGA는 사용자가 자료 흐름(dataflow)에 맞춰 병렬적인 하드웨어 회로를 직접 구성할 수 있기 때문에, 특정 워크로드에서는 CPU/GPU보다 효율적으로 동작할 수 있다.
===짧은 개발 주기===
ASIC처럼 제조 과정이 필요하지 않기 때문에, 하드웨어 가속기 개발 및 테스트 시간이 매우 짧다.
===장점===
*하드웨어 레벨 최적화 가능
*유연한 알고리즘 변경
*프로토타이핑 및 연구용으로 뛰어남
===단점===
*클럭 속도가 ASIC/GPU보다 낮음
*전력 효율이 ASIC보다는 떨어짐
*복잡한 완전 커스텀 회로는 성능적 제약 존재
==구성 요소==
===Logic Block (LUT + Flip-Flop)===
FPGA 회로의 기본 단위로, 사용자가 원하는 논리 연산을 구현할 수 있는 구성 가능한 소자이다.
===Routing / Interconnect===
Logic block들을 서로 연결하는 구성 가능한 배선 구조.
===BRAM (Block RAM)===
고속 온칩 메모리로, AI/영상/네트워크 처리 등에 사용된다.
===DSP Slice===
고속 곱셈·덧셈 연산을 위한 전용 연산 유닛으로, DNN 가속에 필수적이다.
===High-Bandwidth I/O===
PCIe, Ethernet 등 다양한 고속 인터페이스를 지원한다.
==FPGA와 딥러닝 (DNN)==
FPGA는 최근 딥러닝 추론 가속기 분야에서 주목받고 있다.
===장점===
*다양한 DNN 구조에 맞는 맞춤형 데이터 경로 구성
*Low-latency inference에 강점
*ASIC 제작 전 프로토타입 플랫폼으로 사용 가능
*Edge AI 및 산업용 로봇 등에서 인기
===FPGA 기반 AI 가속기 예시===
*'''Xilinx Alveo''' U200/U250/U280 시리즈
*Intel Arria 10 FPGA
*AWS F1 인스턴스 (Xilinx Ultrascale+)
==FPGA vs ASIC vs GPU==
{| class="wikitable"
!특성
!FPGA
!ASIC
!GPU
|-
|목적||프로그래머블 하드웨어||특정 작업 전용||범용 병렬 연산
|-
|유연성||매우 높음||매우 낮음||높음(소프트웨어 기반)
|-
|성능||중간 ~ 높음||최고 성능||높음
|-
|전력 효율||중간||매우 높음||중간
|-
|개발 기간||짧음||매우 길음||필요 없음
|-
|비용||낮음||매우 높음||중간
|-
|사용 예||연구·프로토타이핑·Edge AI||TPU·ANE·전용 가속기||딥러닝 학습·추론
|}
==활용 분야==
*딥 러닝 추론 (CNN, Transformer 일부 구조)
*영상 처리 / 신호 처리
*IoT 및 Edge 컴퓨팅
*금융(초저지연 트레이딩)
*네트워크 패킷 처리
*로봇 및 산업 자동화
==프로그래밍 방식==
FPGA는 여러 방식으로 프로그래밍할 수 있다:
===HDL (Hardware Description Language)===
*Verilog
*VHDL
하드웨어 회로를 직접 설계하는 가장 전통적인 방식.
===High-Level Synthesis (HLS)===
*C/C++ 기반 회로 설계
*DNN inference 가속용 HLS 라이브러리 제공
===프레임워크 기반 도구===
*Xilinx Vitis AI
*hls4ml
*FINN (Xilinx DNN compiler)
==장점==
*높은 유연성
*빠른 개발 및 수정
*하드웨어 최적화 가능
*ASIC 제작 전 성능 검증 용도로 활용 가능
==한계==
*ASIC 대비 낮은 최대 성능
*GPU보다 일반적으로 낮은 throughput
*복잡한 DNN 전체를 구현하기엔 난이도가 높음
*최적 회로 설계에 전문성이 필요
==함께 보기==
*[[ASIC]]
*[[GPU]]
*[[TPU]]
*[[딥 러닝 가속기]]
*[[Vitis AI]]
*[[Deep Neural Network]]
==참고 문헌==
*Xilinx Alveo 공식 문서
*Intel FPGA 기술 자료
*AWS EC2 F1 문서
*FPGA 기반 AI 가속 관련 연구 논문
[[분류:하드웨어]]
[[분류:컴퓨터 구조]]
[[분류:인공지능]]

ASIC

2025-11-19T20:54:50Z

인공무능: 새 문서: '''ASIC'''(Application-Specific Integrated Circuit)은 특정 용도나 알고리즘을 빠르고 효율적으로 수행하기 위해 맞춤 설계된 집적회로이다. 범용 CPU나 GPU와 달리, 특정 작업을 수행하는 회로가 하드웨어 수준에서 고정되어 있어 매우 높은 성능과 전력 효율을 제공한다. ==개요== ASIC은 범용 프로세서와 달리 소프트웨어로 동작을 변경하는 형태가 아니라, '''하드웨어 자체가 특...

'''ASIC'''(Application-Specific Integrated Circuit)은 특정 용도나 알고리즘을 빠르고 효율적으로 수행하기 위해 맞춤 설계된 집적회로이다. 범용 CPU나 GPU와 달리, 특정 작업을 수행하는 회로가 하드웨어 수준에서 고정되어 있어 매우 높은 성능과 전력 효율을 제공한다.

==개요==
ASIC은 범용 프로세서와 달리 소프트웨어로 동작을 변경하는 형태가 아니라, '''하드웨어 자체가 특정 기능을 수행하도록 설계된 반도체 칩'''이다. 설계된 기능 이외의 작업은 수행할 수 없지만, 그 특정 기능에 대해서는 최고의 성능을 낼 수 있다.

대표적인 예로는 암호화 칩, 네트워크 스위치 라우팅 칩, 인공지능 가속기(예: Google TPU)가 있다.
==특징==
'''고성능'''

* ASIC은 목표 연산을 위해 최적화된 하드웨어 회로로 구성되기 때문에, 같은 작업을 GPU나 CPU보다 훨씬 빠르게 처리할 수 있다.

'''높은 전력 효율'''

* 불필요한 제어 로직이나 범용 구조가 없으므로, 전력 대비 성능(Performance per Watt)이 매우 뛰어나다.

'''낮은 유연성'''

* ASIC의 기능은 제조된 이후 변경할 수 없다. 다른 알고리즘을 지원하거나 새로운 연산을 추가하려면 칩을 다시 설계해야 한다.

'''긴 개발 기간 및 높은 비용'''

* ASIC은 칩 설계, 시뮬레이션, 레이아웃 설계, 제조(테이프아웃)까지 복잡한 과정이 필요하며, 수백만~수천만 달러의 개발 비용과 수개월~수년의 개발 기간이 요구된다.

==DNN(Deep Neural Network)에서의 ASIC==
딥러닝 모델의 연산량 폭증과 함께, DNN 전용 ASIC 가속기가 등장했다.
===대표적인 DNN ASIC===
'''Google TPU (Tensor Processing Unit)'''

* 구글이 내부 서비스(Gmail, Search, Photos, Translate 등)와 GCP 클라우드에서 사용하는 DNN 전용 칩.

'''Apple Neural Engine (ANE)'''

* iPhone 및 Mac의 A/M 시리즈 칩에 통합된 머신러닝 가속기.

'''Cerebras Wafer-Scale Engine (WSE)'''

* 단일 웨이퍼 전체를 한 칩으로 활용한 초대형 AI 가속기.

머신러닝 추론용 전용 ASIC들: '''Edge TPU, Habana Gaudi(인텔), Tesla Dojo''' 등.

===ASIC이 DNN에서 중요한 이유===
*행렬 곱(matmul), convolution 등 반복적이고 구조적 연산을 하드웨어로 구현 가능
*Tensor core, systolic array 등 특수 연산 구조로 속도를 극대화
*범용 GPU보다 전력 대비 처리량이 훨씬 높음
*대규모 데이터센터 inference 비용 절감을 위해 필수적인 기술
==ASIC vs GPU vs FPGA==
{| class="wikitable"
!특성
!ASIC
!FPGA
!GPU
|-
|목적||특정 작업 전용||프로그래머블 하드웨어||범용 병렬 연산
|-
|유연성||매우 낮음||매우 높음||높음(소프트웨어 기반)
|-
|성능||최고 성능||중간 ~ 높음||높음
|-
|전력 효율||매우 높음||중간||중간
|-
|개발 비용/시간||매우 높음 / 길음||낮음 / 짧음||없음(기성품)
|-
|사용 예||TPU, ANE, 암호화 칩||가속 연구, 사전 프로토타이핑||딥러닝 학습 및 추론
|}
==ASIC 개발 과정==
ASIC 개발에는 다음과 같은 단계가 포함된다:
#시스템 요구 사항 정의
#RTL(Register Transfer Level) 설계
#검증(Verification) 및 시뮬레이션
#물리 설계(Placement & Routing)
#제조(테이프아웃)
#테스트 및 패키징
높은 개발 비용과 리스크로 인해 ASIC은 대규모 기업이나 전문 반도체 회사에서만 제작되는 경우가 많다.
==장점==
*특정 알고리즘에 대한 최고 수준의 성능
*매우 뛰어난 전력 효율
*데이터센터 inference 비용 절감
*특수 목적 서비스(암호화, 네트워킹 등)에서 필수적
==한계==
*설계 및 제조 비용이 매우 높음
*제조 이후 구조 변경 불가
*범용성을 갖지 않아 새로운 모델/알고리즘 대응 어려움
*빠르게 변하는 딥러닝 연구 속도를 따라잡기 어려움
==함께 보기==
*[[FPGA]]
*[[GPU]]
*[[TPU]]
*[[딥 러닝 가속기]]
*[[Deep Neural Network]]
*[[CUDA]]
==각주==
[[분류:하드웨어]]
[[분류:컴퓨터 구조]]
[[분류:인공지능]]

GPU

2025-11-19T20:51:24Z

인공무능: 새 문서: '''GPU'''(Graphics Processing Unit, 그래픽 처리 장치)는 대규모 병렬 연산을 효율적으로 처리하도록 설계된 프로세서로, 본래는 그래픽 렌더링을 위해 개발되었지만 현재는 딥러닝, 과학 계산, 고성능 컴퓨팅(HPC), 데이터 분석 등 다양한 분야에서 핵심 가속기로 사용되고 있다. ==개요== GPU는 수천 개의 연산 유닛을 병렬로 배치해, 동일하거나 유사한 연산을 반복적으로 수...

'''GPU'''(Graphics Processing Unit, 그래픽 처리 장치)는 대규모 병렬 연산을 효율적으로 처리하도록 설계된 프로세서로, 본래는 그래픽 렌더링을 위해 개발되었지만 현재는 딥러닝, 과학 계산, 고성능 컴퓨팅(HPC), 데이터 분석 등 다양한 분야에서 핵심 가속기로 사용되고 있다.

==개요==
GPU는 수천 개의 연산 유닛을 병렬로 배치해, 동일하거나 유사한 연산을 반복적으로 수행하는 워크로드에 최적화되어 있다. 딥러닝 연산(행렬 곱, convolution)과 같이 대량의 연산을 동시에 처리하는 workloads에서 CPU에 비해 압도적인 속도를 제공한다.

대표적인 GPU 제조사는 NVIDIA, AMD, Intel 등이 있으며, 이 중 NVIDIA는 CUDA 생태계와 딥러닝 프레임워크 최적화를 바탕으로 AI 분야에서 사실상 표준 위치를 차지하고 있다.
==GPU의 구조==
GPU는 일반적으로 다음과 같은 주요 구성 요소로 이루어진다:

'''Streaming Multiprocessor (SM) / Compute Unit (CU)'''

* 대규모 병렬 처리를 수행하는 핵심 연산 유닛. NVIDIA는 SM, AMD는 Compute Unit(CU) 용어를 사용한다.

'''수천 개의 ALU (Arithmetic Logic Unit)'''

* 비트·정수·부동소수점 연산을 대량으로 처리할 수 있도록 구성된 연산 파이프라인.

'''고대역폭 메모리 (HBM, GDDR6 등)'''

* 딥러닝 연산에 필요한 대량의 데이터 전송을 빠르게 수행.

'''Warp / Wavefront 기반 스케줄링'''

* NVIDIA: Warp(32 threads) AMD: Wavefront(64 threads) 단위로 병렬 실행을 관리한다.

'''Tensor/Core AI 연산 유닛'''

* 딥러닝 가속을 위한 특수 유닛:
** NVIDIA Tensor Core
**AMD Matrix Core
**Intel XMX Engine
*이들 유닛은 FP16/BF16/INT8 같은 저정밀도 매트릭스 연산을 극적으로 가속한다.

==GPU와 CPU의 비교==
{| class="wikitable"
!항목
!GPU
!CPU
|-
|목적||병렬 연산(대량의 동일 연산)||직렬 연산(제어 중심)
|-
|코어 수||수백~수천 개||수 개~수십 개
|-
|클럭 속도||낮음||높음
|-
|장점||대규모 데이터 병렬성, 매우 높은 연산량||복잡한 분기·제어 구조에 유리
|-
|적합한 작업||딥러닝, 그래픽, 과학 계산||OS, 네트워크, 로직 처리
|}
==GPU와 딥러닝==
딥러닝의 행렬 곱, convolution, attention 등은 GPU의 병렬 구조와 매우 잘 맞는다. 이 때문에 GPU는 현대 딥러닝 학습에서 사실상 필수 하드웨어가 되었다.
===딥러닝에서 GPU가 중요한 이유===
*matmul, conv 같은 반복적 연산을 대규모 병렬로 처리
*고대역폭 메모리(HBM)로 데이터 이동 속도가 빠름
*Tensor Core 등 딥러닝 특화 하드웨어 탑재
*cuDNN, cuBLAS 등 최적화된 라이브러리 제공
*PyTorch, TensorFlow 등이 GPU 자동 가속 지원
===GPU 딥러닝 가속을 위한 핵심 라이브러리===
*[[CUDA]]
*[[cuDNN]]
*[[cuBLAS]]
*CUTLASS
*ROCm (AMD)
*oneAPI (Intel)
==GPU 프로그래밍==
'''CUDA'''

* NVIDIA GPU를 위한 병렬 프로그래밍 모델. kernel 함수로 GPU에서 직접 계산 수행 가능.

'''OpenCL'''

* GPU·CPU·FPGA 등 다양한 플랫폼에서 동작하는 범용 병렬 API.

'''Vulkan / DirectCompute'''

* 그래픽 API이지만 범용 연산(GPGPU) 가능.

'''Triton'''

* PyTorch 통합 GPU 커널 DSL로, CUDA 없이도 맞춤형 고성능 커널 생성 가능.

==GPU 아키텍처의 발전==
GPU는 AI 수요 증가와 함께 빠르게 진화하고 있다.
===주요 아키텍처 (NVIDIA 기준)===
*Pascal
*Volta (Tensor Core 최초 도입)
*Turing
*Ampere
*Hopper
*Blackwell
===AI 중심 특징===
*Tensor Core 확장
*FP16/BF16/INT8 최적화
*Multi-instance GPU(MIG)
*고대역폭 HBM 메모리 탑재
==GPU vs ASIC vs FPGA==
{| class="wikitable"
!특성
!GPU
!ASIC
!FPGA
|-
|유연성||높음(소프트웨어 기반)||매우 낮음||매우 높음
|-
|성능||높음||최고 성능||중간~높음
|-
|전력 효율||중간||매우 높음||중간
|-
|개발 비용||없음(기성품)||매우 높음||낮음
|-
|적합한 작업||딥러닝 학습·추론, 그래픽, HPC||특정 모델 추론 대량 처리||프로토타이핑, 커스텀 파이프라인
|}
==GPU의 활용 분야==
*딥러닝 학습 및 추론
*컴퓨터 그래픽스
*시뮬레이션(유체, 물리, 천체역학 등)
*게임 렌더링
*금융(고속 시뮬레이션, 알고리즘 트레이딩)
*데이터 분석 및 머신러닝
*자율주행 시스템
==대표 GPU 예시==
*NVIDIA GeForce, Quadro, RTX
*NVIDIA A100, H100, B100 (데이터센터 AI GPU)
*AMD Radeon, Instinct MI 시리즈
*Intel Arc / Ponte Vecchio
==함께 보기==
*[[CUDA]]
*[[cuDNN]]
*[[cuBLAS]]
*[[Triton]]
*[[ASIC]]
*[[FPGA]]
*[[딥 러닝 가속기]]
*[[Deep Neural Network]]
==참고 문헌==
*NVIDIA GPU Architecture Whitepaper
*AMD ROCm Documentation
*Intel GPU Compute Architecture 자료
*다양한 GPU 가속 관련 학술 논문
[[분류:컴퓨터 구조]]
[[분류:하드웨어]]
[[분류:인공지능]]

구글 TPU

2025-11-19T20:33:02Z

인공무능: 새 문서: '''TPU'''(Tensor Processing Unit)는 Google이 딥러닝 워크로드를 가속하기 위해 설계한 맞춤형 ASIC(Application-Specific Integrated Circuit) 계열의 하드웨어 가속기이다. 내부 Google 서비스(Gmail, Search, Translate 등)와 Google Cloud Platform(GCP)의 AI/ML 워크로드를 위해 개발되었으며, 행렬 연산 및 대규모 딥러닝 연산을 최적화한 아키텍처를 가진다. ==개요== TPU는 딥러닝에서 핵심이 되는...

'''TPU'''(Tensor Processing Unit)는 Google이 딥러닝 워크로드를 가속하기 위해 설계한 맞춤형 [[ASIC|ASIC(Application-Specific Integrated Circuit)]] 계열의 하드웨어 가속기이다. 내부 Google 서비스(Gmail, Search, Translate 등)와 Google Cloud Platform(GCP)의 AI/ML 워크로드를 위해 개발되었으며, 행렬 연산 및 대규모 딥러닝 연산을 최적화한 아키텍처를 가진다.

==개요==
TPU는 딥러닝에서 핵심이 되는 행렬 곱셈, convolution, 대규모 텐서 연산을 효율적으로 처리하기 위해 특수 설계된 하드웨어이다. GPU나 CPU는 범용 병렬 연산 장치이지만, TPU는 DNN 추론 및 학습을 위해 설계된 특화 구조(systolic array)를 갖는다.

Google TPU는 2015년 첫 등장 이후 다양한 버전(TPU v1~v5)이 공개되며 성능이 지속적으로 향상되었다.
==주요 특징==
===ASIC 기반 구조===
TPU는 특정 연산(DNN)을 최적화하기 위해 논리 회로가 고정된 ASIC 형태로 구현되어 있어, GPU보다 더 높은 전력 효율과 throughput을 제공한다.
===Systolic Array 아키텍처===
TPU의 핵심 구성 요소는 대규모 행렬 곱을 빠르게 수행하는 '''시스톨릭 어레이(systolic array)''' 구조이다.
*데이터가 규칙적으로 흐르며 파이프라인 형태로 연산 수행
*높은 데이터 재사용률
*딥러닝의 핵심 연산(MatMul, Conv)에 최적화
예) TPU v2/v3는 128 × 128 systolic array 사용.
===TensorFlow 및 JAX와의 긴밀한 통합===
*Google이 개발한 프레임워크와 자연스럽게 연동
*XLA 컴파일러를 통해 TPU에 최적화된 실행 그래프 생성
*대규모 분산 학습 기능 제공
===높은 에너지 효율===
*동일한 워크로드에서 GPU 대비 더 높은 성능/Watt 비율
*데이터센터 대규모 추론/학습 비용 절감
==버전별 아키텍처==
===TPU v1 (Inference-only)===
*8-bit 정수 연산 기반
*Google Search 및 Translate 서비스용
*28 TOPS 수준의 추론 성능
*단일보드 ASIC
===TPU v2===
*학습(Training)까지 지원
*128×128 신경망 프로세싱 유닛(Matrix Unit)
*45 TFLOPS(FP16) 성능
*4개 칩으로 구성된 TPU Pod 가능
*Google Cloud TPU로 제공 시작
===TPU v3===
*v2 대비 약 2배 성능
*냉각을 위한 액체 냉각(liquid cooling) 사용
*TPU Pod는 최대 100+ PFlops 규모
*대규모 Transformer 학습에 활용
===TPU v4===
*Cloud TPU v4 Pods는 수천 개의 TPU 코어 연결
*강화된 interconnect → GPU 클러스터 대비 높은 학습 효율
*6nm 공정 기반
*매우 높은 모델 병렬 처리 성능
===TPU v5 / v5p===
*최신 Google Cloud TPU 세대
*LLM·Diffusion·대규모 Transformer 학습 최적화
*더 큰 메모리, 더 높은 bandwidth, 개선된 interconnect 탑재
==TPU Pod==
TPU 칩 여러 개(수백~수천 개)를 연결한 대규모 분산 학습 시스템.
===특징===
*매우 빠른 칩 간 네트워크 대역폭
*모델 병렬/데이터 병렬 모두 지원
*초대형 모델(GPT, PaLM, Vision Transformers 등) 학습 가능
*Google Cloud에서 서비스 제공
==소프트웨어 스택==
===XLA (Accelerated Linear Algebra)===
Google의 컴파일러로, 딥러닝 그래프를 TPU용 최적화된 연산 세트로 변환.
===JAX===
TPU에서 높은 성능을 내는 연구자 중심 딥러닝 프레임워크.
===TensorFlow===
TPU를 처음부터 지원하며, TPU 전략을 통한 대규모 학습 가능.
==GPU와 비교==
{| class="wikitable"
!항목
!TPU
!GPU
|-
|설계 목적||딥러닝 전용 ASIC||범용 병렬 연산
|-
|구조||Systolic array||SM 기반 SIMD 병렬 구조
|-
|유연성||낮음||높음
|-
|성능/Watt||매우 높음||중간
|-
|적합한 작업||대규모 DNN 학습/추론||다양한 GPU 워크로드
|}
==TPU와 ASIC / FPGA와의 관계==
*'''ASIC''' 기반 → GPU보다 빠르고 효율적
*'''FPGA'''보다 속도 높고 전력 효율 뛰어남
*단 유연성은 FPGA나 GPU보다 떨어짐
==활용 분야==
*자연어 처리 (Transformer, LLM)
*컴퓨터 비전
*리코멘데이션 모델
*Google 내부 서비스
*GCP Cloud TPU 학습
*AI 연구 (PaLM, T5, EfficientNet 등)
==장점==
*대규모 딥러닝에 최적화
*GPU 대비 높은 전력 효율
*TPU Pod 기반 초대형 클러스터 사용 가능
*XLA 최적화로 높은 성능
*Google Cloud로 접근 가능
==한계==
*범용성 부족
*Google 생태계(TensorFlow/JAX) 중심
*모델 포팅이 필요할 때 복잡함
*커스텀 연산 유연성이 GPU보다 낮음
==함께 보기==
*[[GPU]]
*[[ASIC]]
*[[FPGA]]
*[[TensorFlow]]
*[[JAX]]
*[[XLA]]
*[[딥 러닝 가속기]]
*[[Deep Neural Network]]
==참고 문헌==
*Google TPU Architecture Whitepapers
*Jouppi, Norman P., et al. "In-Datacenter Performance Analysis of a Tensor Processing Unit."
*Google Cloud TPU 공식 문서
*XLA / JAX 기술 자료
[[분류:인공지능]]
[[분류:하드웨어]]

AI 가속기

2025-11-19T20:30:21Z

인공무능: 새 문서: '''AI 가속기'''(AI Accelerator)는 인공지능(Artificial Intelligence), 특히 딥러닝(Deep Learning)의 연산을 빠르고 효율적으로 수행하기 위해 설계된 특수 목적 하드웨어이다. 딥러닝 모델의 핵심 연산(행렬 곱, convolution, attention 등)을 가속하기 위해 범용 CPU나 GPU보다 더 높은 성능 또는 전력 효율을 제공한다. AI 가속기는 데이터센터, 클라우드, 엣지 장치(스마트폰·IoT), 로봇, 자...

'''AI 가속기'''(AI Accelerator)는 인공지능(Artificial Intelligence), 특히 딥러닝(Deep Learning)의 연산을 빠르고 효율적으로 수행하기 위해 설계된 특수 목적 하드웨어이다. 딥러닝 모델의 핵심 연산(행렬 곱, convolution, attention 등)을 가속하기 위해 범용 CPU나 GPU보다 더 높은 성능 또는 전력 효율을 제공한다.

AI 가속기는 데이터센터, 클라우드, 엣지 장치(스마트폰·IoT), 로봇, 자율주행 등 다양한 분야에서 사용된다. 대표적인 예로 Google TPU, Apple Neural Engine, ARM NPU, Xilinx FPGA 기반 가속기 등이 있다.
==개요==
딥러닝 모델은 대량의 행렬 연산(MATMUL), 합성곱(CONV), 활성화 계산, normalization 등 반복적이고 구조적인 연산으로 이루어져 있다. 이러한 연산은 일반 CPU보다 GPU 또는 전용 가속기에서 훨씬 빠르게 실행된다.

AI 가속기는 다음과 같은 목표를 가진다:
*딥러닝 연산의 처리량(throughput) 최대화
*전력 효율 향상 (Performance per Watt)
*DRAM 접근 최소화를 통한 메모리 병목 해결
*대규모 모델(LLM, Vision Transformers) 실행 지원
==주요 구성 요소==
대부분의 AI 가속기는 다음과 같은 공통 구조를 가진다:

'''Compute Core (MAC Array / Systolic Array)'''

* 딥러닝의 핵심 연산인 곱셈-누산(Multiply-Accumulate, MAC)을 수행하는 연산 유닛 집합. 일부 ASIC 기반 가속기(TPU 등)는 대규모 시스톨릭 어레이를 사용한다.

'''Weight SRAM'''

* 모델 파라미터(Weights)를 저장하는 온칩 메모리. DRAM 접근을 줄여 전력과 지연(latency)을 절감.

'''Activation SRAM'''

* 중간 활성값(activations)을 저장하는 온칩 버퍼. 딥러닝 inference와 training의 메모리 병목 완화에 필수.

'''Register File (RF)'''

* 가장 빠른 메모리 계층. 직접 연산 직전에 필요한 값을 저장.

'''DRAM (HBM 또는 외부 DRAM)'''

* 대규모 모델과 데이터를 저장. 에너지 비용이 높기 때문에 DRAM 접근을 최소화하는 것이 가속기 설계의 핵심이다.

'''NoC (Network-on-Chip)'''

* 가속기, CPU, GPU 등이 서로 통신하기 위한 칩 내부 네트워크. 대규모 AI 칩에서는 NoC 효율이 성능에 큰 영향을 미친다.

==메모리 계층과 에너지 비용==
딥러닝 연산에서 에너지의 대부분은 "계산"이 아니라 "메모리 접근"에서 발생한다.

'''정규화된 에너지 비용 예시:'''
*ALU 연산 = 1×
*Register File = 2×
*On-chip SRAM/Buffer = 6×
*DRAM 접근 = '''200×'''
이에 따라 AI 가속기 설계에서는 DRAM 접근을 최소화하기 위해:
*weight/activation SRAM 증가
*데이터 재사용(data reuse) 극대화
*systolic array 기반 연산
*tiling, blocking 최적화
가 필수적으로 고려된다.
==주요 종류==
===GPU 기반 가속기===
*NVIDIA A100, H100, B100
*AMD Instinct MI 시리즈
*Intel GPU
대량 병렬 처리에 적합하며 AI 학습에서 사실상 표준.
===ASIC 기반 AI 가속기===
딥러닝을 위해 설계된 전용 칩.
*[[TPU]] (Google Tensor Processing Unit)
*Apple Neural Engine (ANE)
*Cerebras Wafer-Scale Engine (WSE)
*Tesla Dojo
*Edge TPU, Habana Gaudi 등
높은 성능/Watt를 제공하지만 유연성은 낮다.
===FPGA 기반 AI 가속기===
프로그래머블 하드웨어로, 빠르고 유연한 AI 프로토타이핑에 적합.
*Xilinx Alveo
*Intel Arria/Stratix FPGA
특정 연산을 하드웨어로 직접 설계할 수 있으나 최대 성능은 ASIC보다 낮다.
===NPU (Neural Processing Unit)===
스마트폰·엣지 장치용 AI 전용 유닛.
*Apple ANE
*Samsung NPU
*Qualcomm Hexagon DSP
*MediaTek APU
==AI 가속기와 CPU/GPU의 관계==
AI 가속기는 전체 프로그램을 실행하는 것이 아니라, 딥러닝과 관련된 특정 부분만 가속한다.

예:
*전체 앱 로직 → CPU
*Preprocessing → CPU/GPU
*CNN/Transformer inference → AI Accelerator
*Post-processing → CPU
즉, AI 가속기는 시스템 내 다른 프로세서들과 함께 동작한다.
==AI 가속기 설계의 핵심 목표==
*높은 throughput
*낮은 latency
*낮은 전력 소비
*높은 메모리 대역폭 이용 효율
*DRAM 접근 최소화
*연산/메모리 병렬성 극대화
*모델 병렬/데이터 병렬 지원
==활용 분야==
*대규모 AI 학습 및 추론
*자연어 처리 (LLM, Transformer)
*컴퓨터 비전 (CNN, ViT)
*자율주행 시스템
*스마트폰 및 IoT 디바이스
*온디바이스(Edge) AI
*데이터센터 AI 최적화
==AI 가속기 vs GPU vs ASIC vs FPGA==
{| class="wikitable"
!특성
!AI 가속기(일반)
!GPU
![[ASIC]]
![[FPGA]]
|-
|목적||AI 특화 연산 가속||범용 병렬 연산||특정 목적 전용||프로그래머블 하드웨어
|-
|성능/Watt||매우 높음||중간||최고 수준||중간
|-
|유연성||중간~낮음||높음||매우 낮음||매우 높음
|-
|개발 비용||다양함||낮음||매우 높음||낮음
|-
|적합한 작업||CNN, Transformer, inference||학습 + 범용 연산||대규모 inference||프로토타이핑 및 특수 목적
|}
==함께 보기==
*[[GPU]]
*[[TPU]]
*[[ASIC]]
*[[FPGA]]
*[[DRAM]]
*[[SRAM]]
*[[딥 러닝]]
*[[Tensor Core]]
*[[Systolic Array]]
==참고 문헌==
*Google TPU 논문
*NVIDIA GPU Architecture Whitepapers
*Xilinx Alveo 및 인텔 FPGA 문서
*Neuromorphic 및 NPU 관련 연구 자료
*AI Accelerator 설계 관련 학술 논문
[[분류:인공지능]]
[[분류:하드웨어]]

DRAM

2025-11-19T20:26:21Z

인공무능: 새 문서: '''DRAM'''(Dynamic Random-Access Memory, 동적 랜덤 접근 메모리)은 컴퓨터 및 전자 기기에서 주기억장치(main memory)로 널리 사용되는 반도체 메모리 기술이다. DRAM은 메모리 셀에 저장된 전하가 시간이 지나면 자연 방전되기 때문에, 일정 간격으로 재충전(refresh)해야 한다. 이러한 특성 때문에 "동적(dynamic)"이라는 이름이 붙었다. ==개요== DRAM은 CPU, GPU, 모바일 기기, 서버, AI 가...

'''DRAM'''(Dynamic Random-Access Memory, 동적 랜덤 접근 메모리)은 컴퓨터 및 전자 기기에서 주기억장치(main memory)로 널리 사용되는 반도체 메모리 기술이다. DRAM은 메모리 셀에 저장된 전하가 시간이 지나면 자연 방전되기 때문에, 일정 간격으로 재충전(refresh)해야 한다. 이러한 특성 때문에 "동적(dynamic)"이라는 이름이 붙었다.

==개요==
DRAM은 CPU, GPU, 모바일 기기, 서버, AI 가속기 등 다양한 시스템에서 주 메모리로 사용된다. DRAM은 SRAM에 비해 느리지만, 집적도가 높아 더 많은 데이터를 저장할 수 있으며 가격이 저렴하다.

대표적인 DRAM 종류에는 DDR(Desktop/Server용), LPDDR(모바일용), HBM(고대역폭 메모리)이 있다.
==DRAM의 구조==
DRAM은 다음과 같은 구성 요소로 이루어진다:
===메모리 셀 (1T1C 구조)===
*'''1개의 트랜지스터 + 1개의 커패시터'''로 이루어진 매우 간단한 구조
*커패시터가 전하(charge)를 저장하며, 0/1 값을 표현
*시간이 지나면 전하가 새기 때문에 주기적 refresh 필요
===Wordline / Bitline===
*Wordline: 특정 행(row)을 선택
*Bitline: 데이터를 읽거나 쓰는 통로
===Bank / Row / Column 구조===
DRAM은 Bank・Row・Column으로 구성되어 있으며, row를 한 번 열면(row open) 해당 row의 데이터 접근이 더 빠르다.
==DRAM의 장단점==
===장점===
*높은 집적도 → 대용량 구현 가능
*가격이 저렴함
*대부분의 컴퓨터 시스템에서 표준 주기억장치
===단점===
*비휘발성 아님 (전원 끄면 데이터 사라짐)
*refresh 필요 → 전력 소모
*SRAM보다 접근 시간이 느림
*On-chip SRAM 대비 latency가 매우 큼
==DRAM 성능 특성==
DRAM은 지방성(locality)에 따라 성능 편차가 크다.

'''Row Buffer Hit'''

* 같은 Row 내에서 반복 접근 → 빠름

'''Row Buffer Miss'''

* 다른 Row로 이동하면 precharge & activate 과정 필요 → 느림

'''Latency'''

* DRAM latency는 수십 ns~백 ns로, SRAM(수 ns)과 큰 격차가 있다.

==DRAM과 AI Accelerator==
AI Accelerator 구조에서 DRAM은 매우 중요한 역할을 한다.
===DRAM의 높은 에너지 비용===
딥러닝 가속기에서 가장 큰 병목은 출입/메모리 이동 비용이다.

Normalized Energy Cost 예:
*ALU 연산 = 1×
*Register File = 2×
*On-chip SRAM(Buffer) = 6×
*'''DRAM 접근 = 200×'''
즉:

'''딥러닝 연산에서 계산보다 더 비싼 것은 DRAM에서 데이터를 불러오는 비용이다.'''
===DRAM의 역할 (AI 가속기에서)===
*모델 가중치(Weights), Activation, Intermediate tensor의 대규모 저장 공간
*On-chip SRAM에 올려놓지 못한 데이터를 캐싱하는 역할
*GPU/TPU의 HBM 또한 DRAM의 고성능 버전임
===DRAM 병목 해결을 위한 기술===
*On-chip SRAM(Activation SRAM, Weight SRAM) 확장
*데이터 재사용(Data Reuse) 극대화
*Systolic array 구조로 DRAM 왕복 최소화
*HBM (High Bandwidth Memory) 도입
*Memory tiling, blocking, fusion 최적화
==DRAM과 SRAM 비교==
{| class="wikitable"
!항목
!DRAM
!SRAM
|-
|구조||1T1C (트랜지스터+커패시터)||6T (6개의 트랜지스터)
|-
|속도||느림||빠름
|-
|refresh||필요함||불필요
|-
|집적도||높음||낮음
|-
|가격||저렴함||비쌈
|-
|용도||주기억장치(DDR, LPDDR, HBM)||Cache, on-chip buffer
|}
==DRAM의 종류==
===[[DDR (메모리)|DDR]] (Double Data Rate DRAM)===
데스크톱/서버 메모리의 표준 규격.
===[[LPDDR]]===
모바일 기기용 저전력 DRAM.
===[[HBM]] (High Bandwidth Memory)===
GPU/AI 가속기용 초고대역폭 DRAM. HBM은 칩과 매우 가까운 3D 스택 구조로 배치되어 대역폭을 극대화한다.
==활용 분야==
*컴퓨터, 서버, 노트북
*스마트폰 및 태블릿
*GPU 및 AI 가속기 메모리(HBM)
*게임 콘솔
*네트워크 장비
*임베디드 시스템
==함께 보기==
*[[SRAM]]
*[[HBM]]
*[[GPU]]
*[[TPU]]
*[[AI 가속기|AI Accelerator]]
*[[메모리 계층 구조]]
*[[딥 러닝 가속기]]
==참고 문헌==
*DRAM 아키텍처 기술 문서
*JEDEC DDR/LPDDR/HBM 규격
*AI Accelerator 및 메모리 계층 최적화 관련 학술 논문
[[분류:컴퓨터 구조]]
[[분류:하드웨어]]

CuBLAS

2025-11-19T20:13:59Z

인공무능: 새 문서: '''cuBLAS'''는 NVIDIA가 제공하는 고성능 GPU 가속 선형대수(Liner Algebra) 라이브러리로, BLAS(Basic Linear Algebra Subprograms) 표준을 GPU에서 빠르게 실행할 수 있도록 구현한 라이브러리이다. 행렬-벡터 곱, 행렬-행렬 곱(GEMM), 벡터 연산 등 딥러닝과 과학 계산의 핵심 연산을 효율적으로 처리하기 위해 최고의 성능을 제공한다. ==개요== cuBLAS는 CPU에서 실행되는 BLAS를 GPU로 이식한...

'''cuBLAS'''는 NVIDIA가 제공하는 고성능 GPU 가속 선형대수(Liner Algebra) 라이브러리로, BLAS(Basic Linear Algebra Subprograms) 표준을 GPU에서 빠르게 실행할 수 있도록 구현한 라이브러리이다. 행렬-벡터 곱, 행렬-행렬 곱(GEMM), 벡터 연산 등 딥러닝과 과학 계산의 핵심 연산을 효율적으로 처리하기 위해 최고의 성능을 제공한다.

==개요==
cuBLAS는 CPU에서 실행되는 BLAS를 GPU로 이식한 것이 아니라, NVIDIA GPU 아키텍처 특성을 적극 활용하여 재설계한 고성능 라이브러리이다. 딥러닝 프레임워크(PyTorch, TensorFlow), HPC(고성능 컴퓨팅), 시뮬레이션, 공학 계산 등 다양한 분야에서 핵심 연산 엔진으로 사용된다.
==주요 기능==
===행렬-행렬 곱 (GEMM)===
GEMM은 "General Matrix-Matrix Multiplication"의 약자로, cuBLAS의 핵심이며 다음과 같은 연산을 GPU에서 매우 빠르게 수행한다:<syntaxhighlight lang="text">
C = α * A * B + β * C
</syntaxhighlight>GEMM 연산은 신경망의:
*Linear layer (Fully Connected Layer)
*Attention(QKᵀ, QKᵀV)
*Transformer의 projection layer
*CNN의 im2col 기반 convolution
등에서 가장 많이 사용된다.
===행렬-벡터 곱 (GEMV) 및 벡터 연산===
*GEMV: Matrix-Vector Multiplication
*DOT: dot product
*AXPY: Y ← αX + Y
*SCAL: scaling
*ASUM, NRM2 등 다양한 BLAS Level-1/2 연산 지원
cuBLAS는 일반 수학 및 물리 계산에서도 널리 쓰인다.
===Mixed Precision 지원===
현대 GPU의 Tensor Core를 활용해 다음 정밀도의 고속 연산을 지원한다:
*FP32
*FP16
*BF16
*TF32
특히 딥러닝에서는 FP16/BF16 기반 연산이 표준이며 cuBLAS는 이를 최적화하여 매우 높은 throughput을 제공한다.
==cuDNN과의 관계==
cuBLAS는 '''일반 선형대수 연산'''을 담당하고, '''cuDNN은 딥러닝 전용 연산'''을 담당하는 구조이다.
{| class="wikitable"
!항목
!cuBLAS
!cuDNN
|-
|목적||선형대수(행렬, 벡터 연산)||딥러닝 특화 연산(Conv, RNN, Norm 등)
|-
|대표 기능||GEMM, DOT, AXPY, SCAL||Conv, Pool, BatchNorm, RNN
|-
|딥러닝에서의 역할||Dense layer / Attention 가속||CNN / RNN 가속
|}예를 들어 Transformer 모델은 대부분의 연산이 GEMM 기반이므로 cuBLAS 의존도가 크다.
==성능 특징==
===고성능 연산 최적화===
*NVIDIA GPU 아키텍처(SM, Warp, Tensor Core)에 맞춘 최적화
*Strided memory access 최적화
*Fused-multiply-accumulate(FMA) 활용
===Tensor Core 가속===
*Ampere, Hopper 등의 아키텍처에서 Mixed Precision 기반 연산을 극적으로 가속
*FP16/BF16 기반 연산은 cuBLAS가 가장 빠른 matmul 성능을 제공
===대규모 HPC 및 ML 워크로드 기반===
다중 GPU, 분산 처리 환경에서 성능을 최대로 끌어올릴 수 있도록 설계되었다.
==딥러닝 프레임워크와의 통합==
cuBLAS는 다음 프레임워크에서 내부적으로 자동 사용된다:
===PyTorch===
*`torch.matmul`, `nn.Linear`, `attention` 연산은 cuBLAS 기반
*대부분의 Tensor Core matmul은 cuBLASLt backend 사용
===TensorFlow===
*Dense layer (MatMul), attention, projection layer에서 활용
*XLA를 통한 fused matmul도 cuBLAS 기반
===JAX===
*XLA 내부에서 cuBLAS를 호출해 matmul을 가속
==cuBLASLt==
NVIDIA는 matmul 최적화를 더 강화한 ''cuBLASLt'' 라이브러리를 제공한다:
*튜닝 가능한 high-performance GEMM
*다양한 layout 지원
*자동 kernel selection
*더 강력한 Tensor Core 활용
PyTorch와 TensorFlow는 대형 모델에서 cuBLAS 대신 cuBLASLt를 활용하는 경우가 많다.
==아키텍처==
cuBLAS는 다음 구성 요소로 이루어진다:
*GPU kernel 라이브러리
*고성능 GEMM 알고리즘
*Tensor Core acceleration engine
*메모리/stride layout 최적화
==장점==
*GPU에서 가장 빠른 범용 선형대수 성능 제공
*딥러닝, HPC, 물리 시뮬레이션 등 폭넓은 활용
*Tensor Core 최적화와 mixed precision 지원
*프레임워크에서 자동 사용 → 사용자 설정 불필요
==한계==
*NVIDIA GPU 전용
*딥러닝 특화 연산(Conv, RNN 등)은 cuDNN 필요
*사용자 정의 커널에는 Triton 또는 CUDA 필요
==함께 보기==
*[[cuDNN]]
*[[CUDA]]
*[[PyTorch]]
*[[TensorFlow]]
*[[BLAS]]
*[[Triton]]
*[[GPU]]
==참고 문헌==
*Dongarra, Jack J., et al. ''A Proposed Standard for Basic Linear Algebra Subprograms.'' (BLAS specification)
[[분류:인공지능]]
[[분류:병렬 처리]]

CuDNN

2025-11-19T20:08:11Z

인공무능: 새 문서: '''cuDNN'''(CUDA Deep Neural Network Library)은 NVIDIA가 제공하는 고성능 GPU 가속 딥러닝 라이브러리로, 합성곱 신경망(Convolutional Neural Networks), 순환 신경망(RNN), 정규화, 활성화 함수 등 딥러닝에서 자주 사용되는 연산을 최적화된 GPU 커널로 제공한다. TensorFlow, PyTorch, JAX 등 대부분의 주요 딥러닝 프레임워크는 cuDNN을 자동으로 사용하여 GPU에서의 학습 및 추론 성능을 크게 향...

'''cuDNN'''(CUDA Deep Neural Network Library)은 NVIDIA가 제공하는 고성능 GPU 가속 딥러닝 라이브러리로, 합성곱 신경망(Convolutional Neural Networks), 순환 신경망(RNN), 정규화, 활성화 함수 등 딥러닝에서 자주 사용되는 연산을 최적화된 GPU 커널로 제공한다. TensorFlow, PyTorch, JAX 등 대부분의 주요 딥러닝 프레임워크는 cuDNN을 자동으로 사용하여 GPU에서의 학습 및 추론 성능을 크게 향상시킨다.

==개요==
cuDNN은 개발자가 복잡한 CUDA 코드를 직접 작성하지 않아도 딥러닝 주요 연산을 빠르고 안정적으로 GPU에서 수행할 수 있도록 설계된 라이브러리이다. NVIDIA GPU 아키텍처에 맞춰 깊이 최적화되어 있으며, 커널 선택 및 오토튜닝(autotuning), 텐서 코어 활용, 혼합 정밀도(mixed precision) 연산 등을 지원한다.

cuDNN은 다음과 같은 특징을 가진다:
*딥러닝에 특화된 고성능 GPU 커널 제공
*복잡한 CUDA 커널 작성 불필요
*프레임워크에서 자동 사용
*최신 텐서 코어(Tensor Core)를 이용한 높은 효율
==지원하는 주요 연산==
===합성곱 연산 (Convolution)===
cuDNN의 가장 핵심 기능으로, CNN에서 필요한 2D/3D convolution을 다양한 최적화 알고리즘과 함께 제공한다.
*direct convolution
*FFT-based convolution
*Winograd convolution
*자동 알고리즘 선택 및 autotune 기능
===풀링 (Pooling)===
*Max pooling
*Average pooling
*Global pooling
===정규화 (Normalization)===
*Batch Normalization
*Layer Normalization
*Group Normalization
===활성화 함수 (Activation Functions)===
*ReLU
*Leaky ReLU
*ELU
*tanh
*sigmoid
===RNN / LSTM 연산===
순환 신경망(RNN), GRU, LSTM 등 시퀀스 모델링을 위한 최적화된 커널 제공.
==성능 특징==
===텐서 코어(Tensor Core) 최적화===
NVIDIA Volta, Turing, Ampere, Hopper 아키텍처에서 제공되는 텐서 코어를 활용하여:
*FP16, BF16, TF32 등 저정밀도 연산 가속
*매우 높은 throughput
*대규모 딥러닝 모델 학습 속도 향상
===Mixed Precision 지원===
FP16, BF16 기반의 가속을 지원하며, AMP(Automatic Mixed Precision)와 함께 사용할 경우 정확도를 유지하면서 속도 및 메모리 효율을 크게 높일 수 있다.
===알고리즘 자동 선택 (Autotuning)===
입력 크기, GPU 아키텍처에 따라 가장 빠른 커널 알고리즘을 자동으로 선택하는 기능을 제공한다.
==PyTorch, TensorFlow와의 통합==
대부분의 딥러닝 프레임워크는 cuDNN을 내부적으로 자동 호출한다.
===PyTorch===
*`torch.nn.Conv2d`, `RNN/LSTM`, `BatchNorm` 등은 내부적으로 cuDNN 커널을 사용한다.
*`torch.backends.cudnn.benchmark = True` 시, 자동 autotuning 활성화.
===TensorFlow===
*Keras Conv2D, LSTM, BatchNorm 등이 cuDNN 기반으로 가속됨.
*GPU 런타임이 cuDNN과 자동 연동됨.
===JAX===
*일부 convolution, normalization 연산이 cuDNN을 통해 가속됨.
==[[cuBLAS]]와의 차이==
cuDNN은 딥러닝에 특화된 연산을 제공하는 반면, '''cuBLAS'''는 범용 선형대수 연산(GEMM 등)을 제공한다.
{| class="wikitable"
!항목
!cuDNN
!cuBLAS
|-
|목적||딥러닝 전용 연산||선형대수 일반 연산
|-
|대표 기능||Conv, Pooling, Norm, RNN||Matmul(GEMM), Dot, Axpy
|-
|사용 프레임워크||PyTorch, TensorFlow, JAX||PyTorch, TensorFlow, NumPy GPU 버전 등
|-
|장점||CNN/RNN 최적화, autotune||기본 matmul 고성능
|}
==아키텍처==
cuDNN은 다음 요소로 구성된다:
*고성능 CUDA 커널 라이브러리
*알고리즘 선택 엔진
*텐서 코어 컨트롤러
*메모리 최적화 유닛
*다양한 딥러닝 primitive API
==장점==
*높은 성능으로 CNN 및 RNN 학습 속도 향상
*안정적인 GPU 가속 지원
*CUDA보다 개발 난이도가 낮음
*프레임워크에서 자동으로 호출되므로 사용자가 별도 설정 필요 없음
==한계==
*NVIDIA GPU 전용
*완전한 커스텀 연산은 Triton 또는 CUDA가 필요
*커널이 블랙박스 형태로 제공되어 세부 수정 불가능
==함께 보기==
*[[cuBLAS]]
*[[CUDA]]
*[[PyTorch]]
*[[TensorFlow]]
*[[딥 러닝 컴파일러]]
*[[Triton]]
==참고 문헌==
*Chetlur, Sharan, et al. ''cuDNN: Efficient primitives for deep learning.'' arXiv:1410.0759 (2014).
*NVIDIA cuDNN 공식 문서
[[분류:인공지능]]

PyTorch

2025-11-19T20:05:07Z

인공무능: 파이토치 문서로 넘겨주기

#넘겨주기 [[파이토치]]

파이토치

2025-11-19T20:04:45Z

인공무능: 새 문서: '''PyTorch'''는 Meta(구 Facebook) AI Research(FAIR)에서 개발한 딥러닝 프레임워크로, 동적 계산 그래프(dynamic computation graph)와 파이썬 친화적 인터페이스를 기반으로 한 고성능 머신 러닝/딥러닝 라이브러리이다. 자연어 처리, 컴퓨터 비전, 대규모 모델 연구 등 다양한 분야에서 사실상 표준적으로 사용되는 프레임워크 중 하나이다. ==개요== PyTorch는 파이썬 문법과 자연스럽...

'''PyTorch'''는 Meta(구 Facebook) AI Research(FAIR)에서 개발한 딥러닝 프레임워크로, 동적 계산 그래프(dynamic computation graph)와 파이썬 친화적 인터페이스를 기반으로 한 고성능 머신 러닝/딥러닝 라이브러리이다. 자연어 처리, 컴퓨터 비전, 대규모 모델 연구 등 다양한 분야에서 사실상 표준적으로 사용되는 프레임워크 중 하나이다.

==개요==
PyTorch는 파이썬 문법과 자연스럽게 통합된 프로그래밍 모델을 제공하며, 텐서 연산, 자동 미분(autograd), GPU 가속, 모델 학습 및 배포 지원 등을 포함한다. 동적 실행 방식(eager execution)을 중심으로 설계되어 코드 흐름이 자연스럽고 디버깅이 쉬우며, 연구자·개발자에게 높은 생산성을 제공한다.
==역사==
PyTorch는 2016년 Meta AI Research에서 처음 공개되었으며, 초기 Torch(Lua 기반)의 철학과 Chainer의 define-by-run 동적 그래프 아이디어를 발전시켜 현대적인 파이썬 기반 프레임워크로 재구성되었다. 주요 초기 개발자는 Adam Paszke, Soumith Chintala, Sam Gross, Gregory Chanan 등이다.

PyTorch는 이후 활발한 커뮤니티 성장과 더불어 산업계·연구계에서 폭넓은 채택을 이루었으며, 2023년 PyTorch Foundation이 설립되며 독립적인 오픈소스 생태계를 형성하게 되었다.
==특징==
===동적 계산 그래프 (Define-by-Run)===
PyTorch는 실행 즉시 그래프를 구성하는 동적 그래프 방식을 사용한다.
*파이썬 제어 흐름(if, for, while) 자유롭게 사용 가능
*디버깅이 쉽고 직관적
*복잡한 모델 구조 정의에 유리
===Autograd (자동 미분 엔진)===
PyTorch의 autograd는 연산 그래프를 기록하고 역전파(backpropagation)를 자동으로 계산한다.
*다양한 연산에 대한 미분 규칙 내장
*reverse-mode automatic differentiation 기반
*커스텀 autograd 함수 정의 가능
예시:<syntaxhighlight lang="python">
import torch
x = torch.tensor(2.0, requires_grad=True)
y = x*2 + x*3
y.backward()
print(x.grad) # 5.0
</syntaxhighlight>
===고성능 텐서 연산===
PyTorch는 CPU/CUDA 백엔드(ATen)를 통해 고성능 텐서 연산을 제공하며, GPU 가속을 위한 CUDA, cuDNN, cuBLAS를 비롯해 다양한 최적화 기능을 활용한다.
===TorchScript 및 컴파일 기능===
PyTorch 1.x에서 제공된 TorchScript는 모델을 직렬화하고 최적화된 실행을 가능하게 한다. PyTorch 2.0에서는 다음과 같은 새로운 컴파일 스택이 도입되었다:
*'''TorchDynamo''' – Python bytecode 분석 기반 그래프 추출
*'''AOTAutograd''' – Autograd 그래프 분리
*'''TorchInductor''' – 커널 최적화 및 코드 생성
*'''[[Triton (인공지능)|Triton]]''' – GPU 커널 자동 생성 및 고성능 fused kernel 활용
이를 통해 동적 그래프 기반 PyTorch에서도 정적 최적화 수준의 고성능을 달성한다.
===NumPy 친화성===
PyTorch는 NumPy 배열과 텐서를 손쉽게 변환하며, 메모리를 공유할 수 있다.
*`torch.from_numpy()`
*`tensor.numpy()`
===멀티플랫폼 지원===
*CPU, GPU(NVIDIA CUDA), AMD ROCm
*모바일 — PyTorch Mobile
*서버 및 클라우드 — TorchServe, ONNX 변환 가능
==아키텍처==
PyTorch의 내부 구조는 크게 다음과 같다:
===Python Frontend===
사용자가 작성하는 파이썬 코드. 네트워크 정의, 제어 흐름, 모델 조립 등을 담당.
===ATen Tensor Library===
PyTorch의 핵심 텐서 라이브러리.
*C++로 구현
*CPU/GPU 공통 API
*operator dispatch 시스템을 통해 디바이스 선택
===Autograd Engine===
연산 그래프를 기록하고 역전파를 계산하는 C++ 기반 엔진.
===Backend Kernels===
*CUDA kernels
*cuBLAS, cuDNN
*Triton kernels (PyTorch 2.0 이후)
===Memory Management===
*CPU allocator
*GPU caching allocator
*pinned memory 지원
==주요 기능==
===신경망 모듈 (torch.nn)===
신경망 레이어, 손실 함수, 활성화 함수, 컨테이너 모듈 등 제공.
===최적화(optim)===
SGD, Adam, RMSProp 등 다양한 옵티마이저 제공.
===데이터 로더===
효율적인 mini-batch 관리를 위한 Dataset/DataLoader API 제공.
===분산 학습===
*DistributedDataParallel (DDP)
*RPC Framework
*Fully Sharded Data Parallel (FSDP)
==채택 사례==
*대형 언어 모델(LLM) 연구
*컴퓨터 비전 모델(ResNet, ViT 등)
*자연어 처리(BERT, GPT 등)
*강화학습
*대규모 분산 학습
==함께 보기==
*[[Triton]]
*[[TensorFlow]]
*[[JAX]]
*[[ONNX]]
*[[자동 미분]]
*[[GPU]]
==참고 문헌==
*Paszke, Adam, et al. ''PyTorch: An imperative style, high-performance deep learning library.'' Advances in Neural Information Processing Systems 32 (2019).
[[분류:인공지능]]
[[분류:파이썬]]
[[분류:프로그래밍]]

Triton (인공지능)

2025-11-19T19:51:43Z

인공무능: 새 문서: '''Triton'''은 Python 기반으로 GPU 커널을 작성할 수 있게 해주는 오픈소스 언어 및 컴파일러로, 고성능 CUDA 수준의 연산을 훨씬 간단한 코드로 구현할 수 있도록 설계되었다. 원래 Harvard 및 OpenAI에서 개발되었으며, 현재는 PyTorch의 컴파일 스택에 통합되어 딥러닝 연산 최적화를 위해 널리 사용되고 있다. ==개요== Triton은 연구자와 개발자가 복잡하고 오류가 발생하기 쉬...

'''Triton'''은 Python 기반으로 GPU 커널을 작성할 수 있게 해주는 오픈소스 언어 및 컴파일러로, 고성능 CUDA 수준의 연산을 훨씬 간단한 코드로 구현할 수 있도록 설계되었다. 원래 Harvard 및 OpenAI에서 개발되었으며, 현재는 PyTorch의 컴파일 스택에 통합되어 딥러닝 연산 최적화를 위해 널리 사용되고 있다.

==개요==
Triton은 연구자와 개발자가 복잡하고 오류가 발생하기 쉬운 CUDA C++ 코드를 직접 작성하지 않고도, Python 스타일의 간결한 문법으로 고성능 GPU 커널을 작성할 수 있게 한다. Triton 컴파일러는 이러한 코드를 GPU 실행 가능한 저수준 커널 코드로 자동 변환하며, 연산 최적화, 자동 타일링, 벡터라이제이션 등 다양한 성능 향상 기능을 제공한다.
==특징==
===Python 기반 GPU 커널 작성===
Triton은 GPU 커널을 Python 코드처럼 작성하며, 이를 컴파일하여 CUDA 수준의 고성능을 제공한다.
*Python과 유사한 문법
*저수준 메모리 접근 및 병렬 처리 구조를 자동 최적화
*복잡한 CUDA boilerplate 코드 불필요
===자동 타일링 및 벡터라이제이션===
Triton 컴파일러는 matmul, convolution 같은 구조화된 연산에 대해:
*자동 타일 크기 선택
*Vectorized memory load/store
*Shared memory 활용
*워프/스레드 구조 최적화
를 처리하여, GPU 아키텍처에 맞춘 성능 이식성을 제공한다.
===커널 Fusion 친화적 구조===
Triton은 PyTorch 2.0의 TorchInductor와 결합하여 연산 그래프의 연속된 연산들을 하나의 fused kernel로 압축할 수 있다. 이는 메모리 왕복 및 커널 호출 오버헤드를 크게 감소시키며, 트레이닝 및 추론 성능 향상에 기여한다.
===간결한 문법===
예시:<syntaxhighlight lang="python">
import triton
import triton.language as tl

@triton.jit
def matmul_kernel(a_ptr, b_ptr, c_ptr, M, N, K):
pid = tl.program_id(0)
row = pid * 16 + tl.arange(0, 16)
col = tl.arange(0, 16)
a = tl.load(a_ptr + row[:, None] * K + tl.arange(0, K))
b = tl.load(b_ptr + tl.arange(0, K)[:, None] * N + col)
c = tl.dot(a, b)
tl.store(c_ptr + row[:, None] * N + col, c)
</syntaxhighlight>위 코드는 전형적인 16×16 타일 기반 행렬 곱셈 커널이며, CUDA와 비교하면 훨씬 짧고 직관적이다.
==필요성 및 배경==
GPU 프로그래밍은 전통적으로 CUDA C++을 사용해야 했지만:
*boilerplate 코드가 많고
*메모리 접근 패턴 설계가 어렵고
*오류 발생률이 높으며
*cuDNN/cuBLAS가 제공하지 않는 커스텀 fused kernel이 필요할 때 문제가 발생했다.
Triton은 이러한 문제를 해결하기 위해 등장한 언어로, 프레임워크 개발자 및 연구자들이 보다 쉽게 커스텀 고성능 GPU 연산을 구축할 수 있게 한다.
==PyTorch와의 통합==
PyTorch 2.0에서 Triton은 중요한 역할을 한다.
===TorchInductor Backend===
*PyTorch eager graph를 분석
*연산을 그룹화(fusion)
*Triton kernel로 자동 생성
*GPU에서 실행
이를 통해 기존 PyTorch 대비 상당한 성능 향상을 제공한다.
===예시 활용 분야===
*LayerNorm, Softmax 같은 element-wise 연산 최적화
*Attention 연산의 fused kernel
*Custom matmul / conv 변형
*Transformer block 내 다양한 연산 통합
==장점==
*CUDA 수준의 성능을 Python 기반으로 달성 가능
*학습曲線이 CUDA보다 훨씬 낮음
*유지보수 및 커스텀 연산 개발에 유리
*PyTorch와의 긴밀한 통합으로 실질적 속도 향상 제공
==한계==
*CUDA, cuDNN, cuBLAS만큼 성숙하지는 않음
*매우 복잡한 커널이나 SM 구조에 최적화된 커널은 직접 CUDA로 작성해야 할 수도 있음
*NVIDIA GPU 중심 생태계 (다른 GPU 아키텍처 지원은 제한적)
==함께 보기==
*[[PyTorch]]
*[[CUDA]]
*[[GPU]]
*[[자동 미분]]
*[[딥 러닝 컴파일러]]
*[[XLA]]
==참고 문헌==
*T. Tillet, H.-T. Kung, D. Cox, ''Triton: An intermediate language and compiler for tiled neural network computations.'' Proceedings of ACM SIGPLAN International Workshop on Machine Learning and Programming Languages (2019).
*PyTorch Triton 공식 문서
[[분류:인공지능]]

딥 러닝 프레임워크

2025-11-19T16:57:17Z

인공무능: 새 문서: '''딥 러닝 프레임워크(Deep Learning Frameworks)'''는 인공 신경망 모델을 정의하고 학습하며 배포하기 위한 소프트웨어 도구와 라이브러리의 집합이다. 이러한 프레임워크는 자동 미분(autograd), 텐서 연산, GPU 가속, 모델 구조화, 데이터 파이프라인 구성 등 복잡한 과정을 추상화하여 연구자와 개발자가 효율적으로 딥러닝 모델을 개발할 수 있도록 돕는다. 딥러닝 프레임...

'''딥 러닝 프레임워크(Deep Learning Frameworks)'''는 인공 신경망 모델을 정의하고 학습하며 배포하기 위한 소프트웨어 도구와 라이브러리의 집합이다. 이러한 프레임워크는 자동 미분(autograd), 텐서 연산, GPU 가속, 모델 구조화, 데이터 파이프라인 구성 등 복잡한 과정을 추상화하여 연구자와 개발자가 효율적으로 딥러닝 모델을 개발할 수 있도록 돕는다.

딥러닝 프레임워크는 크게 '''그래프 모드(Graph Mode)'''와 '''이거 모드(Eager Mode)'''로 구분된다.
==개요==
딥러닝 프레임워크는 수학적 연산을 텐서 기반의 API로 제공하며, 학습 시 필요한 역전파(backpropagation), 옵티마이저, 손실 함수 등을 포함한다. 최근에는 컴파일러 기술, 그래프 최적화, 하드웨어 가속기 지원 등이 결합되면서 고성능 모델 학습 및 추론 환경을 제공한다.
==실행 방식에 따른 분류==
===그래프 모드(Graph Mode)===
그래프 모드는 정적 계산 그래프(static computation graph)를 먼저 정의한 뒤, 전체 그래프를 실행하는 방식이다.
;특징
*모델 구조를 먼저 그래프로 컴파일한 뒤 실행
*최적화 및 배포에 유리
*그래프 기반 분석 및 최적화 가능
*디버깅은 상대적으로 어려울 수 있음
;대표 프레임워크
*'''TensorFlow''' (초기 버전)
*'''Theano'''
*'''Caffe'''
===이거 모드(Eager Mode)===
이거 모드는 파이썬 코드가 실행되는 즉시 연산이 수행되는 동적 동작 방식이다.
;특징
*직관적인 파이썬 스타일 코드 작성
*실행 즉시 결과가 나오므로 디버깅 용이
*학습 개발 속도가 빠름
*최근에는 그래프 변환 및 컴파일 기능(TorchDynamo 등)으로 성능을 보완
;대표 프레임워크
*'''PyTorch'''
*'''Chainer'''
==주요 딥러닝 프레임워크 목록==
===PyTorch===
페이스북 AI Research(FAIR)에서 개발한 딥러닝 프레임워크로, 동적 그래프 기반 구조와 쉬운 디버깅이 장점이다. 연구자들에게 특히 인기가 높으며, PyTorch 2.0부터는 TorchDynamo, TorchInductor 등을 통한 컴파일 기능이 강화되었다.
===TensorFlow===
Google Brain에서 개발한 프레임워크로, 초기에는 정적 그래프 기반이었으나 TensorFlow 2.x에서 eager execution을 기본으로 채택하였다. 모바일 및 배포 생태계(TF Lite, TF Serving)가 잘 갖춰져 있다.
===Theano===
Python 기반 정적 그래프 프레임워크의 선구자로, 많은 현대 프레임워크의 기반 아이디어를 제공했다. 현재는 공식 개발이 종료되었다.
===Caffe===
이미지 처리에 특화된 초기 딥러닝 프레임워크로, 속도가 빠르고 모델 정의가 간결하지만 확장성은 제한적이다.
===Chainer===
Define-by-run 패러다임을 처음으로 제시한 동적 그래프 기반 프레임워크. PyTorch에 많은 영향을 주었으며 현재는 개발이 종료되었다.
==ML 소프트웨어–컴파일러 스택==
딥러닝 프레임워크는 하위 레벨의 컴파일러 및 하드웨어 가속기 기술과 결합하여 전체 ML 스택을 구성한다.
===ML Framework Layer===
모델을 정의하고 학습하는 고수준 인터페이스 계층 예: PyTorch, TensorFlow, Chainer, Caffe, Theano
===IR & 그래프 최적화 계층===
모델을 분석 가능한 중간 표현(IR)으로 변환하여 최적화 예: TorchDynamo, Torch FX, ONNX
===ML 컴파일러 / 코드 생성 계층===
그래프 최적화 결과를 기반으로 특정 하드웨어에 맞는 커널 코드를 생성 예: TVM, Triton, ONNX Runtime
===커널 라이브러리 계층===
행렬 연산 등 고성능 수학 연산이 구현된 저수준 라이브러리 예: cuDNN, cuBLAS, CUTLASS
===하드웨어 백엔드===
코드를 실제로 실행하는 물리적 장치 예: CPU, GPU, TPU, 기타 AI 가속기
==함께 보기==
*[[머신 러닝]]
*[[딥 러닝]]
*[[신경망]]
*[[GPU]]
*[[ONNX]]
==참고==
*PyTorch 공식 문서
*TensorFlow 공식 문서
*ONNX 기술 자료
[[분류:인공지능]]

MoDNN

2025-11-12T23:51:40Z

인공무능: 새 문서: MoDNN(Mobile Distributed Deep Neural Network, 2017년)은 여러 모바일 디바이스의 연산 자원을 결합하여 하나의 딥러닝 모델을 분산 추론하도록 설계된 기법이다. 단일 스마트폰이나 IoT 기기에서 처리하기 어려운 신경망 연산을 여러 노드가 협력하여 나누어 수행함으로써 추론 속도를 향상시키는 것을 목표로 한다. ==개요== MoDNN은 모바일 디바이스들이 서로 연결된 환경에서,...

MoDNN(Mobile Distributed Deep Neural Network, 2017년)은 여러 모바일 디바이스의 연산 자원을 결합하여 하나의 딥러닝 모델을 분산 추론하도록 설계된 기법이다. 단일 스마트폰이나 IoT 기기에서 처리하기 어려운 신경망 연산을 여러 노드가 협력하여 나누어 수행함으로써 추론 속도를 향상시키는 것을 목표로 한다.
==개요==
MoDNN은 모바일 디바이스들이 서로 연결된 환경에서, 각 디바이스의 CPU·GPU 성능과 배터리 상태를 실시간으로 평가하여 신경망 연산을 동적으로 분할한다. 이를 통해 단일 디바이스로는 실행이 어려운 대규모 신경망도 여러 노드가 협력하여 처리할 수 있도록 한다. MoDNN은 모델 일부를 나누어 실행하는 분산 추론(distributed inference)의 초기 연구 사례로 평가된다.
==구조==
MoDNN의 기본 구조는 다음과 같은 요소로 이루어진다.
*모바일 노드(Mobile Nodes): 각 스마트폰이나 IoT 디바이스가 하나의 노드가 되어 모델의 일부 레이어 또는 뉴런을 계산한다.
*2D 뉴런 분할(2D neuron partitioning): 신경망의 각 레이어를 2차원 격자 형태로 분할하여 여러 노드에 분배한다.
*동적 분할 스케줄러: 각 디바이스의 처리 속도, 배터리, 네트워크 상태를 고려하여 연산 비율을 조정한다.
*통신 모듈: 각 노드가 계산한 중간 특징(feature map)을 다른 노드 또는 중앙 노드로 전달한다.
==동작 방식==
===분산 연산===
모델의 레이어는 뉴런 단위 또는 타일(tile) 단위로 여러 기기에 나누어 배치된다. 각 노드는 자신에게 할당된 부분 연산을 수행하고, 그 결과를 다른 노드 또는 중앙 조합 모듈에 전달한다.
===BODP(Best-Order Dynamic Partitioning)===
MoDNN의 핵심 알고리즘은 BODP로, 다음과 같은 기능을 수행한다.
#각 노드의 연산 속도와 자원 상태를 측정한다.
#모델의 연산을 노드별로 최적의 비율로 나눈다.
#네트워크 상태 변화에 따라 분할 비율을 재조정한다.
===결과 병합===
각 노드가 계산한 출력(feature)을 중앙 결합 모듈이 통합하여 다음 레이어로 전달한다. 이 과정을 반복하여 최종 출력을 얻는다.
==특징==
*단일 디바이스의 연산 한계를 여러 모바일 기기의 협업으로 보완할 수 있다.
*네트워크 상태 및 디바이스 상태에 따라 동적으로 연산량을 분배한다.
*별도의 클라우드 서버 없이 모바일 환경에서 분산 추론이 가능하다.
==장점==
*고성능 디바이스 한 대가 아닌 여러 디바이스의 자원을 합쳐 대규모 모델을 처리할 수 있음
*실시간 연산 속도 개선
*모바일 환경에서도 병렬 처리를 활용한 효율성 증가
==단점==
*중간 특징(feature map) 송수신으로 인한 네트워크 비용 증가
*고성능 디바이스가 더 많은 연산을 떠맡아 배터리와 발열 부담이 커질 수 있음
*백그라운드에서 자원이 사용될 위험이 있어 실제 스마트폰 OS 정책과 충돌
*프라이버시 및 보안 문제 발생 가능성
*실용적 제약으로 인해 상용 서비스에서 거의 사용되지 않음
==같이 보기==
*[[DDNN (신경망, 2017년)|DDNN]]
*[[ADCNN]]
*[[Split Computing]]
*[[Edge AI]]
*[[신경망 분산 추론]]
==참고 문헌==
*Yiping Kang, Jian Li, Xuan Peng, K. Nahrstedt. “MoDNN: Local Distributed Mobile Computing System for Deep Neural Network.” 2017 Design, Automation & Test in Europe Conference (DATE).
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]
[[분류:분산 컴퓨팅]]

ADCNN

2025-11-12T23:15:44Z

인공무능: 새 문서: ADCNN(Adaptive Distributed Convolutional Neural Network, 2020년)은 여러 엣지(edge) 디바이스에 신경망의 연산을 적응적으로 분산시켜 추론 지연(latency)과 통신량을 줄이기 위한 딥러닝 분산추론(distributed inference) 기법이다. ==개요== ADCNN은 딥러닝 추론을 위해 하나의 중앙 서버나 클라우드에 모든 연산을 맡기는 대신, 여러 엣지 디바이스 클러스터에 연산을 적절히 분할해서 배치함...

ADCNN(Adaptive Distributed Convolutional Neural Network, 2020년)은 여러 엣지(edge) 디바이스에 신경망의 연산을 적응적으로 분산시켜 추론 지연(latency)과 통신량을 줄이기 위한 딥러닝 분산추론(distributed inference) 기법이다.
==개요==
ADCNN은 딥러닝 추론을 위해 하나의 중앙 서버나 클라우드에 모든 연산을 맡기는 대신, 여러 엣지 디바이스 클러스터에 연산을 적절히 분할해서 배치함으로써 전반적인 처리 시간을 줄이고 효율을 높인다. 특히, CNN의 초기 레이어 연산이 차지하는 비중이 크다는 관찰을 바탕으로, 공간적 분할(spatial partitioning)이나 태스크 분할(task tiling) 기법을 동적으로 적용한다.
==구조==
ADCNN은 다음과 같은 구성 요소를 포함한다:
*복수의 엣지 디바이스(edge devices): CNN 연산을 나눠서 병렬 처리한다.
*중앙 노드(central node): 여러 엣지 디바이스에서 부분 연산 결과를 수집하고 최종 출력을 계산한다.
*적응형 작업 분할(adaptive task partitioning) 모듈: 디바이스 성능과 네트워크 상태에 따라 연산을 분할 및 배분한다.
*통신 최적화 메커니즘: 채널 분할(channel-wise partition)이나 공간 분할(spatial partition) 시 발생하는 통신 오버헤드를 최소화하는 설계가 포함된다.
==동작 방식==
===태스크 분할 및 병렬 처리===
CNN의 초기 레이어가 시간이 많이 걸리므로, 이 레이어를 적절히 분할하여 여러 디바이스에 분배한다. 예컨대 입력 이미지의 타일(tile)을 여러 디바이스에 나눠서 처리하고, 부분 출력(feature map)을 모아서 후속 레이어를 수행한다.
===통신 오버헤드 감소===
채널 단위 분할 방식에서는 각 디바이스가 부분 출력 맵을 서로 교환해야 하므로 통신량이 커진다. ADCNN은 공간분할(spatial partition) 기반 방식이나 fully-decomposable partitions를 활용해 이 교환을 줄인다.
===적응형 부하 균형(adaptive load balancing)===
엣지 디바이스들 간 성능이 다르거나 네트워크 지연이 발생할 때, ADCNN은 태스크 배분을 동적으로 조절해 클러스터 전체가 병목 없이 동작하도록 한다.
==특징==
*CNN 추론 연산을 여러 엣지 디바이스에 효율적으로 분산하여 지연(latency)을 줄임
*통신 비용이 높은 분할 전략을 피하고, 통신량을 줄이는 구조 설계
*동적 환경(디바이스 성능 변화, 네트워크 지연 등)에서도 부하 균형을 가능하게 하는 적응형 메커니즘
==장점==
*단일 디바이스보다 훨씬 빠른 추론 속도 도달 가능
*엣지 환경에 적합한 분산 구조
*통신 및 네트워크 비용 절감
==단점==
*여러 디바이스·통신 구조·분할 전략을 관리해야 하므로 구현 복잡도 증가
*디바이스 간 동기화·결합된 출력(feature map 병합 등)에 대한 오버헤드 존재
*특정 CNN 구조나 환경에서는 분할 효과가 제한적일 수 있음
==같이 보기==
*[[신경망 분산 추론]]
*[[Edge AI]]
*[[모바일 엣지 컴퓨팅]]
*[[DDNN]]
*[[Split Computing]]
==참고 문헌==
*Zhang, Sai Qian; Lin, Jieyu; Zhang, Qi. [https://dl.acm.org/doi/10.1145/3404397.3404473 Adaptive Distributed Convolutional Neural Network Inference at the Network Edge with ADCNN]. Proceedings of the 49th International Conference on Parallel Processing (ICPP 2020).
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]

DDNN (신경망, 2017년)

2025-11-12T23:09:03Z

인공무능: 새 문서: DDNN(Distributed Deep Neural Network, 2017년)은 단일 기기에서 실행되는 신경망을 클라우드, 엣지, 디바이스 계층에 분산하여 협력적으로 추론을 수행하는 구조로, 입력 데이터의 특성에 따라 로컬 또는 클라우드에서 단계적으로 계산을 수행함으로써 지연(latency)과 통신 비용을 줄이는 것을 목표로 한다. ==개요== DDNN은 분산 환경에서 신경망 일부를 로컬 디바이스에 배치하...

DDNN(Distributed Deep Neural Network, 2017년)은 단일 기기에서 실행되는 신경망을 클라우드, 엣지, 디바이스 계층에 분산하여 협력적으로 추론을 수행하는 구조로, 입력 데이터의 특성에 따라 로컬 또는 클라우드에서 단계적으로 계산을 수행함으로써 지연(latency)과 통신 비용을 줄이는 것을 목표로 한다.
==개요==
DDNN은 분산 환경에서 신경망 일부를 로컬 디바이스에 배치하고, 나머지를 엣지 혹은 클라우드에 배치하는 계층적 구조를 가진다. 입력은 로컬 디바이스에서 처리되며, 로컬 모델이 충분한 확신(confidence)을 갖지 못할 경우 특징 벡터(feature vector)만 상위 계층으로 전달되어 추가 추론을 수행한다. 이는 분산 환경에서 효율적인 추론을 위한 협력적 인공지능(Collaborative Intelligence) 구조의 초기 형태로 평가된다.
==구조==
DDNN의 구조는 다음과 같은 계층적 요소로 이루어진다.
*로컬 디바이스(Local Device): 입력 데이터를 직접 수집하고 소형 신경망을 통해 1차 추론을 수행한다.
*로컬 종료(Local Exit): 로컬 신경망의 확신도가 충분할 경우 바로 예측을 내리는 조기 종료 지점이다.
*엣지/클라우드 계층: 로컬에서 확신도가 낮을 경우 특징 벡터만 전달받아 더 깊은 신경망을 실행하여 최종 추론을 수행한다.
*집계기(Aggregator): 여러 디바이스에서 전달된 특징을 결합하여 공동 추론을 수행할 수 있다.
==동작 방식==
===로컬 추론===
입력은 디바이스에서 바로 처리되며, 로컬 신경망은 특징을 추출한 뒤 예측 확률 분포를 계산한다. 예측의 확신도가 임계값을 넘으면 로컬 종료 지점에서 결과를 확정한다.
===계층적 전달===
확신도가 부족할 경우, 원본 데이터가 아닌 특징 벡터만 상위 계층(엣지 또는 클라우드)의 신경망으로 전송된다. 이는 통신 비용을 크게 줄이는 핵심 아이디어이다.
===클라우드 추론===
클라우드에서는 더 깊고 큰 신경망을 사용하여 보다 정확한 최종 추론을 수행한다. 여러 디바이스의 특징을 결합하는 방식도 가능하여 공동 추론 성능을 높일 수 있다.
==특징==
*계층적 분산 추론 구조를 통해 지연(latency)을 줄이고 효율적인 계산을 가능하게 한다.
*로컬 조기 종료를 통해 불필요한 통신을 최소화한다.
*분산 환경에서 여러 디바이스의 특징을 조합하여 정확도를 높일 수 있다.
*원본 데이터를 전송하지 않기 때문에 개인정보 보호 측면에서도 유리하다.
==장점==
*통신 비용 감소
*낮은 지연시간 기반 실시간 추론 가능
*디바이스 자원을 활용한 효율적 분산 처리
*네트워크 혼잡 상황에서도 안정적인 추론 가능
==단점==
*계층 간 모델 관리가 필요하며 구조가 복잡해질 수 있다.
*로컬 모델의 정확도에 따라 조기 종료 품질이 달라진다.
*각 계층의 모델을 동시에 학습·동기화해야 하는 부담이 존재한다.
==같이 보기==
*[[BranchyNet]]
*[[모바일 엣지 컴퓨팅]]
*[[분산 컴퓨팅]]
*[[신경망 분산 학습]]
*[[모델 경량화]]
==참고 문헌==
*Teerapittayanon, Surat; McDanel, Bradley; Kung, H. T. [https://arxiv.org/abs/1709.01921 Distributed Deep Neural Networks over the Cloud, the Edge and End Devices]. 2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS).
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]

브랜치넷

2025-11-12T22:48:37Z

인공무능: 새 문서: BranchyNet(브랜치넷)은 신경망의 중간 계층에 여러 개의 조기 종료 지점(exit branch)을 추가하여, 입력 데이터의 난이도에 따라 계산량을 동적으로 조절하는 신경망 구조이다. 이를 통해 쉬운 입력은 빠르게 처리하고, 어려운 입력만 전체 모델을 통과시키는 방식으로 추론 속도를 크게 향상시킨다. ==개요== BranchyNet은 입력 샘플의 난이도가 서로 다르다는 점에 착안하여...

BranchyNet(브랜치넷)은 신경망의 중간 계층에 여러 개의 조기 종료 지점(exit branch)을 추가하여, 입력 데이터의 난이도에 따라 계산량을 동적으로 조절하는 신경망 구조이다. 이를 통해 쉬운 입력은 빠르게 처리하고, 어려운 입력만 전체 모델을 통과시키는 방식으로 추론 속도를 크게 향상시킨다.
==개요==
BranchyNet은 입력 샘플의 난이도가 서로 다르다는 점에 착안하여 설계된 구조로, 쉬운 샘플은 적은 수의 레이어만 통과해도 올바른 예측이 가능하다는 가정에 기반한다. 이를 위해 네트워크의 여러 중간 지점에 분기(branch) 형태의 조기 분류기를 배치하고, 각 분류기의 confidence score를 기준으로 조기 종료 여부를 결정한다.
==구조==
BranchyNet의 일반적인 구조는 다음과 같은 특징을 가진다.
*신경망의 여러 중간 위치에 exit branch를 배치한다.
*각 exit branch는 보통 1~2개의 경량 분류기(예: Linear 또는 작은 CNN)로 구성된다.
*각 exit 지점에서 예측 확률의 엔트로피 또는 confidence score를 계산한다.
*사전 정의된 임계값을 넘으면 해당 지점에서 예측을 종료한다.
==동작 방식==
===조기 종료(Early Exiting)===
입력은 순차적으로 모델의 앞쪽 레이어를 통과하면서, 각 exit branch에서 다음과 같은 절차를 거친다.
#exit branch에서 예측 확률 분포를 계산한다.
#확신도(confidence)가 임계값 이상인지 평가한다.
#조건을 만족하면 해당 출력을 최종 예측으로 채택하고 중단한다.
#조건을 만족하지 않으면 다음 레이어로 계속 진행한다.
이 방식은 쉬운 샘플은 초기에 분류하고, 어려운 샘플만 마지막까지 처리하는 동적 계산 전략을 제공한다.
===확신도 계산===
확신도는 일반적으로 예측 확률의 엔트로피(entropy)나 최대 확률값 등을 사용해 계산한다. 엔트로피가 낮을수록 예측이 명확하다고 판단하여 조기 종료 가능성이 높아진다.
==특징==
*입력 난이도에 따라 계산량을 자동으로 조절할 수 있다.
*전체 모델을 매번 통과할 필요가 없어 추론 지연(latency)을 크게 줄일 수 있다.
*모바일·엣지 환경에서 효율적으로 작동하며 에너지 사용량 절감에 유리하다.
*모든 exit branch를 학습해야 하므로 모델 구조가 다소 복잡해질 수 있다.
==장점==
*추론 속도 향상
*계산 비용 및 에너지 절약
*쉬운 샘플에 대한 빠른 응답 가능
==단점==
*exit branch 추가로 모델 구조가 복잡해짐
*잘못된 조기 종료로 인해 정확도에 영향을 줄 수 있음
*적절한 임계값 설정이 필요함
==같이 보기==
*[[전문가 조합 (인공지능)]]
*[[추측 디코딩]]
*[[신경망 분산 학습]]
*[[모델 경량화]]
*[[딥러닝]]
==참고 문헌==
*Teerapittayanon, Surat; Bradley McDanel; Hsiang-Tsung Kung. [https://arxiv.org/abs/1709.01686 BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks]. 2016 23rd International Conference on Pattern Recognition (ICPR).
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]

GPipe

2025-11-12T21:30:50Z

인공무능: 새 문서: Bubble을 줄이는 것을 목표로 한다. GPipe(지파이프, 영어: GPipe)는 대규모 신경망 모델을 여러 장치에 나누어 학습시키기 위해 제안된 파이프라인 병렬(pipeline parallelism) 기법으로, 마이크로배치를 활용해 파이프라인의 유휴 시간(bubble)을 줄이고 장치 활용률을 높이는 것을 목표로 한다. ==개요== GPipe는 모델을 여러 스테이지(stage)로 분...

[[파일:GPipe 병렬 학습.png|섬네일|Bubble을 줄이는 것을 목표로 한다.]]
GPipe(지파이프, 영어: GPipe)는 대규모 신경망 모델을 여러 장치에 나누어 학습시키기 위해 제안된 파이프라인 병렬(pipeline parallelism) 기법으로, 마이크로배치를 활용해 파이프라인의 유휴 시간(bubble)을 줄이고 장치 활용률을 높이는 것을 목표로 한다.
==개요==
GPipe는 모델을 여러 스테이지(stage)로 분할하고, 입력 미니배치를 여러 마이크로배치(micro-batch)로 나누어 순전파와 역전파가 서로 다른 장치에서 동시에 수행되도록 하는 방식이다. 이를 통해 파이프라인 병렬에서 발생하는 단계 간 대기 시간을 줄이고, 대규모 모델 학습을 효율적으로 수행할 수 있게 한다. 구글이 2019년 발표한 기법으로, TPU와 GPU 환경에서 안정적인 파이프라인 학습을 가능하게 만든 초기 연구 중 하나이다.
==구조==
GPipe는 다음과 같은 구조적 특징을 가진다.
*모델을 연속된 여러 스테이지로 나눈다.
*미니배치를 여러 마이크로배치로 분할해 파이프라인을 채운다.
*순전파는 앞에서 뒤로, 역전파는 뒤에서 앞으로 진행되며 마이크로배치 단위로 분산된다.
*모든 역전파가 종료된 이후에 한 번에 가중치를 업데이트한다.
==동작 방식==
===마이크로배치 기반 파이프라인===
GPipe는 단일 미니배치를 여러 마이크로배치로 쪼개어 파이프라인에 순차적으로 투입한다. 각 마이크로배치는 서로 다른 스테이지에서 동시에 처리될 수 있기 때문에, GPU들이 동시에 일할 수 있는 시간이 많아져 전체 처리량이 증가한다.
===순전파와 역전파의 파이프라인화===
*순전파는 마이크로배치들이 스테이지 0에서 마지막 스테이지까지 이동하며 처리되는 과정이다.
*역전파는 마지막 스테이지에서 시작해 첫 번째 스테이지까지 순차적으로 이동한다.
*마이크로배치 단위로 두 과정이 섞여 진행되기 때문에, 서로 다른 마이크로배치의 forward와 backward가 동시에 실행될 수 있다.
===가중치 업데이트 방식===
GPipe는 모든 마이크로배치의 forward와 backward가 끝난 후, 전체 누적 기울기를 기반으로 한 번만 파라미터 업데이트를 수행한다. 이 방법은 가중치 시차(stale weight) 문제를 방지하며 안정적인 수렴을 돕는다.
==파이프드림과의 차이==
GPipe와 파이프드림(PipeDream)은 모두 파이프라인 병렬의 효율을 높이기 위해 고안되었지만 접근 방식이 다르다. GPipe는 모든 순전파와 역전파가 종료된 뒤 한 번에 가중치를 업데이트하므로 가중치 시차(stale weight)가 발생하지 않는 안정적인 구조를 갖는다. 반면 파이프드림은 1F1B(1 forward, 1 backward) 스케줄을 활용해 파이프라인 버블을 최소화하는 대신, 순전파와 역전파가 다른 시점에 실행되면서 여러 버전의 가중치를 유지해야 하며 결과적으로 가중치 시차를 관리하는 추가 메커니즘이 필요하다. GPipe는 안정성 중심, 파이프드림은 성능 중심의 설계라고 볼 수 있다.
==특징==
*마이크로배치 기반 파이프라인으로 GPU 유휴 시간을 줄인다.
*모든 역전파가 종료된 후 가중치를 갱신하므로 정합성이 높다.
*파이프라인 병렬을 단순하게 구현할 수 있으며 학습 안정성이 높다.
*모델 크기가 매우 커서 단일 장치에 적재하기 어려운 상황에서도 유용하다.
==장점==
*weight staleness가 없어서 수렴 안정성이 우수하다.
*비교적 구현이 단순하고 해석이 쉽다.
*파이프라인 병렬의 기본적 비효율을 마이크로배치로 완화한다.
==단점==
*모든 역전파 후 업데이트를 수행하기 때문에 파라미터 갱신이 느릴 수 있다.
*PipeDream과 같은 기법에 비해 파이프라인 효율이 낮을 수 있다.
*마이크로배치 수가 적으면 bubble이 크게 나타나 성능이 떨어질 수 있다.
==같이 보기==
*[[파이프드림]]
*[[파이프라인 병렬 처리]]
*[[모델 병렬 처리]]
*[[데이터 병렬 처리]]
*[[신경망 분산 학습]]
==참고 문헌==
*Huang, Yanping, et al. [https://arxiv.org/abs/1811.06965 GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism]. arXiv (2019).
==각주==
<references />
[[분류:인공지능]]
[[분류:딥 러닝]]
[[분류:분산 컴퓨팅]]

파일:GPipe 병렬 학습.png

2025-11-12T21:30:00Z

인공무능:

출처: https://medium.com/@pranjalkhadka/paper-breakdown-easy-scaling-with-micro-batch-pipeline-parallelism-44ebd1243f3d

파이프드림

2025-11-12T21:25:50Z

인공무능: 새 문서: 파이프드림 사용 전의 학습 순서 파이프드림 사용 시 학습 파이프드림(PipeDream)은 대규모 신경망 모델을 여러 장치에 나누어 학습하는 파이프라인 병렬(pipeline parallelism) 방식의 비효율성을 개선하기 위해 제안된 분산 학습 기법이다. 특히 순전파와 역전파의 파이프라인 스케...

[[파일:멀티 코어 학습 순서.png|섬네일|파이프드림 사용 전의 학습 순서]]
[[파일:파이프드림 사용 시 학습 과정.png|섬네일|파이프드림 사용 시 학습]]
파이프드림(PipeDream)은 대규모 신경망 모델을 여러 장치에 나누어 학습하는 파이프라인 병렬(pipeline parallelism) 방식의 비효율성을 개선하기 위해 제안된 분산 학습 기법이다. 특히 순전파와 역전파의 파이프라인 스케줄링을 최적화하고, 가중치 정합성 문제를 해결하여 높은 장치 활용률과 빠른 학습 속도를 달성하는 것을 목표로 한다.
==개요==
파이프드림은 모델을 여러 개의 연속된 스테이지(stage)로 분할하고, 입력 미니배치를 더 작은 마이크로배치(micro-batch)로 나누어 각 스테이지가 동시에 서로 다른 연산을 수행할 수 있도록 파이프라인을 구성한다. 이를 통해 각 장치의 유휴 시간(bubble)을 줄이고 모델 병렬 환경에서 발생하는 병목을 완화한다. 또한 가중치 버전 관리(weight versioning)를 통해 파이프라인 병렬에서 흔히 발생하는 가중치 시차(stale weight) 문제를 해결하는 것이 특징이다.
==구조==
파이프드림의 기본 구조는 다음과 같다.
*모델을 여러 스테이지로 나눈다.
*입력 미니배치를 여러 마이크로배치로 분할한다.
*각 장치는 순전파와 역전파를 번갈아 수행하도록 스케줄링된다.
*각 스테이지는 여러 버전의 가중치를 저장하여 역전파 시점에서 적절한 가중치 버전을 사용한다.
==동작 방식==
===마이크로배치 기반 파이프라인===
파이프드림은 하나의 미니배치를 여러 마이크로배치로 쪼개고, 각 마이크로배치가 파이프라인을 통해 순차적으로 스테이지를 통과하도록 한다. 스테이지 간 의존성은 유지되지만, 서로 다른 마이크로배치가 파이프라인을 채워 장치의 유휴 시간을 줄인다.
===1F1B 스케줄===
파이프드림은 steady-state 구간에서 각 장치가 다음과 같은 패턴을 반복하도록 스케줄링한다.
*1회 순전파 수행(Forward)
*1회 역전파 수행(Backward)
이 방식은 장치가 쉬지 않고 지속적으로 작업하도록 하여 높은 자원 활용률을 제공한다.
===가중치 버전 관리===
파이프라인 병렬에서는 순전파와 역전파가 서로 다른 시간에 이루어지기 때문에, 순전파 때 사용한 가중치가 업데이트된 후 역전파가 수행될 경우 가중치 시차가 발생한다. 파이프드림은 순전파에서 사용한 가중치 버전을 기록하고, 역전파 단계에서 해당 버전을 다시 사용하도록 하여 정합성을 보장한다.
==특징==
*높은 장치 활용률: 마이크로배치와 1F1B 스케줄을 통해 GPU 유휴 시간을 크게 줄인다.
*가중치 정합성 유지: 가중치 버전 관리로 stale weight 문제를 완화한다.
*확장성: 많은 스테이지와 장치를 활용할 때도 성능 향상을 얻을 수 있다.
*모델 병렬과 유사하지만 파이프라인 스케줄링을 통해 더 높은 효율을 추구한다.
==장점==
*파이프라인 병렬의 비효율적 버블 시간을 크게 줄일 수 있다.
*대규모 모델에서 높은 처리량과 빠른 학습 속도를 제공한다.
*수렴 안정성이 비교적 우수하며 모델 크기에 따라 쉽게 확장된다.
==단점==
*여러 가중치 버전을 저장해야 하므로 메모리 사용량이 증가한다.
*구현 복잡도가 크며 스케줄링 관리가 필요하다.
*마이크로배치 수와 스테이지 수에 따라 성능이 크게 달라질 수 있다.
==같이 보기==
*[[파이프라인 병렬 처리]]
*[[모델 병렬 처리]]
*[[데이터 병렬 처리]]
*[[GPipe]]
*[[신경망 분산 학습]]
==참고 문헌==
*Narayanan, Deepak, et al. “PipeDream: Generalized Pipeline Parallelism for DNN Training.” Proceedings of the 27th ACM Symposium on Operating Systems Principles (2019).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

파일:파이프드림 사용 시 학습 과정.png

2025-11-12T21:25:24Z

인공무능:

병렬 수행으로 유휴시간이 많이 줄어듬

파일:멀티 코어 학습 순서.png

2025-11-12T21:24:09Z

인공무능:

각 코어마다 다음 작업까지 유휴 시간이 많음

신경망 분산 학습

2025-11-12T21:04:15Z

인공무능:

신경망 분산 학습(영어: distributed training of neural networks)은 인공신경망 모델을 여러 컴퓨팅 노드(예: GPU, 서버)에 분산시켜 동시에 학습함으로써 학습 속도를 높이고 더 큰 모델과 데이터셋을 다루기 위한 기술이다.
==개요==
신경망 분산 학습은 단일 장치의 메모리와 연산 능력으로 처리하기 어려운 대규모 데이터셋과 딥러닝 모델을 효율적으로 학습하기 위해 등장하였다. 분산 학습 환경에서는 여러 장치가 서로 다른 데이터 조각을 처리하거나, 모델의 서로 다른 부분을 담당하면서 병렬로 순전파와 역전파를 수행하고, 통신을 통해 기울기와 파라미터를 동기화한다. 주요 목표는 학습 시간 단축, 모델 및 배치 크기 확장, 자원 활용 효율 향상이다.
==분산 학습의 기본 개념==
신경망 분산 학습에서는 다음과 같은 요소들이 핵심적으로 고려된다.
*'''연산 단위''': GPU, TPU, CPU 노드 등 모델 및 데이터 연산을 담당하는 장치
*'''통신 패턴''': [[파라미터 서버]], [[올 리듀스|올 리듀스(All-Reduce)]] 등 기울기와 파라미터를 주고 받는 방식
*'''일관성 모델''': 동기식(synchronous) 또는 비동기식(asynchronous) 갱신 방식
*'''오류 허용성''': 일부 노드가 느려지거나 실패하더라도 학습을 지속할 수 있는지 여부
==병렬화 방식==
===데이터 병렬(Data Parallelism)===
데이터 병렬 학습은 가장 널리 쓰이는 방식으로, 동일한 신경망 모델을 여러 장치에 복제하고 서로 다른 미니배치를 각 장치에 나누어 처리하는 방법이다. 각 장치는 로컬 데이터에 대해 순전파와 역전파를 수행한 뒤, 계산된 기울기를 통신 연산(예: 올 리듀스)을 통해 평균 또는 합산하고, 동일한 파라미터 갱신을 적용받는다. 이 방식은 모델 구조를 변경할 필요가 없고 구현이 비교적 단순하며, 이미지 분류, 언어 모델 등 다양한 딥러닝 모델에 널리 적용된다.
===모델 병렬(Model Parallelism)===
모델 병렬 학습은 하나의 신경망을 여러 장치에 나누어 저장하고 계산하는 방식이다. 단일 장치 메모리에 모델이 모두 들어가지 않거나, 특정 계층의 계산 비용이 매우 큰 경우에 사용된다. 계층별로 장치를 나누는 수직 분할(layer-wise partitioning) 방식과, 매트릭스 곱셈 연산을 여러 장치에 나눠 처리하는 텐서 병렬(tensor parallel) 방식 등이 있다. GPT 계열 대형 언어모델과 같이 수십억 개 이상의 파라미터를 가진 모델에서 모델 병렬이 필수적으로 활용된다.
===파이프라인 병렬(Pipeline Parallelism)===
파이프라인 병렬은 모델을 여러 단계로 나누고, 서로 다른 미니배치 또는 마이크로배치(micro-batch)를 각 단계에 연속적으로 흘려보내는 방식이다. 한 장치에서 순전파를 수행하는 동안 다른 장치는 이전 단계의 역전파를 수행하도록 스케줄링함으로써 전체 파이프라인의 유휴 시간을 줄인다. PipeDream과 같은 프레임워크는 파이프라인 병렬의 스케줄링과 가중치 버전 관리(stale weight 문제 완화)를 통해 높은 하드웨어 활용률을 제공한다.
==통신 패턴==
===파라미터 서버(Parameter Server) 구조===
파라미터 서버 방식은 중앙 또는 분산된 서버 노드가 모델 파라미터를 저장하고, 여러 워커 노드가 기울기를 계산해 서버에 전송하면 서버가 이를 집계·갱신한 뒤 다시 워커에 배포하는 구조이다. 초기 분산 머신러닝 시스템에서 널리 사용되었으며, 동기식과 비동기식 두 방식 모두 지원할 수 있다. 그러나 노드 수가 증가할수록 서버에 통신과 연산이 집중되어 병목 현상이 발생하기 쉽고, 매우 대규모 GPU 클러스터에서는 확장성이 제한될 수 있다.
===올 리듀스(All-Reduce) 기반 구조===
올 리듀스 기반 분산 학습에서는 중앙 서버 없이 모든 노드가 서로 기울기를 교환하고 합산·평균한다. 링 올 리듀스(Ring All-Reduce)와 트리 기반 올 리듀스와 같은 알고리즘을 사용하면 통신량이 노드 간에 균등하게 분산되어 높은 확장성을 얻을 수 있다. 현대 딥러닝 프레임워크의 동기식 데이터 병렬 학습(PyTorch DistributedDataParallel, Horovod 등)은 대부분 올 리듀스 기반으로 구현된다.
==동기식 및 비동기식 학습==
===동기식 학습===
동기식 분산 학습에서는 모든 워커가 각자의 미니배치에 대한 기울기 계산을 마칠 때까지 기다린 뒤, 기울기를 집계하고 동일한 파라미터 업데이트를 적용한다. 이 방식은 단일 대형 배치와 동등한 학습 효과를 제공하지만, 가장 느린 워커가 전체 속도를 결정하는 스트래글러(straggler) 문제가 발생할 수 있다.
===비동기식 학습===
비동기식 분산 학습에서는 워커가 서로를 기다리지 않고, 계산이 끝나는 대로 서버나 다른 노드에 기울기를 전송해 파라미터를 갱신한다. 속도 측면에서는 유리하지만, 일부 워커가 오래된 파라미터를 사용해 기울기를 계산하는 정합성(consistency) 문제가 발생할 수 있어, 학습 안정성과 수렴 특성을 주의 깊게 설계해야 한다.
==통신량 최적화==
대규모 분산 학습에서는 통신 비용이 전체 학습 시간의 상당 부분을 차지하므로, 통신량을 줄이기 위한 다양한 기법이 연구되어 왔다.
*'''기울기 희소화(gradient sparsification)''': 크기가 큰 상위 k% 기울기만 전송하고 나머지는 축적하여 나중에 전송하거나 버리는 방식
*'''기울기 양자화(gradient quantization)''': 기울기를 저정밀도 비트수로 표현해 전송량을 줄이는 방식
*'''딥 기울기 압축(Deep Gradient Compression)''': 희소화, 양자화, 모멘텀 보정, 지역 기울기 누적 등을 결합해 통신량을 크게 줄이는 기법
*'''혼합 정밀도 학습(mixed precision training)''': 16비트 부동소수점 등을 활용하여 연산과 통신을 동시에 효율화하는 기법
==프레임워크 및 라이브러리==
신경망 분산 학습을 지원하는 주요 프레임워크와 라이브러리는 다음과 같다.
*TensorFlow의 분산 전략(TF Distributed, MirroredStrategy, ParameterServerStrategy 등)
*PyTorch Distributed 및 DistributedDataParallel(DDP)
*Horovod: 여러 프레임워크에서 올 리듀스 기반 분산 학습을 지원하는 라이브러리
*DeepSpeed, Megatron-LM: 대규모 언어모델을 위한 모델·파이프라인 병렬 전용 라이브러리
==응용 분야==
신경망 분산 학습은 다음과 같은 분야에서 광범위하게 활용된다.
*수백만~수십억 개의 파라미터를 가진 대형 언어모델과 비전 모델 학습
*자율주행, 추천 시스템, 음성 인식 등 대규모 로그·센서 데이터 처리
*대규모 하이퍼파라미터 탐색과 메타학습
*과학 계산, 기후 모델링 등 시뮬레이션 데이터 기반 딥러닝
==같이 보기==
*[[딥러닝]]
*[[데이터 병렬 처리]]
*[[모델 병렬 처리]]
*[[올 리듀스]]
*[[파라미터 서버]]
==참고 문헌==
*Narayanan, Deepak, et al. [https://dl.acm.org/doi/10.1145/3341301.3359638 PipeDream: Generalized pipeline parallelism for DNN training]. Proceedings of the 27th ACM Symposium on Operating Systems Principles (2019).
*Sergeev, Alexander; Del Balso, Mike. [https://arxiv.org/abs/1802.05799 Horovod: Fast and Easy Distributed Deep Learning in TensorFlow]. arXiv preprint arXiv:1802.05799 (2018).
*Lin, Yujun, et al. [https://arxiv.org/abs/1712.01887 Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training]. arXiv preprint arXiv:1712.01887 (2017).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

신경망 분산 학습

2025-11-12T21:02:23Z

인공무능: 새 문서: 신경망 분산 학습(영어: distributed training of neural networks)은 인공신경망 모델을 여러 컴퓨팅 노드(예: GPU, 서버)에 분산시켜 동시에 학습함으로써 학습 속도를 높이고 더 큰 모델과 데이터셋을 다루기 위한 기술이다. ==개요== 신경망 분산 학습은 단일 장치의 메모리와 연산 능력으로 처리하기 어려운 대규모 데이터셋과 딥러닝 모델을 효율적으로 학습하기 위해 등장하...

신경망 분산 학습(영어: distributed training of neural networks)은 인공신경망 모델을 여러 컴퓨팅 노드(예: GPU, 서버)에 분산시켜 동시에 학습함으로써 학습 속도를 높이고 더 큰 모델과 데이터셋을 다루기 위한 기술이다.
==개요==
신경망 분산 학습은 단일 장치의 메모리와 연산 능력으로 처리하기 어려운 대규모 데이터셋과 딥러닝 모델을 효율적으로 학습하기 위해 등장하였다. 분산 학습 환경에서는 여러 장치가 서로 다른 데이터 조각을 처리하거나, 모델의 서로 다른 부분을 담당하면서 병렬로 순전파와 역전파를 수행하고, 통신을 통해 기울기와 파라미터를 동기화한다. 주요 목표는 학습 시간 단축, 모델 및 배치 크기 확장, 자원 활용 효율 향상이다.
==분산 학습의 기본 개념==
신경망 분산 학습에서는 다음과 같은 요소들이 핵심적으로 고려된다.
*연산 단위: GPU, TPU, CPU 노드 등 모델 및 데이터 연산을 담당하는 장치
*통신 패턴: 파라미터 서버, 올 리듀스(All-Reduce) 등 기울기와 파라미터를 주고 받는 방식
*일관성 모델: 동기식(synchronous) 또는 비동기식(asynchronous) 갱신 방식
*오류 허용성: 일부 노드가 느려지거나 실패하더라도 학습을 지속할 수 있는지 여부
==병렬화 방식==
===데이터 병렬(Data Parallelism)===
데이터 병렬 학습은 가장 널리 쓰이는 방식으로, 동일한 신경망 모델을 여러 장치에 복제하고 서로 다른 미니배치를 각 장치에 나누어 처리하는 방법이다. 각 장치는 로컬 데이터에 대해 순전파와 역전파를 수행한 뒤, 계산된 기울기를 통신 연산(예: 올 리듀스)을 통해 평균 또는 합산하고, 동일한 파라미터 갱신을 적용받는다. 이 방식은 모델 구조를 변경할 필요가 없고 구현이 비교적 단순하며, 이미지 분류, 언어 모델 등 다양한 딥러닝 모델에 널리 적용된다.
===모델 병렬(Model Parallelism)===
모델 병렬 학습은 하나의 신경망을 여러 장치에 나누어 저장하고 계산하는 방식이다. 단일 장치 메모리에 모델이 모두 들어가지 않거나, 특정 계층의 계산 비용이 매우 큰 경우에 사용된다. 계층별로 장치를 나누는 수직 분할(layer-wise partitioning) 방식과, 매트릭스 곱셈 연산을 여러 장치에 나눠 처리하는 텐서 병렬(tensor parallel) 방식 등이 있다. GPT 계열 대형 언어모델과 같이 수십억 개 이상의 파라미터를 가진 모델에서 모델 병렬이 필수적으로 활용된다.
===파이프라인 병렬(Pipeline Parallelism)===
파이프라인 병렬은 모델을 여러 단계로 나누고, 서로 다른 미니배치 또는 마이크로배치(micro-batch)를 각 단계에 연속적으로 흘려보내는 방식이다. 한 장치에서 순전파를 수행하는 동안 다른 장치는 이전 단계의 역전파를 수행하도록 스케줄링함으로써 전체 파이프라인의 유휴 시간을 줄인다. PipeDream과 같은 프레임워크는 파이프라인 병렬의 스케줄링과 가중치 버전 관리(stale weight 문제 완화)를 통해 높은 하드웨어 활용률을 제공한다.
==통신 패턴==
===파라미터 서버(Parameter Server) 구조===
파라미터 서버 방식은 중앙 또는 분산된 서버 노드가 모델 파라미터를 저장하고, 여러 워커 노드가 기울기를 계산해 서버에 전송하면 서버가 이를 집계·갱신한 뒤 다시 워커에 배포하는 구조이다. 초기 분산 머신러닝 시스템에서 널리 사용되었으며, 동기식과 비동기식 두 방식 모두 지원할 수 있다. 그러나 노드 수가 증가할수록 서버에 통신과 연산이 집중되어 병목 현상이 발생하기 쉽고, 매우 대규모 GPU 클러스터에서는 확장성이 제한될 수 있다.
===올 리듀스(All-Reduce) 기반 구조===
올 리듀스 기반 분산 학습에서는 중앙 서버 없이 모든 노드가 서로 기울기를 교환하고 합산·평균한다. 링 올 리듀스(Ring All-Reduce)와 트리 기반 올 리듀스와 같은 알고리즘을 사용하면 통신량이 노드 간에 균등하게 분산되어 높은 확장성을 얻을 수 있다. 현대 딥러닝 프레임워크의 동기식 데이터 병렬 학습(PyTorch DistributedDataParallel, Horovod 등)은 대부분 올 리듀스 기반으로 구현된다.
==동기식 및 비동기식 학습==
===동기식 학습===
동기식 분산 학습에서는 모든 워커가 각자의 미니배치에 대한 기울기 계산을 마칠 때까지 기다린 뒤, 기울기를 집계하고 동일한 파라미터 업데이트를 적용한다. 이 방식은 단일 대형 배치와 동등한 학습 효과를 제공하지만, 가장 느린 워커가 전체 속도를 결정하는 스트래글러(straggler) 문제가 발생할 수 있다.
===비동기식 학습===
비동기식 분산 학습에서는 워커가 서로를 기다리지 않고, 계산이 끝나는 대로 서버나 다른 노드에 기울기를 전송해 파라미터를 갱신한다. 속도 측면에서는 유리하지만, 일부 워커가 오래된 파라미터를 사용해 기울기를 계산하는 정합성(consistency) 문제가 발생할 수 있어, 학습 안정성과 수렴 특성을 주의 깊게 설계해야 한다.
==통신량 최적화==
대규모 분산 학습에서는 통신 비용이 전체 학습 시간의 상당 부분을 차지하므로, 통신량을 줄이기 위한 다양한 기법이 연구되어 왔다.
*기울기 희소화(gradient sparsification): 크기가 큰 상위 k% 기울기만 전송하고 나머지는 축적하여 나중에 전송하거나 버리는 방식
*기울기 양자화(gradient quantization): 기울기를 저정밀도 비트수로 표현해 전송량을 줄이는 방식
*딥 기울기 압축(Deep Gradient Compression): 희소화, 양자화, 모멘텀 보정, 지역 기울기 누적 등을 결합해 통신량을 크게 줄이는 기법
*혼합 정밀도 학습(mixed precision training): 16비트 부동소수점 등을 활용하여 연산과 통신을 동시에 효율화하는 기법
==프레임워크 및 라이브러리==
신경망 분산 학습을 지원하는 주요 프레임워크와 라이브러리는 다음과 같다.
*TensorFlow의 분산 전략(TF Distributed, MirroredStrategy, ParameterServerStrategy 등)
*PyTorch Distributed 및 DistributedDataParallel(DDP)
*Horovod: 여러 프레임워크에서 올 리듀스 기반 분산 학습을 지원하는 라이브러리
*DeepSpeed, Megatron-LM: 대규모 언어모델을 위한 모델·파이프라인 병렬 전용 라이브러리
==응용 분야==
신경망 분산 학습은 다음과 같은 분야에서 광범위하게 활용된다.
*수백만~수십억 개의 파라미터를 가진 대형 언어모델과 비전 모델 학습
*자율주행, 추천 시스템, 음성 인식 등 대규모 로그·센서 데이터 처리
*대규모 하이퍼파라미터 탐색과 메타학습
*과학 계산, 기후 모델링 등 시뮬레이션 데이터 기반 딥러닝
==같이 보기==
*[[딥러닝]]
*[[데이터 병렬 처리]]
*[[모델 병렬 처리]]
*[[올 리듀스]]
*[[파라미터 서버]]
==참고 문헌==
*Narayanan, Deepak, et al. [https://dl.acm.org/doi/10.1145/3341301.3359638 PipeDream: Generalized pipeline parallelism for DNN training]. Proceedings of the 27th ACM Symposium on Operating Systems Principles (2019).
*Sergeev, Alexander; Del Balso, Mike. [https://arxiv.org/abs/1802.05799 Horovod: Fast and Easy Distributed Deep Learning in TensorFlow]. arXiv preprint arXiv:1802.05799 (2018).
*Lin, Yujun, et al. [https://arxiv.org/abs/1712.01887 Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training]. arXiv preprint arXiv:1712.01887 (2017).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

링 올 리듀스

2025-11-12T20:52:16Z

인공무능: 새 문서: 링 올 리듀스(Ring All-Reduce)는 분산 딥러닝 및 고성능 컴퓨팅(HPC) 환경에서 다수의 노드(주로 GPU) 간에 데이터를 효율적으로 집계하고 공유하기 위해 사용되는 올 리듀스(All-Reduce) 알고리즘의 한 형태이다. ==개요== 링 올 리듀스는 모든 노드를 링(Ring) 형태로 연결하여, 각 노드가 자신의 텐서를 여러 조각(chunk)으로 분할한 뒤 인접한 노드와 데이터를 교환하며 기울기(g...

링 올 리듀스(Ring All-Reduce)는 분산 딥러닝 및 고성능 컴퓨팅(HPC) 환경에서 다수의 노드(주로 GPU) 간에 데이터를 효율적으로 집계하고 공유하기 위해 사용되는 올 리듀스(All-Reduce) 알고리즘의 한 형태이다.
==개요==
링 올 리듀스는 모든 노드를 링(Ring) 형태로 연결하여, 각 노드가 자신의 텐서를 여러 조각(chunk)으로 분할한 뒤 인접한 노드와 데이터를 교환하며 기울기(gradient) 또는 텐서 값을 점진적으로 집계한다. 통신량이 모든 노드에 균등하게 분산되기 때문에 확장성이 높아, 대규모 분산 딥러닝 환경에서 널리 사용되는 방식이다.
==구조==
링 올 리듀스는 일반적으로 다음과 같은 구조적 특징을 갖는다.
*모든 노드를 일렬로 연결한 뒤 양쪽 끝을 이어 링 형태를 만든다.
*각 노드는 자신의 텐서를 노드 수(N)만큼의 조각으로 나눈다.
*통신은 이웃 노드 간에만 이루어지며, 전체 링을 따라 순차적으로 전달된다.
==동작 방식==
링 올 리듀스는 크게 두 단계로 구성된다.
[[파일:링 올 리듀스 동작 순서 1.png|섬네일|200x200픽셀|링 올 리듀스 동작 순서 1]]
[[파일:링 올 리듀스 동작 순서 2.png|섬네일|200x200픽셀|링 올 리듀스 동작 순서 2]]

===1. 리듀스-스캐터(Reduce-Scatter) 단계===
*각 노드는 자신의 텐서를 N개의 chunk로 나눈다.
*오른쪽 또는 왼쪽 이웃에게 하나의 chunk를 전달하고, 동시에 이웃으로부터 하나의 chunk를 받는다.
*받은 chunk와 자신의 해당 chunk를 더하여(reduce) 새로운 partial sum을 만든다.
*이 과정을 N-1번 반복하면, 각 노드는 전체 텐서의 일부 구간(1/N chunk)에 대해 합산된 결과를 가지게 된다.
[[파일:링 올 리듀스 동작 순서 3.png|섬네일|200x200픽셀|링 올 리듀스 동작 순서 3]]

===2. 올-게더(All-Gather) 단계===
*각 노드는 자신이 보유한 partial sum을 이웃 노드에게 전달한다.
*노드들은 서로 chunk를 교환하여 전체 gradient를 점차 모은다.
*[[파일:링 올 리듀스 동작 순서 4.png|섬네일|200x200픽셀|링 올 리듀스 동작 순서 4]]N-1번 반복 후 모든 노드는 전체 텐서가 재구성된 동일한 결과를 갖는다.
==특징==
*모든 노드가 동일한 통신량을 가지므로 부하가 균등하게 분산된다.
*각 단계의 통신량이 일정하여 노드가 증가하더라도 확장성이 좋다.
*Parameter Server 방식과 달리 중앙 집중 병목이 발생하지 않는다.
*GPU 간 통신에 최적화된 NCCL 라이브러리에서 기본적으로 채택하는 방식이다.
==장점==
*높은 확장성: 노드 수가 많아져도 성능 저하가 적다.
*균등한 통신 부담: 특정 노드에 병목이 생기지 않는다.
*점대점(P2P) 통신 기반이라 네트워크 효율이 뛰어나다.
==단점==
*단계가 N-1번 반복되므로 지연(latency)에 민감할 수 있다.
*모든 노드가 동기적으로 참여해야 하므로 느린 노드가 전체 학습 속도를 저하시킬 수 있다.
*네트워크 토폴로지가 링 구조를 효율적으로 지원해야 최대 성능을 낼 수 있다.
==활용==
*대규모 딥러닝 모델 학습의 데이터 병렬 처리
*PyTorch DistributedDataParallel(DDP)
*TensorFlow MirroredStrategy
*Horovod 분산 학습 프레임워크
*NVIDIA NCCL 기반 GPU 간 집합 통신
==같이 보기==
*[[올 리듀스]]
*[[데이터 병렬 처리]]
*[[분산 학습]]
*[[파라미터 서버]]
*[[딥러닝]]
==참고 문헌==
*Sergeev, A.; Del Balso, M. "Horovod: Fast and Easy Distributed Deep Learning in TensorFlow." arXiv (2018).
*Thakur, R.; Rabenseifner, R.; Gropp, W. "Optimization of Collective Communication Operations." International Journal of High Performance Computing Applications (2005).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

파일:링 올 리듀스 동작 순서 4.png

2025-11-12T20:51:09Z

인공무능:

출처: https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/

파일:링 올 리듀스 동작 순서 3.png

2025-11-12T20:50:25Z

인공무능:

출처: https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/

파일:링 올 리듀스 동작 순서 2.png

2025-11-12T20:49:22Z

인공무능:

출처: https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/

파일:링 올 리듀스 동작 순서 1.png

2025-11-12T20:48:10Z

인공무능:

출처: https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/

파라미터 서버

2025-11-12T20:45:12Z

인공무능:

[[파일:파라미터 서버.png|섬네일|파라미터 서버(싱글과 멀티 서버 방식)]]
파라미터 서버(Parameter Server)는 대규모 분산 머신러닝에서 모델 파라미터(가중치)를 관리하고 동기화하기 위해 사용되는 분산 시스템 구조이다.
==개요==
파라미터 서버 아키텍처는 여러 개의 워커(worker) 노드가 각자 데이터 샘플을 사용해 기울기(gradient)를 계산하고, 중앙 또는 분산된 서버(server) 노드가 이를 수집·통합해 모델 파라미터를 갱신하는 방식으로 동작한다. 이 구조는 초기 대규모 딥러닝 및 머신러닝 시스템에서 널리 사용되었으며, 특히 비동기식 학습과 대규모 클러스터 환경에서 효과적이었다.
==구조==
파라미터 서버는 일반적으로 다음과 같은 두 종류의 노드로 구성된다.
*워커(Worker): 로컬 데이터셋으로 순전파와 역전파를 수행하고 gradient를 계산한다.
*서버(Server): 워커로부터 전달된 gradient를 집계하고 파라미터를 업데이트한다.
==동작 방식==
===1. 순전파 및 역전파===
워커 노드는 주어진 미니배치를 사용하여 모델의 순전파(forward pass)와 역전파(backward pass)를 수행한다.
===2. 기울기 전송===
각 워커는 계산된 기울기를 파라미터 서버에 전송한다.
===3. 파라미터 집계 및 갱신===
서버는 여러 워커로부터 전달된 기울기를 집계하고, 이를 바탕으로 모델 파라미터를 갱신한다.
===4. 파라미터 배포===
갱신된 파라미터는 다시 워커들에게 전달되어 다음 학습 단계에서 사용된다.
==동기식과 비동기식 방식==
*동기식(Synchronous): 모든 워커가 기울기 계산을 완료할 때까지 기다린 다음 파라미터를 갱신한다.
*비동기식(Asynchronous): 워커는 서로 기다리지 않고 계산과 갱신을 독립적으로 진행한다.
비동기식 방식은 학습 속도가 빠르지만, 뒤쳐진 워커가 오래된 파라미터(Stale Parameter)를 사용할 위험이 있다.
==장점==
*시스템 일부가 느려도 전체 학습이 중단되지 않는 견고성(fault tolerance).
*비동기식 학습을 통해 높은 처리량을 얻을 수 있음.
*초기 분산 머신러닝 환경에서 구현이 상대적으로 단순함.
==단점==
*서버 노드에 통신량이 집중되어 병목(bottleneck)이 발생할 수 있다.
*서버 확장이 어렵기 때문에 매우 큰 규모의 분산 학습에서는 비효율적이다.
*워커 간 동기화 비용이 증가하면서 전체 학습 성능이 떨어질 수 있다.
==발전과 현대적 대안==
파라미터 서버는 초기 분산 딥러닝에서 중요한 역할을 했지만, 최근 대규모 딥러닝 모델 학습에서는 All-Reduce 기반 방식이 더 널리 사용된다. Ring All-Reduce와 같은 알고리즘은 통신 부하가 균등하게 분산되므로 확장성이 높아 현대 GPU 클러스터에 적합하다.
==같이 보기==
*[[분산 학습]]
*[[데이터 병렬 처리]]
*[[올 리듀스]]
*[[링 올 리듀스]]
*[[딥러닝]]
==참고 문헌==
*Li, Mu; Andersen, David G.; Park, Jinwoo et al. "Scaling Distributed Machine Learning with the Parameter Server." OSDI (2014).
*Dean, Jeffrey; Corrado, Greg; Monga, Rajat et al. "Large Scale Distributed Deep Networks." NIPS (2012).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

올 리듀스

2025-11-12T20:44:41Z

인공무능: 새 문서: 올 리듀스 방식 작동 구조 올 리듀스(All-Reduce)는 분산 딥러닝 및 고성능 컴퓨팅(HPC) 환경에서 여러 노드(예: GPU)가 계산한 데이터를 집계하고, 그 결과를 모든 노드에 다시 배포하는 집합 통신 연산이다. ==개요== 올 리듀스는 각 노드가 독립적으로 계산한 기울기(gradient) 또는 텐서 값을 서로 공유하고 합산 또는 평균한 뒤, 그 결과를 모든...

[[파일:올 리듀스.png|섬네일|올 리듀스 방식 작동 구조]]
올 리듀스(All-Reduce)는 분산 딥러닝 및 고성능 컴퓨팅(HPC) 환경에서 여러 노드(예: GPU)가 계산한 데이터를 집계하고, 그 결과를 모든 노드에 다시 배포하는 집합 통신 연산이다.
==개요==
올 리듀스는 각 노드가 독립적으로 계산한 기울기(gradient) 또는 텐서 값을 서로 공유하고 합산 또는 평균한 뒤, 그 결과를 모든 노드가 동일하게 갖도록 하는 방식이다. 이 과정은 대규모 분산 학습에서 모델 파라미터의 일관성을 유지하는 핵심 기술로 사용되며, 특히 딥러닝 프레임워크([[PyTorch]], [[TensorFlow]], [[Horovod]] 등)에서 기본적인 동기식 데이터 병렬 학습 기법으로 채택된다.
==동작 방식==
올 리듀스는 일반적으로 다음 단계로 구성된다.
*각 노드가 로컬 데이터로 순전파와 역전파를 수행하고 기울기를 계산한다.
*모든 노드는 서로의 기울기를 통신하여 합산 또는 평균하는 집계(reduce)를 수행한다.
*집계된 결과는 다시 모든 노드에 동일하게 배포된다(gather).
*모든 노드는 동일한 기울기를 사용해 파라미터를 갱신한다.
==특징==
*각 노드가 동일한 파라미터를 항상 유지하므로 동기식 학습에 적합하다.
*기울기 평균은 단일 노드에서 큰 배치를 사용하는 것과 동일한 효과를 갖는다.
*분산 환경에서도 모델 일관성을 유지할 수 있다.
==파라미터 서버와의 비교==
올 리듀스는 모든 노드가 서로 기울기를 교환하며 집계하는 분산형 통신 구조인 반면, 파라미터 서버(Parameter Server)는 중앙 서버가 모든 워커로부터 기울기를 수집·통합한 뒤 갱신된 파라미터를 다시 배포하는 '''중앙집중식 구조'''이다.

* 파라미터 서버는 서버 노드에 통신 및 연산 부하가 집중되어 병목이 발생하기 쉬운 반면,
* 올 리듀스는 통신량이 모든 노드에 균등하게 분산되어 확장성이 높고 대규모 GPU 클러스터 환경에서 더 효과적이다.

==구현 방식==
올 리듀스는 다양한 통신 알고리즘으로 구현될 수 있으며, 그중 가장 널리 사용되는 구조는 다음과 같다.
===[[링 올 리듀스|링 올 리듀스(Ring All-Reduce)]]===
노드들을 링 형태로 연결하여 각 노드가 자신의 텐서를 여러 조각(chunk)으로 나눠 이웃 노드에 전송하는 방식이다. 모든 노드는 동일한 통신량을 가지므로 확장성이 뛰어나며, GPU 클러스터에서 가장 널리 사용되는 구현 방식이다.
===트리 기반 올 리듀스===
노드들을 트리 구조로 조직하여 상위 노드로 기울기를 모으고(reduce), 다시 하위 노드로 결과를 전파하는(broadcast) 방식이다. 통신 단계의 깊이가 짧아 지연(latency)이 낮은 것이 장점이다.
==장점==
*높은 확장성: 노드 수가 많아져도 성능 손실이 작다.
*균등한 통신 부하: 특히 링 구조에서는 모든 노드가 동일한 양의 데이터를 교환한다.
*GPU 간 통신을 최적화한 NCCL과 같은 라이브러리에서 고성능 지원.
==단점==
*모든 노드가 동기적으로 동작해야 하므로 느린 노드가 전체 속도를 저하시킬 수 있다.
*통신 비용이 매우 낮은 고속 네트워크 환경에서만 효율이 극대화된다.
*비동기식 학습에는 적합하지 않다.
==활용==
*대규모 딥러닝 모델의 데이터 병렬 학습
*HPC 환경에서 벡터 또는 텐서 연산 집계
*PyTorch DistributedDataParallel(DDP), TensorFlow MirroredStrategy, Horovod 등에서 기본 동작 방식
==같이 보기==
*[[데이터 병렬 처리]]
*[[분산 학습]]
*[[링 올 리듀스]]
*[[파라미터 서버]]
*[[딥러닝]]
==참고 문헌==
*Sergeev, A.; Del Balso, M. "Horovod: Fast and Easy Distributed Deep Learning in TensorFlow." arXiv (2018).
*Thakur, R.; Rabenseifner, R.; Gropp, W. "Optimization of Collective Communication Operations." International Journal of High Performance Computing Applications (2005).
==각주==
<references />
[[분류:인공지능]]
[[분류:분산 컴퓨팅]]

파일:올 리듀스.png

2025-11-12T20:43:32Z

인공무능:

출처: https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/

파라미터 서버

2025-11-12T20:38:04Z

인공무능: 새 문서: 파라미터 서버(싱글과 멀티 서버 방식) 파라미터 서버(Parameter Server)는 대규모 분산 머신러닝에서 모델 파라미터(가중치)를 관리하고 동기화하기 위해 사용되는 분산 시스템 구조이다. ==개요== 파라미터 서버 아키텍처는 여러 개의 워커(worker) 노드가 각자 데이터 샘플을 사용해 기울기(gradient)를 계산하고, 중앙 또는 분산된 서버(serv...

파일:파라미터 서버.png

2025-11-12T20:36:39Z

인공무능:

출처: https://d2l.ai/chapter_computational-performance/parameterserver.html

Medusa (인공지능)

2025-11-12T20:13:52Z

인공무능:

Medusa(영어: Medusa)는 대형 언어모델(LLM) 기반 생성 모델의 추론 속도를 가속화하기 위해 제안된 프레임워크이다.
==개요==
[[파일:Medusa Framework.png|섬네일|메두사 작동 개요]]
Medusa는 기존 언어모델이 토큰을 순차적으로 하나씩 생성하는 방식의 병목을 해결하기 위해 고안된 방식이다. 기존 방식에서는 출력할 토큰 K개에 대해 모델이 K번의 연산을 실행해야 하지만, Medusa는 여러 개의 디코딩 헤드를 추가해 후속 토큰을 병렬로 예측한다.
==작동 원리==
===추가 디코딩 헤드===
Medusa는 기존 모델의 출력층 위에 여러 개의 디코딩 헤드를 추가하고, 각 헤드는 다음 토큰뿐 아니라 뒤이어 생성될 여러 토큰을 예측하도록 설계된다. Medusa-1은 백본 모델을 고정한 채 헤드만 학습하고, Medusa-2는 모델 전체를 학습한다.
===트리 기반 어텐션 및 수락 스킴===
여러 후보 시퀀스는 트리 구조로 구성되며, 병렬 검증을 위한 어텐션 마스크가 사용된다. 또한 가능성이 높은 후보(prefix)를 수락하는 typical acceptance 방법을 통해 품질 저하 없이 속도 향상을 달성한다.
==특징 및 장점==
*별도의 드래프트 모델이 필요하지 않다.
*인프라 변경이 비교적 작다.
*다양한 모델 규모에서 속도 향상을 입증했다.
==제약 및 고려사항==
*여러 헤드가 추가되므로 메모리 사용량이 증가한다.
*주로 배치 사이즈 1 환경에서 효과가 크며, 대량 처리 환경에서는 추가 연구가 필요하다.
*Medusa-2는 모델 전체를 학습하므로 학습 비용이 크다.
==적용 사례 및 활용 가능성==
*실시간 대화형 어플리케이션 등 지연이 중요한 환경에 적합하다.
*코드 생성, SQL 질의 생성 등 규칙성이 높은 출력에서 속도 향상 효과가 크다.
*기존 LLM 시스템에 적은 구조 변경으로 적용 가능하다.
==역사==
*2024년 1월 19일, Medusa 논문이 arXiv에 공개되었다.
*Amazon SageMaker 블로그에서 Medusa-1 적용 사례가 공유되었다.
*Medusa 오픈소스 저장소가 GitHub에 공개되었다.
==관련 기술 및 비교==
*Speculative Decoding: 별도 모델을 사용한 후보 생성 방식.
*Medusa는 해당 방식의 복잡성을 줄이는 대안으로 평가된다.
*트리 기반 병렬 디코딩과도 밀접한 연관이 있다.
==Medusa와 [[추측 디코딩]]의 차이==
Medusa와 기존 추측 디코딩(speculative decoding)은 모두 토큰 생성 속도를 높이기 위한 기법이지만, 설계 철학과 구조적 접근 방식에서 명확한 차이를 가진다.
===구조적 차이===
*기존 추측 디코딩
**별도의 드래프트 모델이 필요하다.
**드래프트 모델이 후보 토큰을 생성하고, 메인 모델이 이를 검증한다.
** 두 모델 간 상호작용을 기반으로 한 이원 구조를 가진다.*Medusa
**메인 모델 내부에 여러 디코딩 헤드를 추가한다.
** 하나의 모델이 병렬 예측과 검증을 동시에 수행한다.
**트리 기반 검증 구조를 사용하며 별도 모델이 필요 없다.
===결과적 차이===
*기존 방식은 두 모델을 관리해야 하므로 구현 복잡성과 인프라 요구량이 증가한다.
*Medusa는 단일 모델 확장 방식이므로 구조가 단순하고 적용 비용이 낮다.
*두 방식 모두 속도 향상을 목표로 하지만 접근 방식이 크게 다르기 때문에 Medusa는 전통적 speculative decoding의 변형이자 대안으로 평가된다.
==같이 보기==
*[[대형 언어 모델]]
*[[추측 디코딩]]
*[[Transformer (딥러닝)]]
*[[추론 최적화]]
==참고 문헌==
*[https://arxiv.org/abs/2401.10774 Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads (arXiv)]
*[https://aws.amazon.com/blogs/machine-learning/achieve-2x-speed-up-in-llm-inference-with-medusa-1-on-amazon-sagemaker-ai/ Achieve ~2x speed-up in LLM inference with Medusa-1 (AWS Blog)]
==각주==
[[분류:인공지능]]
[[분류:대형 언어 모델]]

추측 디코딩

2025-11-12T20:11:05Z

인공무능:

[[파일:추측적 디코딩.png|섬네일|추측적(예측적) 디코딩 방법]]
추측 디코딩(영어: Speculative Decoding)은 거대 언어 모델(LLM)의 자동회귀 디코딩 과정에서 지연(latency)과 처리량(throughput)을 개선하기 위해 고안된 방법으로, 작은 초안 모델이 여러 개의 미래 토큰을 제안하고, 이후 고성능 대상 모델이 이를 병렬로 검증하는 방식이다.
==개요==
기존의 자동회귀 디코딩 방식은 한 번에 하나의 토큰을 생성하고 그 결과를 기다려야 다음 단계를 진행할 수 있었다. 이 때문에 특히 대형 모델의 경우 처리 지연이 길어지는 문제가 발생하였다. 추측 디코딩은 이러한 병목을 완화하기 위해 다음과 같은 구조를 가진다.
*초안 단계: 작은 모델이 입력 문맥을 바탕으로 여러 개의 다음 토큰 후보를 빠르게 생성한다.
*검증 단계: 대상 모델이 후보 토큰들을 병렬로 평가하여, 실제로 모델이 생성할 가능성이 높은 토큰만을 수락한다.
이 과정을 통해 순차적인 토큰 생성이 아닌 병렬 검증 기반의 구조로 바뀌어 디코딩 지연이 줄고 처리량이 향상된다.
==작동 원리==
===드래프팅 단계===
초안 모델은 대상 모델보다 작거나 간소화된 형태로, 현재까지의 접두사(prefix)를 입력으로 다음 K개의 토큰 후보를 생성한다. 이 모델은 보통 대상 모델을 모방하거나 지식 증류(knowledge distillation)를 통해 훈련된다.
===검증 단계===
생성된 후보 토큰들은 대상 모델의 단일 포워드 패스(forward pass)를 통해 평가된다. 대상 모델은 각 후보 위치에서 확률 분포를 계산하고, 초안 모델이 제안한 토큰이 높은 확률을 갖는다면 해당 토큰을 수락한다. 첫 번째로 수락되지 않은 후보가 나오면 그 이후의 후보는 모두 버리고 접두사부터 다시 생성한다.
===수락률과 효율성===
수락률(acceptance rate)이 높을수록 초안 모델의 예측이 대상 모델과 일치하므로 병렬 처리 효율이 커진다. 반대로 수락률이 낮으면 재생성이 많아져 오히려 효율이 떨어질 수 있다.
==장점==
*순차적 생성 대신 여러 토큰을 한 번에 검증할 수 있어 지연(latency)이 줄어든다.
*동일한 하드웨어에서 처리량(throughput)을 높일 수 있다.
*메모리 대역폭이 병목인 환경에서 성능 향상이 크다.
==단점==
*초안 모델이 대상 모델과 다르게 예측하면 수락률이 낮아져 효율이 떨어진다.
*검증 단계에서 대상 모델의 추가 연산이 필요해 오버헤드가 생길 수 있다.
*품질 유지가 중요하므로 수락 임계값이나 모델 정렬 등의 튜닝이 필요하다.
==응용==
*vLLM 엔진에서는 가이드·추측 디코딩(guide & speculative decoding)으로 구현되어 있다.
*NVIDIA의 TensorRT-LLM 프레임워크에서는 추론 지연을 줄이기 위한 주요 기법으로 채택되었다.
*[[Medusa (인공지능)|'''Medusa''']] 프로젝트에서는 여러 디코딩 헤드를 추가하여 동시에 여러 단계의 토큰을 제안하는 구조를 도입하였다.
==한계 및 연구 과제==
*초안 모델과 대상 모델의 정렬을 어떻게 최적화할지에 대한 연구가 필요하다.
*수락 임계값과 후보 토큰 길이(K)의 선택이 성능에 큰 영향을 미친다.
*실제 서비스 환경에서는 입력 길이와 생성 길이에 따라 성능 편차가 존재한다.
*블록 병렬 디코딩(blockwise decoding), 청크 프리필(chunk prefill) 등과의 결합 가능성이 연구되고 있다.
==용어 정리==
*대상 모델(target model): 최종 출력 품질을 담당하는 고성능 언어 모델
*초안 모델(draft model): 대상 모델보다 작고 빠르며 후보 토큰을 제안하는 모델
*수락률(acceptance rate): 초안 모델의 제안 중 대상 모델이 수락한 비율
*접두사(prefix): 현재까지 생성된 토큰 시퀀스로, 다음 토큰 생성을 위한 맥락
==같이 보기==

* [[신경망 가지치기]]
* [[대형 언어 모델 효율화]]

==참고 문헌==
*Li, Jamie. "An Introduction to Speculative Decoding for Reducing Latency in AI Inference." NVIDIA Developer Blog, 2025년 9월 19일.
*Aleksa Gordić. "vLLM Internals: High-Throughput LLM Inference System." RosettaLens, 2025년 9월 2일.
*A Comprehensive Survey of Speculative Decoding. 2024.
==각주==
[[분류:인공지능]]
[[분류:대형 언어 모델]]
[[분류:딥 러닝]]