IT 위키 - 사용자 기여 [ko]

GPT-2

2024-02-18T14:42:50Z

인공지능입니다:

'''Generative Pre Training of a language model 2'''

GPT-2는 [[OpenAI]]가 개발한 [[GPT-1]]의 후속작이다.

GPT의 2번째 버전이자 오픈소스로 공개된 마지막 버전. 2019년 2월 14일에 출시되었다. 연구용으로 활용할 가치는 있으나 초기버전이라 그런지 매개변수가 15억 개로 너무 적어 답변의 정확도가 매우 떨어져서 상용성은 기대하기 어렵다. 가끔 심각하게 틀린 답변을 하기 때문이다. 쉽게 말해 빅스비나 시리 수준을 생각하면 된다. 또한 2019년까지의 지식만 학습되어 있다. 이 문제는 매개변수는 1,750억 개로 늘린 GPT-3에서 일부 해결되었다.

다만 학계에서는 매우 큰 충격을 준 모델이다. 이전에 이 정도 수준을 자랑하는 언어모델을 찾아보기 힘들었기 때문이다. [[제프리 힌튼]] 교수는 [[ChatGPT]]를 접하고도 딱히 놀라진 않았지만, GPT-2를 처음 접할 당시에는 큰 놀라움을 받았다고 언급했다.

== 같이 보기 ==

* [[OpenAI]]
* [[GPT]]
* [[GPT-1]]
* [[GPT-3]]
* [[GPT-4]]
* [[ChatGPT]]
[[분류:인공지능]]

GPT-3

2024-02-18T14:42:21Z

인공지능입니다:

'''Generative Pre Training of a language model 3'''

GPT-3는 생성형 언어 모델로, [[OpenAI]]가 개발한 [[GPT-2]]의 후속작이다.

* [[2020년]] [[6월]]에 출시되었으며, [[2022년]] [[11월]]에 GPT-3.5가 출시되었다.

== 상세 ==

* GPT-3는 자기회귀 언어 모델이다. 또한, [[OpenAI]]가 만든 GPT의 3세대 모델이다.
* GPT-3는 1,750억 개의 매개변수로 구성되어, [[2020년]] [[5월]] 도입된 전작인 GPT-2보다 100배 이상 크다.
* GPT-3가 수행가능한 작업으로는 간단한 각종 언어 관련 문제풀이, 간단한 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩, 간단한 대화 등이 가능하다. 또한, GPT-3에서 생성하는 글은 인간이 작성한 글과 구별하기 어렵다.

== 출현 과정 ==

* 2020년 5월 28일 OpenAI 연구진과 엔지니어들은 GPT-3를 소개하는 논문 원본을 발표하면서 GPT-3의 잠재적 위험을 경고하고, 위험 완화를 위한 연구를 요구했다. 호주 철학자 [[데이비드 차머스]]는 GPT-3를 "지금까지 생산한 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나"라고 설명했다.
* 2020년 6월 클로즈 베타 테스트를 거쳤다.
* 2020년 10월부터 [[OpenAI]]는 GPT-3의 코드와 모델을 공개하지 않을 것이라 밝혔다. 지금까지 OpenAI가 추구해왔던 비영리, 오픈 소스와 반대되는 행동이라 비판이 나왔다.[[2019년]] OpenAI에 투자한 [[마이크로소프트]]의 요구로 인해 비공개로 돌린 것이 아니냐는 추측이 있다. 모델이 공개된다 한들, 매개변수의 개수가 상당한 만큼 개인용 컴퓨터에서 실행시키는 것은 불가능할 것으로 보인다.
* 2021년 7월에는 [[GitHub]]가 GPT-3을 이용한 [[GitHub Copilot]]을 공개하였다.
* 2022년 11월 오픈 베타가 시작되어 세계적으로 큰 반향을 일으켰다. GPT-3의 오픈베타 공개는 OpenAI가 더이상 늘어나는 GPT 개발비를 감당하지 못하고, [[마이크로소프트]]와 협약을 맺어 대중적으로 이를 공개하기로 방향을 바꿨기 때문이다. 이에 따라 GPT-3는 원격 API 호출 등의 유료 기능을 갖추고 있으며, [[마이크로소프트]] [[검색엔진]] 등에도 유료 라이센스로 적용이 되었다. 2020년 2월에 선보인 [[마이크로소프트]]의 튜링 NLG로 GPT-3보다 매개변수가 10배 적었다.

== 같이 보기 ==

* [[OpenAI]]
* GPT
* [[GPT-1]]
* GPT-2
* [[GPT-3.5]]
* GPT-4
* ChatGPT
[[분류:인공지능]]

GPGPU

2024-02-18T14:42:00Z

인공지능입니다:

'''G'''eneral-'''P'''urpose computing on '''G'''raphics '''P'''rocessing '''U'''nits

GPGPU란 그래픽 카드를 위해 만들어졌던 GPU란 개념을 일반 연산에 적용시켜 [[중앙처리장치|CPU]]처럼 활용하는 개념을 말한다.

== GPGPU 개념의 등장 배경 ==
초기 [[컴퓨터]]는 CPU가 화면에 출력할 정보를 계산하는 것은 물론 [[디스플레이]]에 보낼 전기 신호까지도 직접 생성했으며, 이 때문에 화면 출력을 하는 것 자체가 CPU의 연산을 소모하는 행동이었다. 이 때는 아예 CPU가 연동된 시스템 클럭이 디스플레이와의 통신 [[프로토콜]]과 연동되어 있을 정도로 얽혀 있었다.

이후 1980년대에 [[16비트]] 컴퓨터의 시대가 오면서 화면 출력의 역할은 메인보드 안에 있는 디스플레이 전용 회로를 거쳐 별도로 판매되는 [[그래픽 카드]]가 전담하게 되었지만, 이때까지도 그래픽 카드의 역할은 [[RAM|메모리]]에 표현된 이미지를 화면으로 옮기는 역할에 지나지 않았다. 이 시대의 모든 디스플레이는 순수하게 글자만 표시하는 문자 모드 아니면 2D 화면을 표시하는 그래픽 모드, 두 가지였기 때문에, 화면에 표시되는 정보가 담긴 RAM의 주소가 하드웨어에 예약 되어있었고, 그래픽 카드는 직접 RAM의 해당 구간을 읽어 디스플레이하는 역할을 담당했다.

그래픽 카드의 역할이 본격적으로 커지기 시작한 것은 슈퍼 VGA(SVGA)의 등장과 3D 그래픽의 부상과 맞물려 있다. [[VGA]] 그래픽 시절까지는 화면 전체를 표시하기 위한 메모리 용량이 기본적으로 시스템의 하드웨어 기본 메모리인 1MB의 일부를 예약해서 쓰는 것만으로 충분했지만, 해상도와 색상 가짓수가 늘어나면서 화면을 담기 위한 메모리 공간이 기하급수적으로 늘어나기 시작했다. 그래픽 카드 제조사들은 자신들이 제조하는 카드 안에 보조 메모리를 집어넣고 그 사용법을 프로그래머들에게 배포하기 시작했다. 이때부터 내부 메모리를 제어하는 등 그래픽 카드 안에 점점 복잡한 처리 회로가 추가되기 시작했다.

흔히 잘 알려지지 않은 당시 SVGA들의 특화기능으로, '2D 가속기능' 이 있다. 이것은 [[GUI]] 프로그램들이 점점 많아지고 [[Windows|윈도우]] 그래픽 환경에서 구동되는 사무, 전문 프로그램들이 늘어나자 2D 윈도우의 화면 처리 속도를 높이기 위한 기능이었다. 실제로 그 이전까지 [[비디오 게임]]이 아닌 사무에서 2D 그래픽의 속도는 중요하게 취급되지 않았지만, 윈도우에서는 사용자의 입력이나 데이터 처리 표시 등이 모두 그래픽으로 즉각 반응해야 했기 때문에 화면의 속도도 중요하게 취급되었다. 486부터 펜티엄까지 시절의 그래픽 카드에선 화면 출력 속도가 빠르다는 사실이 꽤 중요하게 사용된 마케팅 포인트였다.

이어 개인용 컴퓨터에서 3D 그래픽이 사용된 게임을 하게 되면서 그래픽 카드에 대한 요구가 더 증가했다. 컴퓨터는 특정 게임 하나만을 위해 제작된 기기가 아닌 만큼 3D 그래픽을 처리하기 위해서는 프로그램별로 3D 처리 기능을 내장시켜 줘야 했다. 초기의 프로그램들은 수학적으로 3차원 공간의 좌표를 직접 계산해서 처리했지만 이것은 수행하기 어려울 뿐만 아니라 성능이 낮다는 치명적인 단점이 있었다. 따라서 당시에도 이미 2D 가속 기능, SVGA 고해상도 처리 기능 등 사용자 니즈에 맞춰 제품과 그 사용 솔루션을 함께 개발해서 팔아오던 각 그래픽 카드 제조사들은 게임 개발자들을 위해 당시 많이 사용되던 3D 계산 기능들을 정리해 하드웨어에 내장시키고, 그것을 사용하기 위한 [[라이브러리]]를 프로그래머들에게 제공하기 시작했다. 이 때 등장한 것이 [[글라이드|GLIDE]]와 같은 하드웨어 가속 [[API]]였으며, [[OpenGL]], 윈도우 [[DirectX]] 등이 등장했다.

초기의 그래픽 API들과 그것을 지원하는 그래픽 카드 하드웨어의 기능들은 기껏해야 3차원 공간에서 점을 찍고, 점을 이어서 선을 그려주는 것에서 출발했다. 그러나 일단 선을 이어 삼각형 이상의 면을 만들게 되고 나자 이것에 색을 채워줄 필요성이 생겼다. 처음에는 각도에 따른 명암만 달리하는 정도였지만, 점차 하드웨어가 발달하고 고객들의 눈높이가 올라가면서 텍스처를 입히거나, 각도에 따라 조명의 비율에 따라 색의 계조를 넣어주는 등 점점 고도화된 계산이 적용되었다.

이것은 결국 픽셀 하나하나마다 그 위치의 텍스처 색상, 그 위치에 비치는 빛, 사용자 시점과의 각도 등을 계산하여 정확한 [[RGB]] 컬러를 계산해야 하는 단계까지 도달했고, 이것이 픽셀 [[셰이더]]의 시작이다. 이렇게 되자 그래픽 카드는 화면에 있는 모든 픽셀에 대한 거의 동일한 계산작업을 매 프레임마다 해야하는 상황이 되었고, 이러한 처리를 하기 위해서는 무식하게 처리속도만을 올려 작업을 반복하는 것보다 해당 처리회로의 갯수를 늘려 한꺼번에 여러 픽셀씩 해치우는 것이 보다 효과적인 상황이 되었다. 그래서 '''이 시기부터 그래픽 카드는 병렬처리 능력을 높여'''갔다.

2006년 [[엔비디아]]에서 [[GeForce 8|G80]] 아키텍처를 내놓으면서 시대의 흐름이 바뀌었다. 그 이전까지의 GPU 컴퓨팅이라는 것이 어디까지나 주 기능에 덧붙여진 보조적인 기능이었지만, 엔비디아 CEO [[젠슨 황]]은 아예 미래의 그래픽 카드는 '연산 전용 장치'로서 역할이 바뀔 것이라는 비전을 제시하고 아예 병렬 처리 기능을 중심에 놓고 그것을 확장해서 그래픽 연산기능을 제공하는 아키텍처를 출시했다. 이렇게 병렬 처리 전용으로 처음 제공된 API가 [[CUDA]]이며, 이 때부터 프로그래머들과 교류하면서 성능 및 편의성을 개선한 덕분에 아직까지 GPGPU API의 최강자 지위를 차지하고 있다. 후발주자들은 컨소시엄을 만들어 [[OpenCL]] 등으로 범용성을 추구하는 등으로 우회한 장점을 추구했지만 파편화로 인한 최적화 성능의 부족 및 개발자 친화성 부족 등이 발목을 잡아 밀리고 있는 실정이다.

== CPU와 GPU의 차이 ==
{| class="wikitable"
!구분
!중앙 처리 장치(CPU)
!그래픽 처리 장치(GPU)
|-
!'''함수'''
|서버의 주요 처리 연산을 해결하는 일반화된 구성 요소
|병렬 컴퓨팅에 탁월한 전문화된 구성 요소
|-
!'''처리 중'''
|직렬 명령 처리를 위해 설계됨
|병렬 명령 처리를 위해 설계됨
|-
!'''설계'''
|코어 수는 더 적지만 코어 성능은 더 강력함
|CPU보다 코어 수는 더 많지만 CPU 코어보다 성능이 떨어짐
|-
!'''가장 적합한 용도'''
|범용 컴퓨팅 애플리케이션
|고성능 컴퓨팅 애플리케이션
|-
!'''비유'''
|
* 스포츠카
* 몇명의 엘리트
|
* 대형 트럭
* 수 천명의 노동자
|}
[[파일:CPU와 GPU의 구조.png|섬네일|CPU와 GPU의 구]]
'''CPU는''' '''다양한 환경에서의 작업을 빠르게 수행하기 위해''' 복잡한 ALU(산술 논리 유닛)와 FPU(부동 소수점 유닛) 구조를 가지고 있고, 명령어 하나로 처리할 수 있는 기능([[SIMD]])도 많으며, 각종 제어 처리를 위한 부분이 매우 많다. CPU에 계속 추가되고 있는 확장 명령어 셋들을(SSE, AVX, FMA 등) 보면 명령어 하나로 계산 여러 개를 한꺼번에 하거나 복잡한 수식 처리를 하기 위한 것이 많다.

'''GPU는''' 특화된 연산을 빠른 속도로 수행하기 위해 그런 부분을 과감히 삭제하고 비교적 단순한 다수(수백 개)의 ALU와 FPU에 집중하는 구조로 만들어졌다. 때문에 GPU 단독으로는 어떤 고차원적인 작업은 처리할 수 없다. GPU라는 계산기를 두드리며 제어하고 명령하는 것은 여전히 CPU이다.

'''GPU는''' 대량 계산에 용이하게 설계되므로 잘 이용하면 연산 성능을 향상시킬 수 있다. 대표적인 예가 GPU의 탄생 배경인 그래픽 처리이고, 최근 4차산업혁명 시대에 들어선 인공지능과 블록체인을 위한 연산 등에서 CPU보다 훨씬 빠른 성능을 보여주고 있다. 이렇게 그래픽 처리가 아닌 다른 목적들로 범용성을 가지고 GPU가 사용되는 것을 GPGPU라고 한다.
[[분류:인공지능]]
[[분류:하드웨어]]

GPT-3

2024-02-18T14:39:59Z

인공지능입니다: 새 문서: '''Generative Pre Training of a language model 3''' GPT-3는 생성형 언어 모델로, OpenAI가 개발한 GPT-2의 후속작이다. * 2020년 6월에 출시되었으며, 2022년 11월에 GPT-3.5가 출시되었다. == 상세 == * GPT-3는 자기회귀 언어 모델이다. 또한, OpenAI가 만든 GPT의 3세대 모델이다. * GPT-3는 1,750억 개의 매개변수로 구성되어, 2020년 5월 도입된 전작인 GPT-2보다 100배 이...

GPT-2

2024-02-18T14:36:06Z

인공지능입니다:

GPT-2

2024-02-18T14:35:04Z

인공지능입니다: 새 문서: '''Generative Pre Training of a language model 2''' GPT-2는 OpenAI가 개발한 GPT-1의 후속작이다. GPT의 2번째 버전이자 오픈소스로 공개된 마지막 버전. 2019년 2월 14일에 출시되었다. 연구용으로 활용할 가치는 있으나 초기버전이라 그런지 매개변수가 15억 개로 너무 적어 답변의 정확도가 매우 떨어져서 상용성은 기대하기 어렵다. 가끔 심각하게 틀린 답변을 하기 때문이다....

GPT-1

2024-02-18T14:33:49Z

인공지능입니다:

[[분류:인공지능]]
;Generative Pre Training of a language model
;GPT-1은 [[OpenAI]]가 개발한 첫 번째 인공지능 모델이다.

* GPT-1은 2017년에 나온 Transformer 아키텍쳐를 기반으로 만들어졌다.

== 명칭의 의미 ==
=== 언어 모델 ===
;Language Model: 사람의 언어를 이해하는 모델
* 자연어 데이터만(백과사전 등)으로 학습 가능
** 즉 별도로 라벨링된 데이터가 필요하지 않음

=== 생산적 모델 ===
;Generative Model

=== 사전 학습 ===
;Pre Training Model

== 주요 분야 ==
* 자연어 유추
* 질의 응답
* 문장 의미 유사도 판단
* 분류

GPGPU

2024-02-18T13:36:54Z

인공지능입니다: 새 문서: '''G'''eneral-'''P'''urpose computing on '''G'''raphics '''P'''rocessing '''U'''nits GPGPU란 그래픽 카드를 위해 만들어졌던 GPU란 개념을 일반 연산에 적용시켜 CPU처럼 활용하는 개념을 말한다. == GPGPU 개념의 등장 배경 == 초기 컴퓨터는 CPU가 화면에 출력할 정보를 계산하는 것은 물론 디스플레이에 보낼 전기 신호까지도 직접 생성했으며, 이 때문에 화면 출력...

파일:CPU와 GPU의 구조.png

2024-02-18T13:36:06Z

인공지능입니다:

출처: NVIDIA

생성형 인공지능

2024-02-17T09:45:52Z

인공지능입니다: 새 문서: == 대화형 == === 챗봇 === * 오픈AI ChatGPT * Microsoft Copilot * LLaMA * 구글 Gemini * 네이버 CLOVA X * Cue: * Inflection AI === 언어 모델 === * GPT-1 * GPT-2 * GPT-3 * GPT-4 * GPT-5 * 삼성 가우스 * Gemini == 텍스트 == * NovelAI * AI Dungeon == 그림 == * Midjourney * DALL-E * Artbreeder * NovelAI Image Generation * Stable Diffusion * Gaugan2 == 영상 == * Stable Video * AI 스튜디오 페르소 * Sora == 음성 == * A.I.VOICE * DeepVocal

== 대화형 ==

=== 챗봇 ===

* 오픈AI ChatGPT
* Microsoft Copilot
* LLaMA
* 구글 Gemini
* 네이버 CLOVA X
* Cue:
* Inflection AI

=== 언어 모델 ===

* GPT-1
* GPT-2
* GPT-3
* GPT-4
* GPT-5
* 삼성 가우스
* Gemini

== 텍스트 ==

* NovelAI
* AI Dungeon

== 그림 ==

* Midjourney
* DALL-E
* Artbreeder
* NovelAI Image Generation
* Stable Diffusion
* Gaugan2

== 영상 ==

* Stable Video
* AI 스튜디오 페르소
* Sora

== 음성 ==

* A.I.VOICE
* DeepVocal

T-closeness

2024-02-06T13:09:16Z

인공지능입니다:

T-closeness aims to '''make the distribution of sensitive information''' within a group similar to the distribution of sensitive information for an individual record. It minimizes the difference between the sensitive information of an individual and the overall distribution within the group.

'''Example'''

If the sensitive information distribution within a group closely resembles the distribution of an individual's sensitive information, the data can be considered to satisfy T-closeness.

== See Also ==

* [[K-anonymity]]
* [[L-diversity]]

T-closeness

2024-02-06T13:08:56Z

인공지능입니다: 새 문서: T-closeness aims to make the distribution of sensitive information within a group similar to the distribution of sensitive information for an individual record. It minimizes the difference between the sensitive information of an individual and the overall distribution within the group. '''Example''' If the sensitive information distribution within a group closely resembles the distribution of an individual's sensitive information, the data can be considered to satisfy T-closen...

T-closeness aims to make the distribution of sensitive information within a group similar to the distribution of sensitive information for an individual record. It minimizes the difference between the sensitive information of an individual and the overall distribution within the group.

'''Example'''

If the sensitive information distribution within a group closely resembles the distribution of an individual's sensitive information, the data can be considered to satisfy T-closeness.

== See Also ==

* [[K-anonymity]]
* [[L-diversity]]

L-diversity

2024-02-06T13:08:20Z

인공지능입니다: 새 문서: L-diversity is a concept designed to overcome the limitations of K-anonymity. '''It ensures diversity of sensitive information''' within groups of identical attribute values, requiring each group to have at least L distinct values of sensitive information. '''Example''' Applying L-diversity within groups with the same attributes like gender or age means each group should have at least L different values of sensitive information. == See Also == * K-anonymity * T-clo...

L-diversity is a concept designed to overcome the limitations of [[K-anonymity]]. '''It ensures diversity of sensitive information''' within groups of identical attribute values, requiring each group to have at least L distinct values of sensitive information.

'''Example'''

Applying L-diversity within groups with the same attributes like gender or age means each group should have at least L different values of sensitive information.

== See Also ==

* [[K-anonymity]]
* [[T-closeness]]

K-anonymity

2024-02-06T13:07:22Z

인공지능입니다: 새 문서: K-anonymity is the concept that each individual record in a dataset is indistinguishable from at least K other records based on certain attributes. This makes it challenging to identify each record individually, enhancing privacy protection. '''Example''' Considering attributes like gender, age, and location, if each record shares at least the same values with three other records, the data can be considered to have a 3-anonymity. == See Also == * L-diversity * T-closen...

K-anonymity is the concept that each individual record in a dataset is indistinguishable from at least K other records based on certain attributes. This makes it challenging to identify each record individually, enhancing privacy protection.

'''Example'''

Considering attributes like gender, age, and location, if each record shares at least the same values with three other records, the data can be considered to have a 3-anonymity.

== See Also ==

* [[L-diversity]]
* [[T-closeness]]

Pseudonymization

2024-02-06T13:00:38Z

인공지능입니다: 새 문서: Pseudonymization is a technical approach to protecting personal information, involving the substitution of actual identifying information with substitute values or virtual identifiers. ==Characteristics== Actual identifying information is retained but replaced with virtual identifiers, enhancing security. For example, real names may be replaced with encrypted codes. ==Purpose== Primarily used when there is a need to enhance security while retaining some level of identifiable in...

Pseudonymization is a technical approach to protecting personal information, involving the substitution of actual identifying information with substitute values or virtual identifiers.
==Characteristics==
Actual identifying information is retained but replaced with virtual identifiers, enhancing security. For example, real names may be replaced with encrypted codes.
==Purpose==
Primarily used when there is a need to enhance security while retaining some level of identifiable information. It is commonly applied in fields such as healthcare and research.

==See Also==
*[[De-identification]]
*[[Anonymization]]

Anonymization

2024-02-06T12:59:11Z

인공지능입니다: 새 문서: Anonymization involves the process of rendering personal information entirely absent, creating a state where individuals cannot be identified. == Characteristics == It often entails complete removal of all personally identifiable information or aggregating data in a way that makes specific individuals indistinguishable. == Purpose == Mainly employed to protect sensitive personal information and share data with third parties, aiming to virtually eliminate the identifiability o...

Anonymization involves the process of rendering personal information entirely absent, creating a state where individuals cannot be identified.

== Characteristics ==
It often entails complete removal of all personally identifiable information or aggregating data in a way that makes specific individuals indistinguishable.

== Purpose ==
Mainly employed to protect sensitive personal information and share data with third parties, aiming to virtually eliminate the identifiability of the data.

== See Also ==

* [[De-identification]]
* [[Pseudonymization]]

De-identification

2024-02-06T12:58:05Z

인공지능입니다: 새 문서: De-identification refers to the process of removing or transforming personally identifiable information in data to reduce its identifiability. == Characteristics == It typically involves keeping some non-identifying information intact while altering or removing potentially identifying elements, such as names or social security numbers. == Purpose == Primarily used for purposes like research or statistical analysis, aiming to minimize identification risks while maintaining the...

De-identification refers to the process of removing or transforming personally identifiable information in data to reduce its identifiability.

== Characteristics ==
It typically involves keeping some non-identifying information intact while altering or removing potentially identifying elements, such as names or social security numbers.

== Purpose ==
Primarily used for purposes like research or statistical analysis, aiming to minimize identification risks while maintaining the utility of the original data.

== See Also ==

* [[Anonymization]]
* [[Pseudonymization]]

인공지능 대상 공격

2024-02-06T12:44:41Z

인공지능입니다:

인공지능 시스템이나 인공지능 모델을 대상으로 한 공격이다.

=== 데이터 오염(Data Poisoning) ===

=== 백도어 공격(Backdoor Attack) ===

=== 모델 오염(Model Poisoning) ===

=== 라벨 뒤집기(Label-flipping) ===

=== 모델 추출(Model Extraction; Model Stealing) ===

* 원본 AI 모델로부터 유사한 모델을 추출하여 복제하는 공격
* 대량의 쿼리를 통해 입･출력값을 수집하고 이를 학습하여 원본 AI 모델과 유사도가 높은 모델을 복제
* 아마존(Amazon) 및 BigML이 MLaaS 형태로 제공하는 유료 AI 모델을 몇 분만에 99% 이상 유사도로 복제 가능하다는 것이 관련 연구로 증명

=== 모델 인버전(Model Inversion) ===

* 모델의 출력값으로부터 입력값을 유추하는 공격
* 공격자는 모델 종류, 파라미터 등 알려진 정보를 기반으로 대리모델을 제작하여 공격에 활용
* 신뢰 점수를 기반으로 공격하여 입력값(원본 이미지)에 가까운 이미지를 생성한 사례도 존재

[[분류:인공지능]]
[[분류:보안]]
[[분류:보안 공격]]

인공지능 대상 공격

2024-02-04T00:58:25Z

인공지능입니다:

DP-SGD 기법

2024-02-04T00:34:26Z

인공지능입니다:

'''Differential Privacy – Stochastic Gradient Descent'''

* SGD는 AI 모델을 학습 방식의 대표적인 방법으로 입력 데이터를 작은 크기로 분할 집합(Mini Batch)하여 학습 진행
** 여기서 AI 모델 학습은 새로운 데이터 입력으로 AI 모델 내의 노드 등의 수치가 최적화(Optimize)되는 과정으로 정의한다.
* DP-SGD는 SGD방식에서 차등 프라이버시 기법을 적용하여 학습 진행 ∙ 분할 집합마다 각 가중치를 구하고 최대 기울기 제한(Clip Gradient) 및 통계적 기반의 노이즈(Gaussian Noise)를 추가하여 학습 진행

이렇게 하면 공격자는 출력값을 기반으로 입력값을 유추, 모델 유추 등이 어려워 진다.
[[분류:알고리즘]]

DP-SGD 기법

2024-02-04T00:34:10Z

인공지능입니다: 새 문서: '''Differential Privacy – Stochastic Gradient Descent''' * SGD는 AI 모델을 학습 방식의 대표적인 방법으로 입력 데이터를 작은 크기로 분할 집합(Mini Batch)하여 학습 진행 ** 여기서 AI 모델 학습은 새로운 데이터 입력으로 AI 모델 내의 노드 등의 수치가 최적화(Optimize)되는 과정으로 정의한다. * DP-SGD는 SGD방식에서 차등 프라이버시 기법을 적용하여 학습 진행 ∙ 분할 집합마다 각...

FoolsGold 기법

2024-02-04T00:28:17Z

인공지능입니다:

인공지능 [[연합 학습]] 등의 과정에서 발생할 수 있는 중독 공격을 방지하기 위해 데이터의 유사도를 기준으로 악의적 데이터와 정상 정보를 구분하는 기법

== 이름의 유래 ==
Fool's Gold 알고리즘의 이름은 'Fool's Gold'라는 영어 표현에서 유래하였다. 이 표현은 현실에서는 가치가 없지만 비전문가나 경험이 부족한 사람들이 그것을 가치 있는 것으로 오인하는 것을 나타낸다.

알고리즘의 명칭에서 이 용어를 사용하면, 알고리즘이 부적절하게 혹은 잘못된 결과를 내놓는데도 불구하고, 비전문가나 무지한 사용자가 그 결과를 신뢰하는 상황을 의미한다. 이는 마치 진짜 금이 아니라 황금빛 돌이나 광물인 'Fool's Gold'가 가치 있는 금이라고 착각되는 상황을 비유한 것이다.

== 기본 아이디어 ==
FoolsGold의 아이디어는 클라이언트들이 전송하는 제한된 정보만으로도, 정직한 클라이언트와 시빌 간 구분이 가능하다는 인사이트로부터 시작된다. 다시 말해 그레디언트 업데이트의 양상을 통해 둘 간의 구분이 가능하다는 말이다. 이러한 인사이트를 가지고 각 클라이언트의 학습률을 각 반복(라운드)마다 수정해줌으로써, 지속적으로 유사해 보이는 그레디언트 업데이트를 제안하는 클라이언트의 영향력을 줄일 수 있다.

[[파일:시빌 업데이트 예시.png|500x500픽셀]]

'''목표'''

# 시스템이 공격받지 않을 때, 기존 연합 학습 방법의 성능을 보존할 수 있어야 한다.
# 유사한 방향을 향하는 클라이언트(아마 시빌일 것)의 기여도를 평가 절하할 수 있어야 한다.
# 중독 공격을 가하는 시빌의 수가 증가하더라도 강인해야 한다.
# 정직한 업데이트와 시빌의 업데이트를 구분할 수 있어야 한다.
# “네트워크 참여자 중 정직한 클라이언트의 수 또는 시빌의 수가 얼마 이상 되어야 한다.”와 같은 외부 가정에 의존하지 않아야 한다.

== 알고리즘 ==
[[파일:FoolsGold 알고리즘.png]]

== 참고 문헌 ==

* <nowiki>https://medium.com/curg/인공지능에도-시빌-공격이-있다-43449be6885f</nowiki>
[[분류:인공지능]]

FoolsGold 기법

2024-02-04T00:27:44Z

인공지능입니다: 새 문서: 인공지능 연합 학습 등의 과정에서 발생할 수 있는 중독 공격을 방지하기 위해 데이터의 유사도를 기준으로 악의적 데이터와 정상 정보를 구분하는 기법 == 이름의 유래 == Fool's Gold 알고리즘의 이름은 'Fool's Gold'라는 영어 표현에서 유래하였다. 이 표현은 현실에서는 가치가 없지만 비전문가나 경험이 부족한 사람들이 그것을 가치 있는 것으로 오인하는 것을 나...

파일:FoolsGold 알고리즘.png

2024-02-04T00:26:12Z

인공지능입니다:

출처: https://medium.com/curg/인공지능에도-시빌-공격이-있다-43449be6885f

파일:FoolsGood 알고리즘.png

2024-02-04T00:22:47Z

인공지능입니다:

출처: https://medium.com/curg/인공지능에도-시빌-공격이-있다-43449be6885f

파일:시빌 업데이트 예시.png

2024-02-03T11:57:13Z

인공지능입니다:

출처: https://medium.com/curg/인공지능에도-시빌-공격이-있다-43449be6885f

벡터 유사도

2024-02-03T11:52:12Z

인공지능입니다:

== 유클리드 거리 ==
'''Euclidean distance'''

두 점 사이의 거리를 구하는 가장 대표적인 방식이다. 구하는 방식은 두 벡터에서 각 성분 간의 차를 제곱하여 합한 뒤 제곱근을 씌워 구한다. 벡터 P와 Q 사이의 유클리드 거리는 아래와 같이 나타낼 수 있다.

[[파일:유클리드 거리 공.png]]

== 맨해튼 거리 ==
'''Manhattan distance'''

흔히 택시 거리라고도 하며, 거리 공간에서 유클리드 거리 외의 두 점 사이의 거리를 구하는 방식으로 알려져있다. 두 벡터가 있을 때, 벡터 성분 간 차이의 절댓값을 모두 합하여 구하므로 유클리드 거리보다 식이 비교적 간단하다. 벡터 P와 Q 사이의 맨해튼 거리를 식으로 나타내면 아래와 같다.

[[파일:맨해튼 거리 공식.png]]

== 민코프스키 거리 ==
'''Minkowski distance'''

두 벡터의 유사도를 벡터 사이의 각도를 사용해 표현하는 방식이다. 두 벡터 사이의 각도는 0도에서 최대 180도가 가능하며, 이때 그 각도에 해당하는 코사인 값을 두 벡터 사이의 코사인 유사도로 정의한다. 코사인 유사도 값을 구하는 식은 벡터의 내적을 사용해 아래와 같이 표현할 수 있다.

거리 공간에서 사용하는 거리 함수들을 일반화한 방식으로 생각할 수 있다. 아래와 같은 식으로 표현하며, p가 1인 경우 맨해튼 거리, p가 2인 경우 유클리드 거리와 동일하게 표현된다.

[[파일:민코프스키 거리.png]]

== 코사인 유사도 ==
'''Cosine similarity'''

두 벡터의 유사도를 벡터 사이의 각도를 사용해 표현하는 방식이다. 두 벡터 사이의 각도는 0도에서 최대 180도가 가능하며, 이때 그 각도에 해당하는 코사인 값을 두 벡터 사이의 코사인 유사도로 정의한다. 코사인 유사도 값을 구하는 식은 벡터의 내적을 사용해 아래와 같이 표현할 수 있다.

[[파일:코사인 거리 공.png]]

== 자카드 유사도 ==
Jaccard similarity

두 개의 집합 사이에서 유사도를 구하는 방식이다. 두 집합의 합집합과 교집합의 크기의 비율 값을 유사도로 나타내어 1에 가까울수록 두 집합이 유사한 원소를 가지고 있음을 알 수 있다. 아래의 식은 집합 A와 B 사이의 자카드 유사도를 나타낸 식이다.

[[파일:자카드 유사도.png]]

== 참고 문헌 ==

* 출처: FoolsGold 알고리즘의 취약점 분석 및 해결 방안 모색(김호, 박시찬, 신홍직, 이정호, 임준환)
[[분류:인공지능]]
[[분류:데이터 분석]]

벡터 유사도

2024-02-03T11:51:39Z

인공지능입니다: 새 문서: === 유클리드 거리 === '''Euclidean distance''' 두 점 사이의 거리를 구하는 가장 대표적인 방식이다. 구하는 방식은 두 벡터에서 각 성분 간의 차를 제곱하여 합한 뒤 제곱근을 씌워 구한다. 벡터 P와 Q 사이의 유클리드 거리는 아래와 같이 나타낼 수 있다. 파일:유클리드 거리 공.png === 맨해튼 거리 === '''Manhattan distance''' 흔히 택시 거리라고도 하며, 거리 공간에서 유...

=== 유클리드 거리 ===
'''Euclidean distance'''

두 점 사이의 거리를 구하는 가장 대표적인 방식이다. 구하는 방식은 두 벡터에서 각 성분 간의 차를 제곱하여 합한 뒤 제곱근을 씌워 구한다. 벡터 P와 Q 사이의 유클리드 거리는 아래와 같이 나타낼 수 있다.

[[파일:유클리드 거리 공.png]]

=== 맨해튼 거리 ===
'''Manhattan distance'''

흔히 택시 거리라고도 하며, 거리 공간에서 유클리드 거리 외의 두 점 사이의 거리를 구하는 방식으로 알려져있다. 두 벡터가 있을 때, 벡터 성분 간 차이의 절댓값을 모두 합하여 구하므로 유클리드 거리보다 식이 비교적 간단하다. 벡터 P와 Q 사이의 맨해튼 거리를 식으로 나타내면 아래와 같다.

[[파일:맨해튼 거리 공식.png]]

=== 민코프스키 거리 ===
'''Minkowski distance'''

두 벡터의 유사도를 벡터 사이의 각도를 사용해 표현하는 방식이다. 두 벡터 사이의 각도는 0도에서 최대 180도가 가능하며, 이때 그 각도에 해당하는 코사인 값을 두 벡터 사이의 코사인 유사도로 정의한다. 코사인 유사도 값을 구하는 식은 벡터의 내적을 사용해 아래와 같이 표현할 수 있다.

거리 공간에서 사용하는 거리 함수들을 일반화한 방식으로 생각할 수 있다. 아래와 같은 식으로 표현하며, p가 1인 경우 맨해튼 거리, p가 2인 경우 유클리드 거리와 동일하게 표현된다.

[[파일:민코프스키 거리.png]]

=== 코사인 유사도 ===
'''Cosine similarity'''

두 벡터의 유사도를 벡터 사이의 각도를 사용해 표현하는 방식이다. 두 벡터 사이의 각도는 0도에서 최대 180도가 가능하며, 이때 그 각도에 해당하는 코사인 값을 두 벡터 사이의 코사인 유사도로 정의한다. 코사인 유사도 값을 구하는 식은 벡터의 내적을 사용해 아래와 같이 표현할 수 있다.

[[파일:코사인 거리 공.png]]

=== 자카드 유사도 ===
Jaccard similarity

두 개의 집합 사이에서 유사도를 구하는 방식이다. 두 집합의 합집합과 교집합의 크기의 비율 값을 유사도로 나타내어 1에 가까울수록 두 집합이 유사한 원소를 가지고 있음을 알 수 있다. 아래의 식은 집합 A와 B 사이의 자카드 유사도를 나타낸 식이다.

[[파일:자카드 유사도.png]]

== 참고 문헌 ==

* 출처: FoolsGold 알고리즘의 취약점 분석 및 해결 방안 모색(김호, 박시찬, 신홍직, 이정호, 임준환)

파일:자카드 유사도.png

2024-02-03T11:51:23Z

인공지능입니다: