인공지능 레드티밍 도구
인공지능 레드티밍 도구(AI red teaming tool)는 생성형 인공지능(Generative AI), 대형 언어 모델(Large Language Model, LLM), RAG, AI 에이전트 등 인공지능 시스템에 적대적 입력과 공격 시나리오를 적용하여 취약점, 안전성 실패, 정책 위반, 정보 유출 가능성을 탐지·평가하는 소프트웨어 도구이다.
인공지능 레드티밍 도구는 인공지능 시스템이 실제 공격자나 악의적 사용자의 입력에 어떻게 반응하는지 사전에 확인하기 위해 사용된다. 전통적인 보안 스캐너가 네트워크, 웹 애플리케이션, 운영체제, 소스 코드의 취약점을 주로 검사한다면, 인공지능 레드티밍 도구는 자연어 프롬프트, 시스템 프롬프트, 모델 응답, 검색 문서, 에이전트 도구 호출, 출력 검증 로직 등 AI 애플리케이션 특유의 공격면을 다룬다.
대표적인 점검 대상에는 프롬프트 인젝션(prompt injection), 탈옥(jailbreak), 민감정보 유출, RAG 문서 오염, 허위 출처 생성, 접근 제어 우회, 도구 호출 오남용, 유해 콘텐츠 생성 등이 있다. OWASP Top 10 for LLM Applications 2025는 프롬프트 인젝션, 민감정보 공개, 공급망 취약점, 데이터 및 모델 오염, 부적절한 출력 처리, 과도한 에이전시 등을 LLM 애플리케이션의 주요 위험으로 제시한다.[1]
인공지능 레드티밍 도구의 목적은 단순히 모델이 금지된 답변을 생성하는지 확인하는 데 그치지 않는다. 실제 서비스 맥락에서 모델, 프롬프트, 검색 시스템, 외부 도구, 권한 체계가 결합될 때 발생할 수 있는 위험을 반복 가능하게 탐지하는 것이 핵심이다.
주요 목적은 다음과 같다.
- 배포 전 AI 애플리케이션의 보안 취약점 탐지
- 프롬프트 인젝션과 탈옥 공격에 대한 방어력 확인
- 개인정보, 기밀정보, 시스템 프롬프트 유출 가능성 평가
- RAG 기반 시스템의 문서 오염, 문서 탈취, 출처 조작 가능성 점검
- AI 에이전트의 외부 도구 호출 및 권한 행사 위험 검증
- 모델 또는 프롬프트 변경에 따른 보안 회귀 테스트
- 보안 정책, 컴플라이언스, 비즈니스 규칙 위반 여부 평가
- 레드팀 활동 결과의 기록, 재현, 보고 자동화
인공지능 레드티밍 도구는 기능과 사용 목적에 따라 여러 유형으로 나눌 수 있다.
| 유형 | 설명 | 예시 |
|---|---|---|
| 취약점 스캐너형 | 모델이나 챗봇을 대상으로 다양한 공격 프롬프트를 실행하고 취약 행동을 탐지한다. | garak |
| 평가 및 CI/CD 통합형 | 프롬프트, 모델, 테스트 케이스, 정책 검증을 코드 기반 워크플로에 통합한다. | Promptfoo |
| 레드티밍 프레임워크형 | 오케스트레이터, 공격 전략, 스코어러, 메모리 등을 조합해 맞춤형 공격 실험을 구성한다. | PyRIT |
| 가드레일 및 입출력 검사형 | LLM 입력과 출력을 스캔·차단·익명화·정화하여 실시간 보호에 활용한다. | LLM Guard, NeMo Guardrails |
| 일반 평가 프레임워크형 | 성능·품질 평가에 초점을 두지만 보안·안전성 테스트 케이스를 구성해 레드티밍 보조 도구로 사용할 수 있다. | OpenAI Evals, DeepEval |
PyRIT(Python Risk Identification Tool for generative AI)는 Microsoft가 공개한 생성형 AI 시스템 대상 오픈소스 위험 식별 및 레드티밍 프레임워크이다. 공식 저장소는 PyRIT를 보안 전문가와 엔지니어가 생성형 AI 시스템의 위험을 선제적으로 식별하도록 돕는 오픈소스 프레임워크로 설명한다.[2]
PyRIT는 타깃, 오케스트레이터, 컨버터, 스코어러, 메모리 등의 구성 요소를 조합하여 단일 턴 및 다중 턴 공격을 실행할 수 있다. 공식 문서는 PyRIT를 자동화 및 인간 주도 AI 레드티밍을 위한 유연하고 확장 가능한 프레임워크로 설명한다.[3]
PyRIT는 연구형 레드티밍, 다중 턴 공격 시나리오, 사용자 정의 스코어링, 모델·플랫폼 독립적 실험에 적합하다. Microsoft의 PyRIT 논문은 PyRIT를 생성형 AI 시스템의 보안 위험 식별과 레드티밍을 위한 모델 및 플랫폼 독립 프레임워크로 설명한다.[4]
Promptfoo는 LLM 애플리케이션 평가와 레드티밍을 위한 CLI 및 라이브러리이다. 공식 GitHub 저장소는 Promptfoo를 LLM 앱을 평가하고 레드티밍하기 위한 CLI와 라이브러리로 설명한다.[5]
Promptfoo의 레드티밍 기능은 promptfoo redteam 명령과 promptfooconfig.yaml의 redteam 섹션을 통해 설정한다. 공식 문서는 LLM 레드티밍을 배포 전에 시뮬레이션된 적대적 입력을 사용해 AI 시스템의 취약점을 찾는 방법으로 설명한다.[6]
Promptfoo는 프롬프트, 모델, RAG, 에이전트, 외부 API를 포함한 애플리케이션 단위 평가에 강점이 있다. 또한 CI/CD 파이프라인에서 보안 회귀 테스트를 수행하기에 적합하며, 공식 설정 문서는 redteam 섹션에서 플러그인과 전략을 지정해 테스트를 생성할 수 있다고 설명한다.[7]
garak(Generative AI Red-teaming & Assessment Kit)은 LLM 취약점 스캐너이다. 공식 사이트는 garak을 LLM 취약점 스캐너로 설명하며, 모델이나 시스템의 보안 상태를 평가하는 데 사용할 수 있다고 안내한다.[8]
공식 GitHub 저장소에 따르면 garak은 환각, 데이터 유출, 프롬프트 인젝션, 허위정보, 독성 생성, 탈옥 등 여러 약점을 탐지하기 위해 LLM을 검사한다.[9] garak 논문은 garak을 대상 LLM 또는 대화 시스템의 취약점을 구조적으로 탐색하고 식별하기 위한 프레임워크로 설명한다.[10]
garak은 비교적 스캐너에 가까운 사용성을 제공하므로, 특정 모델이나 챗봇이 알려진 취약 행동에 얼마나 노출되어 있는지 빠르게 확인하는 데 유용하다.
LLM Guard는 Protect AI가 공개한 LLM 상호작용 보안 도구이다. 공식 저장소는 LLM Guard를 LLM 상호작용을 보호하기 위한 보안 툴킷으로 설명한다.[11]
LLM Guard는 전형적인 레드티밍 프레임워크라기보다 LLM 입력과 출력을 스캔하고, 민감정보를 탐지·수정하며, 위험한 프롬프트와 응답을 필터링하는 가드레일 도구에 가깝다. 공식 사이트는 LLM Guard가 프롬프트와 응답을 탐지, 수정, 정화하여 실시간 안전성·보안·컴플라이언스에 활용할 수 있다고 설명한다.[12]
NeMo Guardrails는 NVIDIA가 공개한 LLM 애플리케이션 가드레일 프레임워크이다. 공식 저장소는 NeMo Guardrails가 탈옥과 프롬프트 인젝션 등 일반적인 LLM 취약점으로부터 LLM 기반 채팅 애플리케이션을 보호하기 위한 여러 메커니즘을 제공한다고 설명한다.[13]
NeMo Guardrails 자체는 주로 방어와 정책 집행에 초점을 두지만, NVIDIA 문서는 LLM 취약점 스캐닝 맥락에서 garak과의 연계를 설명한다.[14] 따라서 운영 환경에서는 가드레일 적용과 레드티밍 도구를 함께 사용해 방어 효과를 검증하는 방식이 일반적이다.
OpenAI Evals는 LLM 및 LLM 기반 시스템을 평가하기 위한 프레임워크이다. 공식 저장소는 Evals를 LLM 또는 LLM 기반 시스템을 평가하기 위한 프레임워크로 설명한다.[15]
OpenAI Evals는 레드티밍 전용 도구는 아니지만, 보안·안전성 테스트 케이스를 작성하면 특정 취약 행동이나 정책 위반을 평가하는 데 사용할 수 있다. 다만 OpenAI 개발자 문서는 기존 Evals 플랫폼이 2026년 10월 31일 읽기 전용으로 전환되고 2026년 11월 30일 종료될 예정이라고 안내한다.[16]
| 도구 | 주된 성격 | 강점 | 주 사용 대상 |
|---|---|---|---|
| PyRIT | Python 기반 레드티밍 프레임워크 | 다중 턴 공격, 사용자 정의 오케스트레이션, 스코어링, 연구형 실험 | 보안 연구자, AI 레드팀, 보안 엔지니어 |
| Promptfoo | LLM 평가 및 레드티밍 CLI | YAML 기반 설정, CI/CD 통합, 애플리케이션 맥락 기반 테스트 | 개발팀, ML 엔지니어, 보안 엔지니어 |
| garak | LLM 취약점 스캐너 | 빠른 스캔, 다양한 프로브, 모델·챗봇 취약 행동 탐색 | 보안 담당자, 모델 평가자 |
| LLM Guard | 입출력 보안 툴킷 | 프롬프트·응답 스캔, 민감정보 탐지, 실시간 필터링 | 애플리케이션 개발자, 보안 운영팀 |
| NeMo Guardrails | LLM 가드레일 프레임워크 | 정책 기반 대화 제어, 가드레일 구성, NVIDIA 생태계 연계 | 개발자, AI 플랫폼 팀 |
| OpenAI Evals | LLM 평가 프레임워크 | 평가 데이터셋과 커스텀 평가 구성 | 연구자, 모델 평가자, 개발팀 |
인공지능 레드티밍 도구가 다루는 점검 항목은 대상 시스템의 구조에 따라 달라진다.
| 점검 항목 | 설명 |
|---|---|
| 프롬프트 인젝션 | 사용자 입력이나 외부 문서가 시스템 지시를 덮어쓰거나 우회하는지 검사한다. |
| 탈옥 | 안전 정책을 우회해 금지된 답변을 생성하도록 유도할 수 있는지 검사한다. |
| 시스템 프롬프트 추출 | 내부 지시문, 정책, 도구 설명, 비공개 컨텍스트가 노출되는지 검사한다. |
| 민감정보 유출 | 개인정보, API 키, 내부 문서, 고객 데이터가 응답에 포함되는지 검사한다. |
| RAG 오염 | 검색 문서나 외부 콘텐츠에 포함된 악성 지시가 모델 응답에 영향을 주는지 검사한다. |
| RAG 문서 탈취 | 모델이 검색된 원문 문서나 비공개 컨텍스트를 과도하게 노출하는지 검사한다. |
| 접근 제어 우회 | 사용자가 자신의 권한 범위를 넘어 다른 사용자나 조직의 데이터에 접근할 수 있는지 검사한다. |
| 도구 호출 오남용 | AI 에이전트가 외부 API, 데이터베이스, 파일 시스템, 셸 등을 권한 이상으로 호출하는지 검사한다. |
| 허위 출처 생성 | 존재하지 않는 문서, 법령, 정책, 논문 등을 출처처럼 생성하는지 검사한다. |
| 과도한 에이전시 | 모델 또는 에이전트가 사용자 확인 없이 고위험 작업을 실행하는지 검사한다. |
인공지능 레드티밍 도구의 일반적인 사용 절차는 다음과 같다.
- 대상 정의: 테스트할 모델, 챗봇, RAG, 에이전트, API 엔드포인트를 정한다.
- 시스템 목적 작성: 대상 시스템의 정상 기능, 사용자 유형, 접근 가능한 데이터, 금지 행위를 문서화한다.
- 위험 범위 선정: 프롬프트 인젝션, 민감정보 유출, 도구 오남용 등 우선 점검할 위험을 선택한다.
- 테스트 생성: 도구의 플러그인, 프로브, 데이터셋, 공격 전략을 사용해 적대적 입력을 만든다.
- 실행: 대상 시스템에 테스트를 실행하고 응답, 로그, 도구 호출 결과를 수집한다.
- 채점 및 판정: 자동 평가기, 규칙 기반 검사, 사람 검토를 통해 성공 여부를 판단한다.
- 완화 조치: 프롬프트 수정, 권한 제한, 출력 검증, 가드레일 적용, 로깅 강화 등을 수행한다.
- 회귀 테스트: 동일 공격과 변형 공격을 반복 실행하여 방어 조치의 효과를 확인한다.
도구를 선택할 때는 단순히 지원 취약점 수만 비교하기보다, 대상 시스템과 운영 방식에 맞는지를 검토해야 한다.
| 기준 | 검토 내용 |
|---|---|
| 대상 범위 | 단일 모델, 챗봇, RAG, 에이전트, 멀티모달 모델 중 무엇을 평가할 수 있는지 확인한다. |
| 자동화 수준 | 테스트 생성, 실행, 채점, 보고서 생성, CI/CD 통합을 어느 정도 지원하는지 확인한다. |
| 확장성 | 사용자 정의 공격, 사용자 정의 평가기, 조직별 정책 테스트를 추가할 수 있는지 확인한다. |
| 재현성 | 프롬프트, 응답, 점수, 모델 버전, 실행 환경을 기록할 수 있는지 확인한다. |
| 운영 통합 | GitHub Actions, GitLab CI, Jenkins, 내부 배포 파이프라인과 통합 가능한지 확인한다. |
| 데이터 처리 | 공격 생성기나 평가기로 외부 LLM을 사용할 때 민감정보가 외부로 전송되는지 확인한다. |
| 비용 | 테스트 실행 횟수, 모델 호출 비용, 평가기 호출 비용, 인프라 비용을 고려한다. |
| 보고 기능 | 보안팀, 개발팀, 감사팀이 이해할 수 있는 형태로 결과를 제공하는지 확인한다. |
인공지능 레드티밍 도구는 단독으로 사용하기보다, 보안 개발 수명주기와 운영 모니터링 안에 포함하는 것이 바람직하다.
- 서비스의 정상 목적과 금지 행위를 명확히 정의한다.
- 모델만 테스트하지 말고 RAG, 프롬프트, 권한, 도구 호출, 로그까지 함께 검토한다.
- 단일 턴 공격과 다중 턴 공격을 모두 포함한다.
- 공개 공격 프롬프트뿐 아니라 조직 고유의 업무 규칙을 반영한 테스트를 만든다.
- 자동 평가 결과를 사람 검토와 함께 사용해 오탐과 미탐을 줄인다.
- 테스트 결과를 버전 관리하고, 모델·프롬프트·검색 문서 변경 시 회귀 테스트를 실행한다.
- 민감 데이터가 공격 생성기나 외부 평가기로 전송되지 않도록 데이터 처리 방식을 검토한다.
- 레드티밍 결과가 양호하더라도 입력 검증, 출력 검증, 권한 최소화, 감사 로그, 운영 모니터링을 별도로 유지한다.
인공지능 레드티밍 도구는 AI 시스템의 위험을 발견하고 완화하는 데 유용하지만, 완전한 보안 보증 수단은 아니다. LLM 출력은 확률적이며, 동일한 테스트도 모델 버전, 온도, 시스템 프롬프트, 검색 결과, 도구 상태에 따라 다른 결과를 낼 수 있다.
주요 한계는 다음과 같다.
- 테스트에 포함되지 않은 공격 시나리오는 발견하지 못할 수 있다.
- 자동 평가기의 기준이 실제 서비스 정책과 다르면 오탐 또는 미탐이 발생할 수 있다.
- 공격 성공률은 테스트 예산, 반복 횟수, 공격 전략, 평가 기준에 크게 의존한다.
- 실제 운영 권한, 네트워크 경계, 데이터베이스 권한, 업무 승인 절차는 별도 시스템 테스트가 필요하다.
- 공개 도구가 제공하는 플러그인이나 프로브가 모든 산업별 규제와 조직 정책을 포괄하지 않는다.
- 도구 실행 과정에서 외부 LLM API를 사용하면 비용, 지연 시간, 데이터 처리 문제가 발생할 수 있다.
- 레드티밍은 배포 전 활동만으로 충분하지 않으며, 운영 중 모니터링과 사고 대응 체계가 필요하다.
- ↑ OWASP Gen AI Security Project, “OWASP Top 10 for LLM Applications 2025”, https://genai.owasp.org/llm-top-10/, 확인일: 2026-06-24
- ↑ GitHub, “microsoft/PyRIT: Python Risk Identification Tool for generative AI”, https://github.com/microsoft/PyRIT, 확인일: 2026-06-24
- ↑ PyRIT Documentation, “PyRIT — Python Risk Identification Tool”, https://microsoft.github.io/PyRIT/, 확인일: 2026-06-24
- ↑ Gary D. Lopez Munoz 외, “PyRIT: A Framework for Security Risk Identification and Red Teaming in Generative AI System”, arXiv, https://arxiv.org/abs/2410.02828, 확인일: 2026-06-24
- ↑ GitHub, “promptfoo/promptfoo: LLM evals & red teaming”, https://github.com/promptfoo/promptfoo, 확인일: 2026-06-24
- ↑ Promptfoo Docs, “LLM red teaming guide (open source)”, https://www.promptfoo.dev/docs/red-team/, 확인일: 2026-06-24
- ↑ Promptfoo Docs, “Red team Configuration”, https://www.promptfoo.dev/docs/red-team/configuration/, 확인일: 2026-06-24
- ↑ garak, “garak: LLM vulnerability scanner”, https://garak.ai/, 확인일: 2026-06-24
- ↑ GitHub, “NVIDIA/garak: the LLM vulnerability scanner”, https://github.com/NVIDIA/garak, 확인일: 2026-06-24
- ↑ Leon Derczynski 외, “garak: A Framework for Security Probing Large Language Models”, arXiv, https://arxiv.org/abs/2406.11036, 확인일: 2026-06-24
- ↑ GitHub, “protectai/llm-guard: The Security Toolkit for LLM Interactions”, https://github.com/protectai/llm-guard, 확인일: 2026-06-24
- ↑ Protect AI, “LLM Guard | Secure Your LLM Applications”, https://protectai.com/llm-guard, 확인일: 2026-06-24
- ↑ GitHub, “NVIDIA-NeMo/Guardrails”, https://github.com/NVIDIA-NeMo/Guardrails, 확인일: 2026-06-24
- ↑ NVIDIA Docs, “LLM Vulnerability Scanning”, https://docs.nvidia.com/nemo/guardrails/evaluation/llm-vulnerability-scanning, 확인일: 2026-06-24
- ↑ GitHub, “openai/evals: Evals is a framework for evaluating LLMs and LLM systems”, https://github.com/openai/evals, 확인일: 2026-06-24
- ↑ OpenAI Developers, “Working with evals”, https://developers.openai.com/api/docs/guides/evals, 확인일: 2026-06-24
