하이브리드 암호 시스템

하이브리드 암호 시스템(Hybrid Cryptosystem 또는 Hybrid Encryption System)은 공개키 암호의 키 분배 편의성과 대칭키 암호의 처리 효율을 결합하여 데이터를 암호화하는 암호 시스템이다.

개요

하이브리드 암호 시스템은 실제 데이터는 빠른 대칭키 암호로 암호화하고, 그 대칭키 또는 대칭키를 만들기 위한 공유 비밀은 공개키 암호나 키 캡슐화 메커니즘(Key Encapsulation Mechanism, KEM)으로 보호하는 방식이다. 공개키 암호는 사전에 비밀키를 공유하지 않아도 되는 장점이 있지만 대용량 데이터를 직접 암호화하기에는 상대적으로 느리고, 대칭키 암호는 빠르지만 안전한 키 분배가 어렵다. 하이브리드 암호 시스템은 이 두 방식의 장점을 결합한다.

현대 보안 프로토콜과 응용 프로그램에서는 하이브리드 암호화 구조가 널리 사용된다. 예를 들어 TLS, 보안 메시징, 파일 암호화, 공개키 기반 데이터 봉인(envelope encryption) 등에서는 세션 키나 데이터 암호화 키를 만들거나 전달한 뒤, 실제 데이터는 AES, ChaCha20-Poly1305 같은 대칭키 기반 인증 암호 방식으로 보호하는 구조가 일반적이다.

기본 구조

하이브리드 암호 시스템은 보통 다음 구성 요소로 이루어진다.

구성 요소	역할
공개키 암호 또는 KEM	수신자의 공개키를 사용해 세션 키를 암호화하거나 공유 비밀을 캡슐화한다.
대칭키 암호	생성된 세션 키로 실제 메시지나 파일 데이터를 암호화한다.
키 유도 함수	공유 비밀에서 암호화 키, nonce, 추가 키 재료 등을 안전하게 파생한다.
인증 암호	기밀성과 무결성을 함께 제공하기 위해 AEAD 방식으로 데이터를 암호화한다.

가장 단순한 형태의 흐름은 다음과 같다.

1. 송신자는 임의의 세션 키 K를 생성한다.
2. 송신자는 수신자의 공개키로 K를 암호화하거나 KEM으로 공유 비밀을 캡슐화한다.
3. 송신자는 K를 사용해 평문 데이터를 대칭키 암호로 암호화한다.
4. 송신자는 암호화된 세션 키와 암호문을 함께 전송한다.
5. 수신자는 개인키로 세션 키를 복원한 뒤 대칭키 암호문을 복호화한다.

KEM-DEM 구조

현대 암호학에서는 하이브리드 암호 시스템을 키 캡슐화 메커니즘(KEM)과 데이터 캡슐화 메커니즘(Data Encapsulation Mechanism, DEM)의 결합으로 설명하는 경우가 많다.

구분	설명
KEM	공개키 기반 알고리즘을 이용해 공유 비밀 또는 세션 키 재료를 생성하고, 이를 수신자만 복원할 수 있도록 캡슐화한다.
DEM	KEM에서 얻은 키 재료를 사용해 실제 데이터를 대칭키 방식으로 암호화한다.

KEM은 짧은 키 재료를 안전하게 전달하거나 합의하는 부분을 담당하고, DEM은 임의 길이의 데이터를 효율적으로 암호화하는 부분을 담당한다. 이 구조는 공개키 암호의 느린 연산을 데이터 전체가 아니라 키 설정에만 사용하게 해 성능을 높인다.

IETF RFC 9180의 HPKE(Hybrid Public Key Encryption)는 이러한 구조를 명시적으로 정의한 예이다. RFC 9180은 HPKE가 KEM, 키 유도 함수(Key Derivation Function, KDF), 인증 암호(Authenticated Encryption with Associated Data, AEAD)의 조합으로 동작하며, 수신자의 공개키에 대해 임의 길이 평문을 암호화하는 공개키 암호 방식의 변형을 제공한다고 설명한다.

암호화 절차

일반적인 KEM-DEM 기반 하이브리드 암호화 절차는 다음과 같이 정리할 수 있다.

입력:
  pk_R = 수신자의 공개키
  M    = 평문 메시지

암호화:
  (enc, zz) = KEM.Encaps(pk_R)
  K = KDF(zz, context)
  C = AEAD.Encrypt(K, nonce, M, aad)

출력:
  enc || nonce || C

여기서 enc는 캡슐화된 키 재료, zz는 공유 비밀, K는 실제 데이터 암호화에 쓰이는 키, aad는 암호화되지는 않지만 무결성 검증 대상이 되는 부가 인증 데이터이다.

복호화 절차

수신자는 자신의 개인키를 사용해 캡슐화된 키 재료에서 같은 공유 비밀을 복원한 뒤, 동일한 키 유도 과정을 거쳐 대칭키 암호문을 복호화한다.

입력:
  sk_R = 수신자의 개인키
  enc || nonce || C

복호화:
  zz = KEM.Decaps(sk_R, enc)
  K = KDF(zz, context)
  M = AEAD.Decrypt(K, nonce, C, aad)

출력:
  M

복호화 중 인증 태그 검증이 실패하면 평문을 출력하지 않아야 한다. 현대적인 하이브리드 암호 시스템에서는 단순 암호화뿐 아니라 무결성 검증과 오류 처리도 보안의 중요한 일부로 취급된다.

장점

하이브리드 암호 시스템의 주요 장점은 다음과 같다.

• 효율성: 대용량 데이터는 빠른 대칭키 암호로 처리하고, 공개키 연산은 세션 키 설정에만 사용한다.
• 키 분배 편의성: 송신자는 수신자의 공개키만 알고 있어도 암호화된 통신을 시작할 수 있다.
• 확장성: 여러 수신자에게 같은 데이터를 보낼 때 데이터는 한 번만 암호화하고, 세션 키만 각 수신자의 공개키로 따로 보호할 수 있다.
• 프로토콜 구성 용이성: KEM, KDF, AEAD를 조합해 다양한 보안 요구사항에 맞는 암호 스위트를 구성할 수 있다.

NIST는 공개키 기법으로 대칭키 암호화 키를 설정하고, 그 대칭키를 이용해 다른 대칭키를 설정하는 하이브리드 기법이 일반적으로 사용된다고 설명한다.

보안 고려사항

하이브리드 암호 시스템은 단순히 공개키 암호와 대칭키 암호를 함께 사용한다고 해서 자동으로 안전해지는 것은 아니다. 안전한 설계에는 다음 사항이 중요하다.

항목	설명
안전한 난수 생성	세션 키, nonce, 임시 키쌍은 예측 불가능해야 한다.
인증 암호 사용	단순 암호화만으로는 변조를 막을 수 없으므로 AEAD 사용이 권장된다.
키 분리	같은 키를 여러 목적에 재사용하지 않고 KDF를 통해 용도별 키를 분리해야 한다.
공개키 검증	타원곡선 또는 KEM 공개키 입력이 유효한지 검증하지 않으면 공격면이 생길 수 있다.
선택 암호문 공격 대응	복호화 오류 메시지, 타이밍 차이, 패딩 오류 등이 정보 누출로 이어지지 않도록 해야 한다.
알고리즘 조합의 안전성	안전성이 검토된 표준 조합을 사용해야 하며 임의의 자체 조합은 피해야 한다.

RFC 9180은 HPKE가 KEM, KDF, AEAD 조합으로 구성되며, 기존 ECIES 계열 방식들이 오래된 원시 함수 사용, 명확성 부족, IND-CCA2 보안 증명 부족, 테스트 벡터 부재 등의 문제를 가진 경우가 있었다고 지적한다. 따라서 하이브리드 암호 시스템에서는 상호운용성과 보안 분석이 갖추어진 명세를 따르는 것이 중요하다.

대표적 사용 사례

하이브리드 암호 시스템은 다음과 같은 분야에서 사용된다.

분야	설명
TLS와 HTTPS	키 교환으로 세션 키를 설정한 뒤 실제 통신 데이터는 대칭키 인증 암호로 보호한다.
PGP와 S/MIME	메시지는 대칭키로 암호화하고, 세션 키는 수신자의 공개키로 보호한다.
파일 암호화	파일 본문은 데이터 암호화 키로 암호화하고, 데이터 암호화 키는 별도 키 암호화 키로 보호한다.
보안 메시징	공개키 기반 키 합의 또는 KEM으로 세션 키를 만들고 메시지 본문은 대칭키 암호로 보호한다.
클라우드 키 관리	대량 데이터는 데이터 키로 암호화하고, 데이터 키는 키 관리 시스템의 마스터 키로 보호한다.

HPKE

HPKE(Hybrid Public Key Encryption)는 하이브리드 공개키 암호화를 위한 명세로, KEM, KDF, AEAD를 조합해 공개키 기반 암호화 기능을 제공한다. HPKE는 기본 모드 외에도 사전 공유 키(Pre-Shared Key, PSK) 인증, 송신자 공개키 기반 인증, PSK와 송신자 인증을 함께 사용하는 모드를 포함한다.

HPKE는 다음과 같은 구조를 명확히 구분한다.

구성	예시 역할
KEM	수신자 공개키를 사용해 공유 비밀을 생성한다.
KDF	공유 비밀에서 암호화에 필요한 키와 nonce 등을 파생한다.
AEAD	실제 평문을 암호화하고 무결성을 검증한다.

RFC 9180 문서는 HPKE가 메시징 계층 보안(Messaging Layer Security, MLS)과 TLS Encrypted ClientHello(ECH) 등 실제 응용에서 사용될 수 있다고 설명한다.

포스트 양자 암호와의 관계

포스트 양자 암호 전환 과정에서도 하이브리드 구조는 중요하다. NIST FIPS 203은 ML-KEM(Module-Lattice-Based Key-Encapsulation Mechanism)을 표준화했으며, KEM을 통해 공개 채널에서 공유 비밀키를 설정하고 그 키를 대칭키 암호 알고리즘에 사용할 수 있다고 설명한다.

포스트 양자 전환기에는 기존 타원곡선 디피-헬먼(ECDH) 같은 고전 알고리즘과 ML-KEM 같은 포스트 양자 KEM을 함께 사용하여 공유 비밀을 결합하는 “하이브리드 키 교환”도 논의된다. 이 경우 “하이브리드”라는 말은 공개키 암호와 대칭키 암호의 결합뿐 아니라, 고전 암호와 포스트 양자 암호를 함께 사용하는 전환 전략을 가리키기도 한다.

용어 구분

하이브리드 암호 시스템이라는 표현은 문맥에 따라 다음 두 의미로 쓰일 수 있다.

의미	설명
공개키-대칭키 하이브리드	공개키 암호로 세션 키를 보호하고 실제 데이터는 대칭키 암호로 암호화하는 일반적인 하이브리드 암호화 구조
고전-포스트 양자 하이브리드	기존 공개키 알고리즘과 포스트 양자 알고리즘을 함께 사용해 전환기 보안을 강화하려는 구조

암호 시스템 일반을 설명할 때의 하이브리드 암호 시스템은 보통 첫 번째 의미를 가리킨다. 반면 포스트 양자 암호 문맥에서는 두 번째 의미가 함께 사용될 수 있으므로, 문서나 표준을 읽을 때 어떤 조합을 뜻하는지 확인해야 한다.

한계

하이브리드 암호 시스템은 실용적인 암호화 구조이지만 다음과 같은 한계가 있다.

• 공개키 인증이 제대로 이루어지지 않으면 중간자 공격에 취약할 수 있다.
• 대칭키 암호의 nonce 재사용, 잘못된 난수 생성, 키 재사용은 전체 시스템의 안전성을 무너뜨릴 수 있다.
• 복호화 오류 처리나 시간 차이가 부채널 정보로 사용될 수 있다.
• 안전성이 검증되지 않은 자체 프로토콜 조합은 개별 알고리즘이 안전해도 전체적으로 취약할 수 있다.
• 키 수명, 키 폐기, 키 회전, 접근 제어 같은 키 관리 정책이 부실하면 암호 알고리즘의 강도와 무관하게 보안 사고가 발생할 수 있다.

따라서 실제 구현에서는 검증된 라이브러리와 표준 프로토콜을 사용하고, 알고리즘 선택뿐 아니라 키 관리와 인증 절차까지 함께 설계해야 한다.

같이 보기

• 암호
• 암호화 알고리즘
• RSA 암호화
• 타원 곡선 암호
• 일회용 패드