I. 소개:AI 보안위협의 긴급성과 체계적 사고

대규모 언어 모델(LLM)과 생성 AI가 광범위하게 사용되면서일체 포함이 시스템은 비즈니스 연속성의 문제가 되었습니다,데이터 보안그리고 사용자 개인 정보 보호를 위한 중요한 인프라입니다. 그러나 기존의 사이버 보안과 달리 AI 시스템에 대한 위협은 데이터 수집, 모델 학습, 미세 조정 및 최적화, 추론 배포, O&M 모니터링의 수명 주기 전반에 걸쳐 공격이 발생할 수 있다는 독특한 특성을 가지고 있습니다. 모델 판단 능력을 오염시키기 위한 악의적인 데이터 중독, 시스템 결정을 오도하기 위해 신중하게 설계된 적대적인 샘플, 보안 보호를 우회하기 위한 은밀한 단서 단어 삽입에 이르기까지, AI 시스템은 전례 없는 보안 문제에 직면해 있습니다.

텐센트 AI 랩, 텐센트 주빌리 랩, 홍콩 중문대(심천)가 공동으로 발표한 AI 보안 위협 위험 매트릭스는 AI 보안 분야의 최신 연구 결과를 전체 라이프 사이클 관점에서 체계적으로 정리한 첫 번째 사례입니다. 이 매트릭스는 이론적 토대인 성숙한 ATT&CK 프레임워크를 기반으로 하며, 공격자의 관점에서 AI 시스템이 직면할 수 있는 공격 과정과 기술적 구현 수단을 설명하여 기업이 신속하게 위험 지점을 찾아 위협 수준을 평가하고 방어 조치를 배포할 수 있도록 지원합니다. 이 백서에서는 다음 사항에 대해 설명합니다.AI 보안 위협 매트릭스의 핵심 콘텐츠로, 주요 공격 벡터를 체계적으로 분석하고 기업 방어를 위한 모범 사례를 다각도로 제공합니다.

II. AI 보안 위협 매트릭스: 핵심 프레임워크 및 분류 체계

2.1 AI 도메인에 ATT&CK 방법론 적용

사이버 보안 분야에서 비교적 성숙된 ATT&CK(Adversarial Tactics, Techniques & Common Knowledge) 프레임워크는 공격자의 관점에서 공격 행위를 체계적으로 설명할 수 있으며, AI 보안 위협 매트릭스는 이 검증된 방법론을 AI 분야에 적용하여 실용적인 지침을 구축한 것입니다. AI 보안 위협 매트릭스는 이 검증된 방법론을 AI 분야에 적용하여 실용적인 지침이 포함된 기술 프레임워크를 구축합니다.

기존 사이버 보안 위협 모델과 비교했을 때 AI 보안 매트릭스의 고유성은 다음과 같습니다:

1. 전체 수명 주기 지원: 환경 구축, 데이터 수집, 모델 학습, 미세 조정 및 최적화, 배포 추론에서 유지 관리 및 O&M에 이르기까지 매트릭스는 AI 시스템의 모든 측면을 포괄합니다.
2. 성숙도 계층 구조: 공격 기술은 성숙한 위협(실제로 발생한 공격), 연구 중인 위협(학술 연구를 통해 검증되었지만 아직 널리 사용되지 않은), 잠재적 위협(이론적으로는 가능하지만 실제로는 아직 나타나지 않은)의 세 가지 성숙도 수준으로 분류됩니다.
3. 적의 관점 설계: 공격자가 AI 시스템을 단계별로 돌파하는 방법을 직접 제시하여 방어자가 공격 로직 체인을 이해할 수 있도록 돕습니다.
4. 실용적인 지침: 매트릭스는 위협에 대한 설명과 함께 표적 방어 권장 사항 및 완화 옵션을 제공합니다.

2.2 AI 보안 위협의 주요 분류

AI 보안 위협 매트릭스는 AI 시스템에 대한 위협을 9가지 주요 영역으로 분류하며, 각 영역에는 여러 가지 특정 공격 벡터가 포함되어 있습니다:

 

III. AI 공격 체인: 정찰부터 실행까지 전체 프로세스

AI 보안 위협 매트릭스는 공격 체인을 핵심 조직 프레임워크로 사용하여 공격자가 AI 시스템의 방어를 단계별로 돌파하는 방법을 명확하게 매핑합니다. 이 프로세스는 기존 사이버 보안의 킬 체인 모델과 유사하지만 AI 시스템의 고유한 특성에 맞게 특별히 설계되었습니다.

3.1 1단계: 정찰 및 정보 수집(정찰)

단계별 특징: 공격자는 배포 환경, 사용된 모델 유형, API 인터페이스, 학습 데이터 특성 등 표적 AI 시스템의 전반적인 상황을 이해하려고 합니다.

특정 기술적 수단:

• 공개 정보 수집: 대상 모델의 기술적 세부 사항은 학술 논문, 기술 문서, 컨퍼런스 발표, GitHub 저장소, 모델 카드 및 기타 채널을 통해 얻습니다.
• API 프로빙: AI 서비스의 API를 호출하여 모델의 입력 및 출력 특성을 분석하고 내부 아키텍처를 추론하는 것입니다. 예를 들어 공격자는 다양한 유형의 쿼리를 보내고 모델의 응답 패턴을 기록하여 분류 로직을 추론할 수 있습니다.
• 환경 식별: AI 시스템이 어떤 클라우드 플랫폼에 배포되어 있는지, 어떤 오픈 소스 프레임워크 또는 상용 모델이 사용되는지, 어떤 종류의 데이터 흐름 방식이 사용되는지 파악합니다.

방어 전략:

• 기술적 세부 사항이 과도하게 공개되지 않도록 모델 문서의 공개 수준을 제한합니다.
• API 쿼리 빈도 제한 및 비정상 행위 탐지 구현하기
• 모델과 관련된 오픈 소스 프로젝트 및 소셜 미디어 토론을 모니터링합니다.

3.2 2단계: 모델링 및 데이터 액세스(모델 액세스)

단계적 특징: 공격자는 후속 심층 공격에 대비하여 표적 AI 시스템에 직접 또는 간접적으로 액세스합니다.

특정 기술적 수단:

• 블랙박스 액세스: API를 통해 모델을 쿼리하고 신뢰도 점수 및 확률 분포와 같은 출력 정보를 관찰합니다. 이 유형의 쿼리는 비용이 저렴하지만 제한된 정보를 제공하지만 공격자는 통계적 방법을 통해 점진적으로 모델 속성을 유추할 수 있습니다.
• 그레이박스 액세스: 부분적인 모델 정보(예: 중간 레이어 출력, 그라데이션 정보)를 확보하여 보다 정밀한 공격을 설계할 수 있습니다.
• 화이트박스 액세스: 모델 구조 및 매개변수에 대한 전체 액세스 권한으로, 일반적으로 내부자 유출 또는 모델에 크랙이 발생한 후에 발생합니다.

방어 전략:

• 엄격한 액세스 제어 및 인증 구현
• API에서 반환하는 정보의 세분성 제한(예: 특정 확률 값은 반환하지 않고 분류 결과만 반환)
• 쿼리 빈도 제한 및 이상 징후 탐지 배포
• 개인정보 보호 강화 기술 사용(예차등 개인정보 보호) 퍼지 출력 정보

3.3 3단계: 공격 준비 및 테스트(공격 스테이징)

단계별 특성: 공격자는 자체 구축한 환경에서 공격 방법을 설계 및 테스트하고, 그 효과를 검증한 다음 정찰 및 접속 단계에서 얻은 정보를 기반으로 공격 방법을 미세 조정합니다.

특정 기술적 수단:

• 적대적 샘플 생성: 자체 데이터와 모델을 사용하여 목표 모델을 오도할 수 있는 입력 샘플을 설계합니다. 예를 들어, 사람의 눈으로는 감지할 수 없는 노이즈를 이미지에 추가하면 목표 분류기가 개를 고양이로 인식하게 됩니다.
• 데이터 중독 샘플 구축: 라벨 뒤집기 공격이나 숨겨진 백도어 삽입 등 대상 모델이 학습할 때 판단을 오염시킬 수 있는 악의적인 학습 샘플을 설계합니다.
• 프롬프트 단어 공격 템플릿 개발: LLM의 기능을 사용하여 다양한 유형의 탈옥 프롬프트 단어 및 인젝션 공격 템플릿을 디자인합니다. 이러한 템플릿은 억제 거부, 역할 연기, 의미 난독화 등 다양한 기법을 사용할 수 있습니다.

방어 전략:

• 적대적 견고성 테스트를 수행하여 모델 취약점을 선제적으로 식별하고 수정합니다.
• 완벽한 모델 방어 증류 및 적 훈련 시스템 구축
• 엄격한 입력 유효성 검사 및 정리 메커니즘 구현

3.4 4단계: 공격 실행 및 시스템 피해(실행)

단계 특성: 공격자는 미리 정해진 목표를 달성하기 위해 잘 설계된 공격을 실제 표적 시스템에 실행합니다. 공격 대상에 따라 이 단계에는 다양한 기법이 포함됩니다:

3.4.1 데이터 중독 공격(데이터 포이즈닝)

원리: 공격자가 모델의 학습 데이터 또는 미세 조정 데이터에 악성 샘플을 삽입하여 모델이 잘못된 매핑 관계를 학습하도록 합니다.

특정 유형:

• 라벨 뒤집기 공격: 정상 샘플의 라벨을 뒤집는 공격으로, 예를 들어 '정상적인 이메일'을 '스팸'으로 표시하는 것입니다. 약 0.0011 TP3T의 데이터만 오염시켜도 심각한 모델 오류를 유발할 수 있는 것으로 나타났습니다.
• 숨겨진 레이블 공격: 샘플의 레이블을 변경하는 대신 미묘한 특징 트리거를 삽입하여 특정 조건에서 공격자가 지정한 결과를 출력하도록 모델을 만들 수 있습니다. 이 공격은 탐지하기가 훨씬 더 어렵습니다.
• 숨겨진 특징 중독: 특정 카테고리와 상관관계가 높은 잘못된 특징을 학습 데이터에 삽입하면, 예를 들어 '꽃'의 학습 이미지에 '폭발'과 관련된 시각적 요소를 추가하면 모델이 '꽃'을 '위험'과 연관시키게 됩니다. 이렇게 하면 모델이 '꽃'을 '위험'과 연관시키게 됩니다.

방어 메커니즘:

• 데이터 정리 및 유효성 검사: 이상값 탐지 및 훈련 데이터의 통계 분석을 통해 오염이 의심되는 샘플을 식별하고 제거합니다.
• 강력한 학습: 적대적 학습과 같은 기법을 사용하여 모델이 오염된 데이터에 저항하는 방법을 학습합니다.
• 데이터 다양성: 신뢰할 수 있는 여러 소스에서 학습 데이터를 수집하면 단일 데이터 소스가 완전히 통제될 위험을 줄일 수 있습니다.
• 차등 프라이버시: 개별 샘플이 모델에 미치는 영향을 제한하기 위해 훈련 중에 노이즈가 추가됩니다.

3.4.2 적대적 샘플 및 적대적 공격(적대적 예시)

원리: 공격자는 사람에게는 거의 보이지 않는 입력값에 정교한 교란을 가해 모델이 잘못된 예측을 하도록 만듭니다.

일반적인 경우입니다:

• 이미지 분류 공격: 사진에 신중하게 계산된 노이즈를 추가하여 오토파일럿 시스템이 도로 표지판을 잘못 인식하도록 하는 공격입니다.
• 음성 인식 공격: 사람이 들을 수 없는 주파수를 오디오에 삽입하여 음성 어시스턴트가 의도하지 않은 명령을 수행하도록 하는 공격입니다.

방어 메커니즘:

• 방어적 증류: 더 강력한 교사 모델로 학생 모델을 훈련하면 적대적 샘플에 대한 모델의 민감도가 감소합니다.
• 정규화 기법: L1/L2 정규화와 같은 제약 조건을 사용하여 모델이 특정 입력 패턴에 과적합하는 것을 방지합니다.
• 비정상 샘플 탐지: 비정상 샘플 탐지기를 배포하여 추론 중에 적대적 샘플로 의심되는 입력을 식별하고 거부합니다.
• 입력 변환 및 재구성: 입력이 모델에 들어가기 전에 노이즈 제거(예: JPEG 압축, 가우시안 필터링 등).

3.4.3 개인정보 유출 및 멤버십 추론 공격(개인정보 유출 및 멤버십 추론)

위협 시나리오:

• 학습 데이터 추출: 공격자는 모델에 반복적으로 쿼리하여 모델 학습에 사용된 실제 데이터를 서서히 복구합니다. 예를 들어 사용자의 개인 정보가 포함된 의료 기록이나 금융 데이터를 복구할 수 있습니다.
• 모델 반전 공격(MIA): 공격자는 모델의 출력을 분석하여 특정 입력에 해당하는 학습 데이터의 특징을 추론합니다. 얼굴 인식 모델에서 공격자는 모델의 신뢰도 출력에 따라 원본 얼굴 이미지를 재구성할 수 있습니다.
• 멤버십 추론 공격(MIA): 공격자가 모델의 행동 특성을 이용해 특정 데이터 포인트가 학습에 사용되었는지 여부를 추론하는 공격입니다. 이는 특히 의료 및 금융과 같은 민감한 영역에서 개인정보 보호에 심각한 위협이 될 수 있습니다.

방어 메커니즘:

• 차등 프라이버시 훈련: 기울기 또는 데이터에 신중하게 설계된 노이즈를 추가하면 개별 샘플을 제거해도 모델 동작이 크게 변경되지 않습니다.
• 데이터 분류 및 최소화: 민감한 데이터에 레이블을 지정하고 모델 학습에서 사용을 제한합니다.
• 연합 학습: 여러 엣지 디바이스에서 모델을 분산 학습하여 중앙 시스템에서 전체 학습 데이터에 액세스할 수 없도록 합니다.
• 추론 탐지: 모델 생성 텍스트에서 개인정보 침해 위험을 식별하기 위한 탐지 파이프라인을 구축합니다.

3.4.4 프롬프트 인젝션 및 탈옥 공격(프롬프트 인젝션 및 탈옥)

원칙: 공격자는 유해하거나 불쾌감을 주거나 예상보다 많은 콘텐츠를 생성하도록 유도하는 입력 프롬프트를 신중하게 구성하여 LLM의 보안 보호 장치를 우회하려고 시도합니다.

특정 공격:

1. 직접 단서 단어 삽입:
   • 공격자는 특수 문자, 이상한 접미사 또는 의미 없는 기호를 섞어 모델의 보안 필터링 메커니즘에 혼란을 줍니다.
   • 거부 억제: 역심리학 또는 간접적 표현을 통해 모델이 "나는 그렇게 할 수 없다"는 안전 규칙을 무시하도록 유도합니다.
   • 롤플레잉: 가상의 스토리 시나리오에 모델을 투입하면 모델을 잘못된 방향으로 조종하기가 더 쉬워집니다.
2. 간접 단서 단어 삽입:
   • 웹 데이터 중독: 만료되어 모델 학습 데이터에 나타난 도메인을 구매하여 악성 콘텐츠로 채우고 모델이 해당 도메인을 검색할 때 오염시킵니다.
   • 숨겨진 명령어 삽입: 모델이 멀티모달 입력을 처리할 때 활성화되는 무해해 보이는 이미지, 오디오 또는 PDF에 특수 명령어를 삽입하는 기능입니다.
3. 적대적인 시스템으로 인해 유출이 발생합니다:
   • 공격자는 시스템에서 온 것처럼 보이는 메시지를 위조하고 모델이 숨겨진 시스템 큐 단어를 출력하도록 유도하여 모델의 제약 조건에 대해 학습합니다.

방어 메커니즘:

• 입력 필터링 및 정리: 사전 정의된 블랙리스트와 규칙이 있지만 규칙이 복잡한 시맨틱 공격을 모두 커버하기는 어렵다는 점을 인식해야 합니다.
• 모델 기반 이상 징후 탐지: 탐지 모델을 사용하여 악성 단서 단어를 식별하는 것은 블랙리스트 방식보다 유연합니다.
• 의도 인식: 특수한 의도 인식 모듈을 추가하여 사용자가 울트라 바이레스 작업을 수행하려고 하는지 여부를 판단합니다.
• 적대적 학습: 학습 데이터에 '단서가 주입된 정답' 샘플을 추가하여 모델의 저항력을 향상시킵니다.
• 다중 모델 교차 검증: 동일한 입력을 여러 LLM에서 병렬로 처리하고 출력 결과의 일관성을 비교합니다.
• 출력 일치 감지: 모델 출력에서 원래 작업과 일치하는지 확인하고 예상과 다른 응답은 거부합니다.

3.4.5 모델 추출 및 지식 도용(모델 추출)

원리: 공격자는 광범위한 쿼리 및 리버스 엔지니어링을 통해 대상 모델의 구조, 매개변수 또는 동작을 복사하거나 유도하여 모델의 지적 재산을 훔칩니다.

특정 기술:

• 블랙박스 모델 복제: 통계적 API 호출 패턴을 통해 대상 모델의 동작을 시뮬레이션하는 대체 모델을 학습시킵니다.
• 그라데이션 반전: 모델의 출력 그라데이션 정보를 사용하여 모델의 파라미터를 단계별로 도출합니다.

방어 메커니즘:

• 모델 워터마킹: 모델 소유권을 확인하고 도난당한 사본을 감지하기 위해 모델 매개변수에 은밀한 워터마크를 삽입합니다.
• 쿼리 제어: API 쿼리 빈도를 제한하고 비정상적인 쿼리 패턴을 감지 및 거부합니다.
• 출력 난독화: API에서 반환하는 정보의 세분성을 줄입니다(예: 신뢰 수준이 아닌 최종 분류 결과만 반환).

IV. 공급망 및 생태 보안: AI 시스템에 대한 새로운 유형의 위협

AI 도입 생태계가 급성장함에 따라 공급망 보안은 무시할 수 없는 새로운 차원의 문제가 되었습니다. 기업들은 AI 시스템을 처음부터 구축하는 경우는 거의 없으며, 대신 사전 학습된 모델, 오픈 소스 프레임워크, 타사 API, 클라우드 컴퓨팅 서비스를 통합하여 신속하게 배포합니다. 이처럼 매우 복잡한 공급망 시스템은 전례 없는 위험을 수반합니다:

4.1 공급망 위험 모델링

• 사전 학습된 모델 오염: 신뢰할 수 없는 출처의 오픈 소스 모델 또는 모델 가중치가 오염되었거나 백도어에 내장되었을 수 있습니다.
• 종속성 취약성: 사용된 딥 러닝 프레임워크 또는 종속성 패키지에 공격자가 악용할 수 있는 알려진 취약성 또는 제로데이 취약성이 있을 수 있습니다.
• 데이터 미세 조정 위험: 사전 학습된 모델을 기반으로 미세 조정할 때, 미세 조정된 데이터가 오염되면 전체 모델이 손상될 수 있습니다.

4.2 공급망 방어 전략

• 공급업체 평가 및 인증: 모든 타사 공급업체에 대한 보안 감사를 실시하여 회사 보안 표준을 준수하는지 확인합니다.
• 자재 명세서(SBOM) 관리: 모델, 프레임워크 및 종속 패키지의 소스 및 버전을 추적하여 상세한 소프트웨어 자재 명세서를 유지 관리합니다.
• 모델 서명 및 검증: 배포된 모든 모델에 디지털 서명을 하여 변조를 방지합니다.
• 지속적인 모니터링 및 취약점 스캔: 정기적으로 AI 시스템의 모든 구성 요소에 대한 취약점 스캔 및 보안 평가를 수행합니다.

V. 엔터프라이즈 AI 보안 보호를 위한 계층화된 방어 체계

5.1 계층 1: 거버넌스 및 전략 계층(거버넌)

목표: 조직 차원의 AI 보안 문화와 프레임워크를 구축하여 AI 보안이 위에서부터 아래로 진지하게 받아들여질 수 있도록 합니다.

중요 제어:

• AI 보안 정책 개발: 다음과 같은 사항에 대한 조직의 이해 명확화AI 시스템 보안직위, 요구 사항 및 표준을 확인합니다.
• 위험 관리 프로세스: AI 보안 위험을 식별, 평가 및 해결하기 위한 표준화된 프로세스를 수립하고 모든 새로운 AI 애플리케이션이 위험 검토를 받도록 합니다.
• 역할과 책임: 데이터 소유자, 모델 개발자, 보안 엔지니어 등 조직에서 AI 보안에 대한 책임이 있는 당사자를 파악합니다.
• 규정 준수 요건: 규제 요건(예: GDPR, AI법 등), 특히 개인정보 보호 및 공정성 요건에 따라 적절한 규정 준수 프레임워크를 개발합니다.

5.2 레이어 2: 평가 및 매핑 레이어(맵)

목표: AI 시스템의 잠재적 위험 요소를 종합적으로 파악하고 후속 방어 조치를 위한 기반을 마련합니다.

주요 활동:

• 자산 인벤토리: 조직의 모든 AI 모델, 데이터 세트, 애플리케이션 및 인프라를 열거하고 분류 및 레이블을 지정합니다.
• 위협 모델링: 위협 모델링 방법(예: STRIDE 등)을 사용하여 가능한 공격 시나리오를 체계적으로 식별합니다.
• 데이터 흐름 분석: 전체 AI 시스템에서 데이터가 어떻게 흘러가는지 추적하고 데이터 노출의 위험 지점을 파악합니다. 예를 들어, 민감한 사용자 데이터가 여러 단계에서 저장되고 액세스되는 위치를 파악할 수 있습니다.
• 종속성 분석: 모델 간의 종속성을 매핑하여 중요 경로와 단일 장애 지점을 식별합니다.

5.3 계층 3: 측정 및 모니터링 계층(측정)

목표: 정량적 지표와 모니터링 메커니즘을 통해 AI 시스템의 보안 상태를 지속적으로 평가합니다.

주요 지표 및 메커니즘

• 모델 성능 기준선: 정상 작동 중 성능(정확도, 지연 시간, 처리량 등)의 기준선을 설정하고 공격 또는 모델 드리프트를 나타낼 수 있는 이상 징후를 감지합니다.
• 보안 감사 로그: 이벤트 조사 및 포렌식을 위한 모델의 모든 입력 및 출력, 구성 변경, 액세스 권한 변경 등에 대한 완전한 기록입니다.
• 적대적 견고성 평가: 공격에 대한 모델을 주기적으로 샘플에 대해 테스트하여 공격에 대한 저항성을 평가합니다.
• 개인 정보 평가: 멤버십 추론 공격과 같은 기술을 사용하여 모델이 학습 데이터를 과도하게 기억하고 있는지 평가합니다.
• 행동 이상 탐지: 모델의 출력 동작을 실시간으로 모니터링하여 공격 성공을 나타낼 수 있는 과거 패턴에서 크게 벗어난 것을 식별합니다.

5.4 계층 4: 방어 및 대응 계층(관리)

목표: 위험의 가능성과 영향을 줄이기 위한 구체적인 기술적 통제 조치를 구현합니다.

구체적인 조치:

데이터 계층 보호

• 데이터 분류 및 라벨링: 민감도에 따라 데이터를 분류하고 매우 민감한 데이터에 대해 더 엄격한 보호를 구현합니다.
• 액세스 제어: 최소 권한 원칙을 적용하여 누가 어떤 데이터에 액세스할 수 있는지 제한하고 신원, 역할 및 상황에 따라 권한을 관리합니다.
• 데이터 암호화: 데이터 가로채기나 유출을 방지하기 위해 전송 및 저장 시 강력한 암호화를 사용합니다.
• 데이터 비감작화 및 익명화: 데이터를 교육하거나 제시할 때 민감한 개인 정보를 제거하거나 암호화합니다.

모델 레이어 보호

• 적대적 훈련: 모델의 견고성을 높이기 위해 훈련 과정에서 적대적 샘플을 추가합니다.
• 정규화 및 방어적 증류: 정규화 기법을 사용하여 과적합을 줄이고 증류를 통해 모델을 압축하고 견고성을 강화합니다.
• 차등 프라이버시: 그라데이션 업데이트에 노이즈를 추가하여 개별 샘플이 모델에 미치는 영향을 제한합니다.
• 모델 검증 및 테스트: 적대적 샘플 테스트, 개인정보 보호 평가 등을 포함한 배포 전 종합적인 보안 테스트.
• 모델 서명 및 무결성 감지: 디지털 서명을 사용하여 모델이 변조되지 않았는지 확인하고 해시 검사를 통해 이상 징후를 실시간으로 감지합니다.

애플리케이션 계층 보호

• 입력 유효성 검사 및 정리: 모든 사용자 입력에 대한 엄격한 유효성 검사 및 정리를 통해 악의적이거나 비정상적인 입력을 필터링합니다.
• 출력 필터링: 모델 출력이 사용자에게 표시되기 전에 유해하거나 불법적이거나 민감한 정보가 포함된 출력을 거부하기 위해 콘텐츠 검토가 수행됩니다.
• 속도 제한 및 쿼리 제어: 단일 사용자 또는 IP의 쿼리 빈도 및 횟수를 제한하여 남용을 방지합니다.
• RAG 시스템의 데이터 소스 관리: 검색 증강 생성(RAG)을 사용하는 경우, 외부 데이터 소스를 엄격하게 제어하고 감사하여 악성 콘텐츠의 삽입을 방지합니다.

조직층 보호

• 직원 보안 교육: AI 보안 위협에 대한 기술팀의 인식을 높이고 안전한 개발 관행을 가르칩니다.
• 인시던트 대응 계획: 탐지, 격리, 조사, 복구 등 인시던트 대응을 위한 명확한 프로세스를 개발하세요.
• 공급업체 관리: 타사 공급업체의 보안 관행을 정기적으로 감사하여 회사 표준을 충족하는지 확인합니다.
• 제3자 평가: 외부 보안 기관이 독립적인 침투 테스트 및 보안 감사를 수행하도록 초대합니다.

VI. AI 보안 프레임워크의 표준화: ISO/IEC 42001 및 NIST AI RMF

6.1 ISO/IEC 42001: AI 관리 시스템 표준

ISO/IEC 42001은 AI 관리 시스템에 대한 최초의 국제 표준으로, 조직이 AI 관리 시스템을 구축하고 유지 관리할 수 있도록 체계적인 지침을 제공합니다. 핵심 기능은 다음과 같습니다:

• 광범위한 범위: 계획부터 운영 및 유지 관리에 이르기까지 AI 시스템의 전체 라이프사이클을 포괄합니다.
• 39가지 관리 통제: AI 거버넌스, 위험 관리, 데이터 보호, 투명성 등 광범위한 측면을 포괄합니다.
• 인증 감사: 타사 감사 및 인증을 지원하여 조직이 다음을 검증할 수 있도록 돕습니다.AI 보안 사례.

6.2 NIST AI 위험 관리 프레임워크(NIST AI RMF)

미국 국립표준기술연구소에서 발표한 자발적 프레임워크로, AI 위험 관리에 중점을 두고 있으며 네 가지 핵심 기능을 포함하고 있습니다:

1. 거버넌스: 위험 인식 문화를 확립하고 위험 관리 정책 및 프로세스를 정의합니다.
2. 지도: AI 시스템의 잠재적 위험 식별
3. 측정: 식별된 위험의 가능성 및 영향 평가
4. 관리: 위험 완화 조치 구현

6.3 두 프레임워크의 시너지 효과 적용

기업은 ISO/IEC 42001을 NIST AI RMF와 함께 사용할 수 있습니다:

• NIST AI RMF를 사용한 AI 관련 위험 식별 및 평가
• ISO/IEC 42001을 사용하여 보다 포괄적인 AI 관리 시스템 구축
• 두 프레임워크 간의 매핑 관계를 통해 조직은 보다 효율적으로 규정 준수를 달성할 수 있습니다.

VII. 실제 사례 및 모범 사례

7.1 사례 연구: 공격 관점에서 본 AI 시스템의 공격 체인

AI 보안 위협이 실제로 어떻게 발생하는지 더 깊이 이해하기 위해 현실적인 공격 시나리오인 멀웨어 탐지 모델 우회 공격을 분석해 보겠습니다:

1단계: 정찰

• 공격자들은 한 기업에서 사용하는 멀웨어 탐지 모델이 학술 논문에 발표된 방법을 기반으로 하고 있다는 사실을 발견했습니다.
• 이 회사의 블로그와 기술 문서를 분석하여 특정 오픈 소스 프레임워크가 사용되었다는 사실을 알게 되었습니다.

2단계: 모델 방문

• 공격자는 회사의 보안 API를 반복적으로 쿼리하여 다양한 입력에 대한 모델의 응답을 관찰합니다.
• 모델의 분류 결정 경계는 통계 분석을 통해 추론됩니다.

3단계: 공격에 대한 준비

• 자신의 환경에서 유사한 모델을 복제했습니다.
• 모델을 속여 멀웨어를 합법적인 소프트웨어로 분류할 수 있는 경사 하강 방법을 사용하여 공격 샘플을 설계합니다.
• 적대적 샘플에 일반 우회 기능을 추가하면 대상 모델에서 작동하도록 보장합니다.

4단계: 구현

• 신중하게 제작된 멀웨어 샘플(우회 기능 포함)을 회사의 탐지 시스템에 제출합니다.
• 이 모델은 멀웨어를 합법적인 소프트웨어로 잘못 분류했고 멀웨어는 성공적으로 방어를 우회했습니다.

디펜스 계시:

• 모델이 이러한 미묘한 교란에 민감하지 않도록 하려면 적대적 견고성 훈련을 구현해야 합니다.
• 정상적으로 보이지만 비정상적으로 동작하는 소프트웨어를 탐지하기 위한 행동 분석 도입
• 공격자의 대규모 프로빙을 방지하기 위한 API 쿼리에 대한 빈도 제한 및 비정상 패턴 탐지

7.2 엔터프라이즈 AI 보안 구축을 위한 모범 사례 권장 사항

AI 보안 위협 매트릭스와 방어 프레임워크를 기반으로 기업은 AI 보안 시스템을 구축할 때 다음 원칙을 따라야 합니다:

1. 위험 중심 우선순위 지정: 비즈니스에 미치는 영향과 위협 가능성에 따라 방어 우선순위를 정합니다. 모든 사람에게 모든 것을 제공하려고 하기보다는 고위험, 영향력이 큰 영역에 리소스를 집중해야 합니다.
2. 전체 수명 주기 적용: 모델 추론 단계에 집중할 뿐만 아니라 데이터 수집, 학습, 미세 조정, 배포 및 유지 관리의 모든 측면을 보호합니다.
3. 방어 깊이: 계층형 방어(예: 이 백서에서 제안한 4계층 방어 시스템)는 단일 장애 지점을 피하기 위해 여러 수준에서 제어를 배포하는 데 사용됩니다.
4. 지속적인 진화: AI 보안 위협은 끊임없이 진화하고 있으므로 조직은 지속적인 취약성 관리, 모의 침투 테스트 및 방어 업데이트 메커니즘을 구축해야 합니다.
5. 팀 간 협업: AI 보안은 보안팀만의 책임이 아니라 AI 엔지니어, 제품 관리자, 법무, 운영 및 유지 관리 등 여러 팀의 협력이 필요합니다.
6. 투명성 및 해석 가능성: 사용자와 이해관계자를 위해 AI 시스템의 기능, 한계, 안전 조치를 명확하게 설명하여 신뢰를 구축합니다.

결론: 미래에 대비한 AI 보안 시스템 구축

AI 보안 위협 매트릭스는 조직이 AI 시스템에 대한 다차원적인 위협을 식별하고 대응할 수 있는 체계적이고 실행 가능한 프레임워크를 제공합니다. 기존의 사이버 보안과 달리 AI 보안은 데이터, 모델링, 추론의 모든 측면에서 공격이 발생할 수 있으며 공격자의 역량과 지식 수준이 공격의 실행 가능성에 큰 영향을 미치기 때문에 매우 복잡합니다.

기업은 다음 사항을 인지해야 합니다:

1. AI 보안은 단일 방어 조치에 의존하기보다는 데이터 거버넌스, 모델 개발, 애플리케이션 배포, 운영 및 유지 관리 모니터링에 이르기까지 총체적인 방식으로 해결해야 하는 시스템적인 문제입니다.
2. 성숙도 평가는 중요합니다. 현재 성숙 단계에 있는 위협(예: 데이터 중독, 공격 샘플)과 아직 연구 중인 위협(예: 지능형 개인정보 공격)을 이해하면 조직이 방어 투자를 더 잘 계획하는 데 도움이 됩니다.
3. 방어와 개발은 균형을 이루어야 합니다. 일부 방어(예: 차등 프라이버시, 방어 증류)는 모델의 정확도를 떨어뜨릴 수 있으므로 기업은 비즈니스 특성에 따라 균형을 찾아야 합니다.
4. 기술적 방어는 시스템과 프로세스가 뒷받침되어야 합니다. 기술적 방어만으로는 충분하지 않으며, 건전한 시스템과 프로세스를 구축해야 합니다.AI 보안 거버넌스시스템, 직원 교육 메커니즘, 사고 비상 계획 등입니다.
5. 표준 프레임워크에 부합. ISO/IEC 42001 및 NIST AI RMF와 같은 국제적으로 인정받는 표준 프레임워크를 채택하면 조직이 체계적으로 AI 보안 시스템을 구축하고 규정 준수에 대비하는 데 도움이 될 수 있습니다.

AI 기술의 급속한 발전과 위협 상황의 끊임없는 변화에 직면하여 기업은 지속적으로 진화하고 적응하는 AI 보안 시스템을 구축해야 하며, AI 보안 위협 매트릭스는 이 시스템의 중요한 기반이 됩니다.

참조 인용

• AI 보안 위협 매트릭스 공식 웹사이트:https://aisecmatrix.org/matrix
• NIST AI 위험 관리 프레임워크:https://airc.nist.gov/
• ISO/IEC 42001국제전기기술위원회에서 발행한 AI 관리 시스템 표준
• MITRE ATLAS 프레임워크: AI 및 머신 러닝 시스템을 위한 ATT&CK와 유사한 프레임워크