달라진 위협 모델

AI agent는 텍스트만 생성하지 않는다. 사용자를 대신해 인증하고 tool과 API를 호출하며 매 단계의 승인 없이 여러 작업을 수행할 수 있다. 자율성과 확률적 특성 때문에 같은 prompt도 한 번은 정책을 지키고 다음에는 위반할 수 있다. 따라서 배포 전 일회성 평가는 agentic workload를 보호하기에 충분하지 않다.

AWS는 identity governance, least privilege, defense in depth, backup과 recovery 같은 기존 원칙이 여전히 유효하다고 본다. 달라지는 것은 지속적인 적용 방식이다. 각 agent에는 고유 identity와 짧고 제한된 credential이 필요하며 모든 request는 독립적으로 인증·인가되고 중요한 action의 승인 경로가 추적돼야 한다.

행동 기반 탐지와 단계별 대응

사람의 패턴을 기준으로 만든 정적 rule은 계속 적응하는 agent를 따라가기 어렵다. 보안팀은 tool call, 접근 데이터, 외부 통신 대상과 action 결과에 대한 telemetry와 갱신되는 baseline이 필요하다. 명확히 위험한 행동은 자동 격리하고 모호한 상황은 증거를 보존해 사람에게 넘겨야 한다.

한 component가 민감 데이터 읽기, 외부 전송, 신뢰하지 않는 콘텐츠 처리를 동시에 갖지 않도록 분리하는 것도 중요하다. 이 세 능력의 결합을 막으면 prompt injection의 피해 범위를 줄일 수 있다. System prompt는 접근 통제 수단이 아니므로 정책은 identity와 tool 계층에서 강제해야 한다.

도입은 agent, owner, credential, tool, 데이터 inventory에서 시작한다. kill switch, action budget, 고위험 작업 approval gate와 복구 훈련을 준비한다. 자동화된 위협에는 충분히 빠르게 대응하면서 큰 결과를 낳는 결정에는 사람의 판단을 유지하는 것이 목표다.

관련 글

• Bypassing Windows Administrator Protection이 개발 조직에 주는 보안 과제
• Updating the Dolby Exploit: Pixel 9 제로클릭 체인과 Pixel 10의 과제

참고 자료

Agentic security: Detection and response at machine speed