빠른 요약

  • AWS는 dashboard 화면과 숫자를 검사하는 presentation-layer validation으로 탐지 시간을 최대 72시간에서 1시간 미만으로 줄였다.
  • Server, API와 data pipeline이 정상이어도 사용자가 보는 chart가 완전하고 최신이며 정확하다는 보장은 없다.
  • Browser capture 기반 last-mile 검사를 추가하고 의미는 model, 숫자 비교는 deterministic code가 담당하게 한다.

무슨 일이 있었나

콘텐츠 계층의 감시 공백

Dashboard는 정상적으로 열리지만 chart가 비거나 오래됐거나 숫자가 틀릴 수 있다. Endpoint와 data pipeline은 정상인데 실패가 사용자가 보는 화면에만 존재하기 때문이다. AWS는 수백 개 dashboard를 검사하고 owner에게 실시간 알림을 보내 탐지 시간을 최대 72시간에서 1시간 미만으로 줄였다고 설명한다.

30일간 측정에서 802건의 콘텐츠 오류를 찾았지만 사용자 신고가 연결된 사례는 1% 미만이었다. Reactive support는 신뢰할 detector가 아니다. Content validation은 infrastructure monitoring과 upstream data-quality check를 대체하지 않고 보완해야 한다.

Hybrid validation 아키텍처

EventBridge가 주기를 시작하고 Redshift registry가 section과 owner를 저장한다. Lambda 기반 headless browser가 실제 사용자 화면을 capture한다. 저장 전 Rekognition으로 민감한 text와 숫자를 찾아 masking하고 screenshot은 S3에 보관한다. 이후 visual integrity와 numeric consistency 검사가 병렬로 실행된다.

Bedrock의 model은 blank tile, error state와 missing visual을 찾고 정상 empty state와 장애를 구분한다. 결과는 구조화된 verdict와 confidence로 제한되며 모호하면 human review로 보낸다. 숫자 검증에서는 model이 서로 다른 layout의 동일 metric을 찾는 semantic 작업만 하고 arithmetic과 최종 판정은 deterministic code가 수행한다.

핵심 원칙은 model에는 의미 판단을 맡기고 정확성이 필요한 계산은 맡기지 않는 것이다. BI 팀은 중요한 dashboard부터 owner와 ground truth를 정하고 false positive, redaction 품질, cycle 비용을 측정해야 한다. Alert에는 screenshot, confidence와 조사 link를 포함해 즉시 대응할 수 있게 한다.

관련 글

참고 자료

How an AWS team detects dashboard content failures at scale using Amazon Bedrock

개발자가 주목해야 하는 이유

Server, API와 data pipeline이 정상이어도 사용자가 보는 chart가 완전하고 최신이며 정확하다는 보장은 없다.

  1. 1Browser capture 기반 last-mile 검사를 추가하고 의미는 model, 숫자 비교는 deterministic code가 담당하게 한다.