G0SCOPE
환경과 측정 범위 고정
대상 클러스터, 토픽, 컨슈머 그룹, 수집 주기와 지표 정의를 먼저 고정합니다. 합성 데이터와 실데이터를 구분하고 테넌트 경계와 접근권한도 이 단계에서 확인합니다.
환경 라벨 · 데이터 출처 · 측정 기간 · 권한 경계VALIDATION / ACCEPTANCE CRITERIA
실측값으로 시작해,
증빙으로 끝냅니다.
측정할 수 없는 항목은 통과로 판정하지 않습니다. 고객 환경에서 기준선을 확보하고, 사전에 합의한 판정식으로 결과를 산출합니다.
01 / SUCCESS CRITERIA
자동 조치의 성공 판정 기준
Orbiton.AI의 자동 조치는 아래 기준을 충족해야만 성공으로 기록되며, 미달 시 자동으로 원복됩니다.
40% 이상 감소적체 자동 해소
조치 후 10분 이내 적체량 40% 이상 감소
5분 이내복제 이상 정상화
노드 재기동 조치 후 5분 이내 복제 불일치 해소 확인
15분 이내위험 상태 안정화
위험 등급에서 경고 이하로 15분 이내 하강 유지
85% 이상이상 탐지 정밀도
탐지 알람 중 실제 이상에 해당하는 비율
기준값은 도입 시 고객 환경에 맞춰 조정됩니다. 표시값은 검증 설계에 사용하는 예시이며 성과 보장 수치가 아닙니다.
02 / SCENARIOS
검증이 성립하려면 시나리오도 고정되어야 합니다
- 정상
- 일중 패턴 평균에서 피크까지의 곡선을 상시 재현
- 급증
- 스파이크 유입 5~10배 증가를 10~30분간 주입
- 처리율 저하
- 소비 처리율을 40~50% 낮춰 30분 유지
- 카오스 주입
- 장애 주입 시나리오 실행 후 복원력 점수 측정
03 / SIX GATES
환경 고정부터 증빙 대조까지 여섯 단계로 검증합니다
G1BASELINE
관찰 모드 기준선 생성
자동 조치 없이 Lag, Backlog Time, 생산·소비 속도, 장애 빈도와 복구 시간을 측정합니다. 같은 업무 주기와 부하 구간을 포함해야 비교 기준으로 인정합니다.
최소 표본 · 정상/피크 구간 · 결측값 · 이상값G2INTELLIGENCE
예측과 탐지 품질 검증
시간 순서를 보존한 홀드아웃 데이터로 예측 오차와 탐지 품질을 측정합니다. MAE·RMSE·MAPE, Precision·Recall·F1, 탐지 선행 시간과 모델 드리프트를 함께 봅니다.
예측 오차 · 분류 품질 · 선행 시간 · 드리프트G3POLICY
정책과 승인 안전성 검증
허용·거부·승인 필요 조건, 역할별 권한, 중복 실행 차단, 쿨다운과 시간당 시도 한도를 확인합니다. 정책 엔진 장애 시 자동 허용되지 않는지도 의도적으로 시험합니다.
Fail-closed · RBAC · HITL · 중복 차단G4ACTION
조치 효과와 원복 검증
승인된 조치의 전후 지표를 같은 기준으로 비교합니다. 성공률, Lag 감소율, 복구 시간, 재시도 횟수, 영향 범위와 원복 결과가 합의 기준을 충족해야 합니다.
Before/after · Retry · Rollback · Blast radiusG5EVIDENCE
증빙 완전성과 재현성 검증
탐지부터 종료까지 모든 상태 전이와 판단 근거가 시간 순서로 이어지는지 확인합니다. 증빙 파일의 SHA-256 값, 감사 기록, 보고서 수치와 원시 측정값의 일치 여부까지 대조합니다.
감사 타임라인 · 해시 · 원시값 · 보고서 정합04 / COVERAGE
통과는 재현 가능해야 합니다
단위 · 계약 검사
개별 계산과 API 계약, 모델-엔진 매핑과 정책 입력·출력의 정합성을 검사합니다.
통합 · E2E 검사
수집부터 승인, 조치, 검증과 보고서까지 실제 상태 전이를 하나의 시나리오로 확인합니다.
성능 · 동시 부하
p50·p95·p99 지연, 처리량, 오류율과 동시 요청에서의 서비스 건전성을 측정합니다.
보안 · 격리 검사
인증, 역할 권한, 테넌트 분리, 민감정보 제거와 보안 헤더를 확인합니다.
장기 · 복구 검사
지속 실행, 장애 후 재기동, 데이터 소실 여부, 재시도와 원복의 종결 상태를 확인합니다.
증빙 대조
판정표와 원시 결과, 화면 캡처, 해시를 상호 대조해 근거 없는 통과를 차단합니다.
05 / VERDICT MODEL
판정은 세 가지뿐입니다
- PASS
- 모든 필수 기준을 실측 증빙으로 충족
- CONDITIONAL
- 영향이 제한된 조건과 후속 조치를 명시해 승인
- FAIL
- 기준 미달·근거 부족·환경 불일치 시 자동 차단
06 / IMPLEMENTATION
검증 대상이 되는 구현 범위
여섯 개의 게이트는 아래 기능 범위에 적용됩니다. 각 항목은 독립 배포되는 서비스로 구현되어 있으며, 계층 인터페이스가 고정되어 있어 개별 교체가 가능합니다.
| 기능 | 범위 |
|---|---|
| 인시던트 관리 | 승인 · 거부 · 담당자 지정 · 심각도 분류 |
| 자율 운영 루프 | MAPE-K · 적체 자동 조치 · 재조정 감지 |
| AI/ML 12 엔드포인트 | 예측 · 이상 탐지 · 인과 추론 · 강화학습 |
| AI 챗봇 + RAG | SSE 스트리밍 · 멀티 LLM · 하이브리드 검색 |
| 보안 완전체 | MFA · RBAC · 감사 해시체인 · SIEM · UEBA |
| 관측성 스택 | Prometheus · OpenTelemetry · Loki · Grafana |
| 운영 관리 | SLA · On-Call · Post-Mortem · 컴플라이언스 |
| Chaos Engineering | 장애 주입 · 복원력 점수 · 정기 실행 |
| SOAR 워크플로 | DAG 자동화 · YAML 정의 워크플로 |
| 마켓플레이스 | 플러그인 카탈로그 · 원클릭 설치 · 버전 관리 |
| 자율 에이전트 | Triage · PostMortem · OnCall · 주간 리뷰 |
| 배포 & 인프라 | Helm · Docker Compose · CI/CD 파이프라인 |
Kafka 드라이버는 이 구조 위에 구현된 대상 시스템 중 하나이며, 다른 시스템은 동일한 네 개 메서드로 추가됩니다.