파일럿에서 멈춘다
생성형 AI 개념검증의 대다수가 광범위 배포에 이르지 못하고, 에이전틱 AI 프로젝트의 상당수가 결국 취소될 것으로 전망됩니다.
01 / THE PROBLEM
업무를 완결하는 챗봇은 소수에 그칩니다
시장 조사 기관들이 공통으로 지적하는 실패 원인은 모델 성능이 아니라 운영 구조입니다. 문제는 대화 품질이 아니라 대화 이후에 아무 조치도 일어나지 않는다는 점입니다.
답변에서 끝난다
조회형 챗봇에 이름만 바꿔 붙인 사례가 널리 지적됩니다. 실행 경로와 권한이 없다면 검색창을 하나 더 늘린 것에 지나지 않습니다.
연동이 매번 신규 프로젝트가 된다
시스템마다 커스텀 통합을 다시 만들면 도입 비용이 대상 수에 비례해 늘고, 스택이 바뀔 때마다 재작업이 발생합니다.
통제 체계가 없어 도입하지 못한다
자율 에이전트에 대한 성숙한 거버넌스를 갖춘 조직은 소수이며, 멈춘 프로젝트의 다수가 거버넌스·보안 병목을 원인으로 지목합니다.
Orbiton.AI Agent는 이 네 가지를 대화 인터페이스가 아니라 제품 구조로 해결합니다.
02 / CATEGORY
검색창에서 컨트롤 플레인으로
대화형 AI는 네 단계를 거쳐 왔습니다. Orbiton.AI Agent는 마지막 단계에 위치합니다.
- 01FAQ 챗봇“찾아준다”
정해진 시나리오와 키워드 응답
- 02RAG 어시스턴트“근거를 준다”
문서 검색 후 요약과 출처 제시
- 03코파일럿“제안한다”
도구를 호출해 상태를 읽고 조치를 권고
- 04대화형 컨트롤 플레인“실행하고 증명한다”
정책 판정·승인·실행·검증·증빙까지 대화 안에서 완결
Orbiton.AI Agent
글로벌 시장은 생태계 내장형(Microsoft Copilot Studio, Salesforce Agentforce, ServiceNow, Google Agentspace), 지식 검색형(Glean), 고객 응대 특화형(Sierra, Decagon, Moveworks)으로 나뉘어 있습니다. 내장형은 자사 생태계 밖으로 나가면 급격히 약해지고, 검색형은 실행 권한이 없으며, 특화형은 벤더 클라우드에 종속됩니다. Orbiton.AI Agent는 어느 생태계에도 속하지 않은 채 실행과 통제까지 담당하는 자리를 목표로 합니다.
03 / OVERVIEW
질의를 실행된 업무로 전환합니다
대화 채널은 Web · Slack · Teams · API · 음성 어느 쪽이든 동일한 엔진에 연결됩니다.
이해한다
자연어 질의에서 의도·대상·범위·시점을 분해하고, 필요한 지식과 도구를 자체 선택해 실행 계획을 수립합니다.
- 의도 분해
- 계획 수립
- Agentic RAG
- 장단기 기억
실행한다
조회에서 멈추지 않습니다. 표준 프로토콜로 사내외 시스템의 도구를 호출하고, 정책과 승인을 통과한 조치만 실행합니다.
- MCP 도구 호출
- 정책 판정
- 승인 게이트
- 검증 · 원복
학습한다
대화와 조치 결과가 그대로 학습 자원이 됩니다. 평가 세트가 자동으로 확장되며, 검증을 통과한 개선만 운영에 반영됩니다.
- 피드백 수집
- 평가 세트 자동 확장
- 섀도 검증
- 테넌트 격리
Kafka는 첫 고객 환경에서 연결한 드라이버 한 종일 뿐입니다. 대상 시스템은 플러그인으로 교체됩니다.
04 / ARCHITECTURE
다섯 개의 논리 계층
각 계층은 표준 인터페이스로만 결합되어, 한 계층을 교체해도 나머지는 그대로 동작합니다.
05증빙 계층Evidence
- 대화·근거 불변 저장
- 조치 감사 추적
- 규제 대응 리포트
- 티켓 자동 첨부
04통제 계층Control
- 정책 엔진 (OPA/Rego)
- 승인 게이트 (HITL)
- 가드레일 · 주입 방어
- 검증 · 자동 원복
03연결 계층Connectivity
- MCP 도구 서버
- A2A·ACP 에이전트
- 시스템 드라이버
- 업무 커넥터
02지식 · 기억 계층Knowledge
- Agentic RAG
- 지식 그래프
- 장·단기 기억
- 권한 반영 색인
01이해 · 계획 계층Reasoning
- 의도 · 범위 분해
- 실행 계획 수립
- 도구 선택 · 라우팅
- 자기 검증
05 / CAPABILITIES
여섯 개의 핵심 모듈
자연어 이해와 계획
Intent decomposition한 문장의 질의를 의도·대상·기간·권한으로 분해하고, 응답까지 몇 단계가 필요한지 스스로 계획합니다.
지식 검색
Agentic RAG검색을 한 번으로 끝내지 않습니다. 검색·평가·재검색을 반복하며, 개체 간 관계가 필요한 질의는 지식 그래프로 전달합니다.
장·단기 기억
Working · episodic · semantic대화 맥락과 과거 사건 이력, 조직의 용어와 규칙을 세 개 층으로 나누어 보관합니다. 같은 설명을 반복할 필요가 없습니다.
도구 실행
MCP재구축 없이 업무 시스템으로 범위를 넓힙니다. 표준 프로토콜로 사내외 시스템의 도구를 호출하고, 새로운 시스템은 코드 수정 없이 도구 등록만으로 연동합니다.
자동 학습 루프
Active learning대화와 피드백, 조치 결과가 평가 세트와 색인에 자동 반영되며, 검증을 통과한 개선만 운영에 승격됩니다.
대화 자체가 증빙
Evidence by conversation어떤 근거로 무엇을 판단했고 누가 승인해 무엇을 실행했는지가 대화 단위로 기록되어 감사에 그대로 제출됩니다.
여섯 모듈은 하나의 질의를 처리하는 단일 경로로 연결되어 동작합니다.
06 / HOW IT WORKS
질의를 처리하는 일곱 단계
모든 질의는 동일한 일곱 단계를 거칩니다. 단계를 건너뛰는 경로는 존재하지 않습니다.
- 1의도 해석
질문을 의도·대상·기간·필요 도구로 분해
- 2권한 확인
사용자 역할과 테넌트 범위로 접근 가능 영역 확정
- 3근거 수집
지식·기억·실시간 시스템에서 필요한 만큼 반복 조회
- 4추론 · 자기검증
근거와 답이 어긋나면 스스로 재질의
- 5정책 판정
조치가 필요하면 허용·거부·승인필요를 정책이 결정
- 6승인 · 실행
승인 후 멱등성 키를 걸고 도구 호출
- 7응답 · 증빙
답변·근거·조치 결과를 함께 제시하고 저장
근거 없는 응답을 차단한다
검색 결과가 질의를 뒷받침하지 못하면 추정하지 않고 확인 불가로 응답합니다.
권한 밖 데이터는 조회하지 않는다
색인 단계에서 권한을 함께 저장하므로, 열람 권한이 없는 문서는 검색 결과에 노출되지 않습니다.
실행은 반드시 승인 게이트를 거친다
제안과 실행을 분리하므로, 정책 판정과 승인을 통과하지 못한 조치는 호출되지 않습니다.
응답 목표 3초 이내. 조치가 포함된 질의는 승인 대기 시간을 제외하고 측정합니다.
07 / KNOWLEDGE & MEMORY
검색·평가·재검색을 반복합니다
일반적인 RAG는 질의를 한 차례 검색해 요약합니다. 복잡한 업무 질의는 이 방식으로 해결되지 않습니다. 키워드 검색과 의미 검색을 병행하고 재순위화로 선별한 뒤, 근거가 부족하면 재검색합니다.
검색 방식
- 키워드 검색 BM25
- 오류 코드나 장비명, 정의된 용어처럼 표기가 정확히 일치해야 하는 질의를 담당합니다.
- 의미 검색 pgvector
- 임베딩 검색으로 표현이 달라도 의미가 같은 문서를 검색합니다.
- 재순위화 BGE
- 두 결과를 합쳐 질문과의 관련도로 다시 정렬합니다.
- 반복 검색 Agentic loop
- 결과가 질의를 충족하지 못하면 질의를 재구성해 다시 검색합니다.
기억 구조
- 작업 기억
- 현재 대화의 맥락을 담으며, 세션이 종료되면 요약만 남기고 정리합니다.
- 일화 기억
- 과거 사건과 조치, 그 결과를 담으며 유사 상황에서 우선 참조됩니다.
- 의미 기억
- 조직의 용어와 규칙, 런북을 담으며 검증을 거쳐야 갱신됩니다.
키워드 검색은 정확하지만 표현이 달라지면 문서를 놓치고, 의미 검색은 유연한 대신 관련성이 낮은 문서를 함께 반환합니다. 두 결과를 결합한 뒤 재순위화로 선별하는 구조가 어느 한쪽보다 안정적이라는 점은 정보 검색 연구에서 반복 확인된 결과입니다. 여기에 에이전트가 검색을 반복 제어하는 방식과 대화 단위 기억을 더해, 단일 검색으로 해결되지 않는 업무 질의를 처리합니다.
08 / AI TOOLBOX
에이전트가 호출하는 12개 분석 모델
에이전트는 자체 추론에만 의존하지 않습니다. 질의 성격에 따라 전용 모델을 선택해 호출하고, 그 결과를 근거로 응답합니다.
예측 · 판정
| 모델 | 역할 | 구현 |
|---|---|---|
| LSTM | 예측 | PyTorch · PyTorch-Forecasting |
| Prophet | 예측 | Prophet · holidays-KR |
| Temporal Fusion Transformer | 예측 | PyTorch-Forecasting (Lim 2021) |
| N-BEATS | 예측 | PyTorch (Oreshkin 2020) |
| 이상 탐지 앙상블 | 이상 탐지 | Isolation Forest · USAD |
| 인과 추론 | 원인 판별 | EconML · DoWhy (Pearl 4-step) |
학습 · 품질
| 모델 | 역할 | 구현 |
|---|---|---|
| 강화학습 정책 | 조치 선택 | Stable-Baselines3 PPO |
| 연합학습 | 분산 학습 | Flower FedAvg |
| 차등 프라이버시 연합학습 | 프라이버시 | Opacus DP-SGD · Flower |
| 지속학습 | 지식 유지 | EWC (Kirkpatrick 2017) |
| 드리프트 감지 | 품질 감시 | Evidently PSI·KS · River |
| 하이퍼파라미터 튜닝 | 재탐색 | Optuna TPE sampler |
“지난주 대비 처리 지연이 왜 늘었지?” 한 문장이 예측·이상 탐지·인과 추론 세 모델을 순서대로 호출합니다. 사용자는 모델 이름을 알 필요가 없습니다.
09 / AGENTS
정해진 역할을 스스로 수행하는 에이전트
질의를 기다리는 챗봇 위에 정해진 역할을 스스로 수행하는 에이전트를 배치했습니다. 모두 같은 지식·도구·정책 위에서 동작합니다.
유입된 사건을 우선 분류합니다
새 사건이 생기면 심각도와 원인 후보를 판정하고, 유사 과거 사례와 담당 후보를 붙여 대기열에 올립니다.
종료된 사건을 자동으로 정리합니다
종료된 사건의 타임라인·근거·조치 이력을 모아 원인 분석 문서 초안을 작성하고 재발 방지 항목을 제안합니다.
당직자를 상시 보조합니다
당직 시간대에 발생한 알림의 맥락을 먼저 정리해 전달하고, 야간 대응에 필요한 절차와 승인 경로를 안내합니다.
주간 운영 리뷰를 자동 작성합니다
한 주의 사건·조치·SLA 지표를 집계해 리뷰 자료를 만들고, 추세가 나빠진 항목을 먼저 짚어 제시합니다.
운영자의 판단을 학습에 반영합니다
운영자가 내린 승인·거부와 수정 결정을 정답 신호로 수집해 다음 판단의 정확도를 높입니다.
에이전트는 스스로 문서를 쓰고 정리하지만, 시스템을 바꾸는 조치는 여전히 정책 판정과 사람 승인을 거칩니다.
10 / INTEGRATION
재구축 없이 사내외 시스템을 연동합니다
Orbiton.AI Agent는 특정 벤더 생태계를 전제하지 않습니다. 바깥과 만나는 지점을 세 종류의 표준으로만 정의하고, 대화·추론·통제 엔진은 그대로 재사용합니다.
도구 호출
도구를 레지스트리에 등록하면 연동이 끝납니다. 플러그인 마켓플레이스에서 원클릭 설치와 버전 관리를 지원합니다.
- 조회 도구 (지표·로그·SQL)
- 조치 도구 (실행 API)
- 플러그인 마켓플레이스
- MCP 표준 대응
에이전트 간 협업
역할이 다른 에이전트가 하나의 그래프 위에서 작업을 주고받으며, 외부 에이전트와도 표준 프로토콜로 연결됩니다.
- LangGraph 다중 에이전트
- 역할별 작업 분담
- HITL 승인 연계
- A2A·ACP 표준 대응
업무 시스템 연계
표준 이벤트 스키마와 웹훅으로 기존 업무 프로세스와 양방향 동기화합니다.
- ITSM · 티켓 · 결재
- 그룹웨어 · 협업 채널
- DB · 데이터 웨어하우스
- SIEM · 사내 API
연결 대상 예시 — 메시징(Kafka · RabbitMQ · Pulsar) · 데이터베이스 · 데이터 웨어하우스 · Kubernetes · API 게이트웨이 · ITSM · 그룹웨어 · 사내 업무 시스템 · 외부 SaaS · 문서 저장소. 대상 시스템은 자원 조회·지표 수집·조치 실행·스키마 샘플링 네 가지만 구현한 드라이버로 연동합니다.
11 / LEARNING
운영 데이터가 다음 버전의 학습 자원이 됩니다
학습을 사람이 수행하는 배치 작업으로 두지 않았습니다. 대화와 조치 결과가 그대로 다음 버전의 학습 자원이 됩니다.
- 1
수집
질의·근거·응답·조치 결과를 구조화해 적재
- 2
HITL 능동학습
운영자 피드백과 승인 결정을 정답 신호로 수집
- 3
평가 세트 갱신
실패 사례가 자동으로 회귀 평가 세트에 등록
- 4
재학습
Optuna 재탐색, EWC로 기존 지식을 유지한 채 갱신
- 5
드리프트 감시
PSI·KS·Page-Hinkley로 입력 분포와 성능 변화 추적
- 6
승격
섀도 검증 통과 시에만 반영, 미달 시 이전 버전 유지
고객 데이터는 외부로 반출되지 않습니다
테넌트 데이터는 경계를 벗어나지 않습니다. 조직 간 학습이 필요하면 Flower 연합학습으로 데이터가 아닌 학습 결과만 모으고, 차등 프라이버시로 개별 기여를 가립니다.
학습이 품질을 저하시키지 않도록
모든 갱신은 회귀 평가 세트를 통과해야 승격됩니다. 정확도·거절률·지연·비용 중 하나라도 기준에 미달하면 자동으로 이전 버전이 유지됩니다.
변경 내용과 사유를 기록합니다
학습 라운드, 참여 범위, 모델 버전, 평가 결과가 기록되어 모델 변경도 감사 대상이 됩니다.
12 / CONTROL
거버넌스와 통제 아래 실행합니다
대화형 AI가 실제 시스템을 변경하려면 답변 품질에 앞서 통제 구조가 갖춰져야 합니다.
- 제안과 실행의 분리
- AI는 조치를 제안할 뿐이며 실행 권한은 정책 엔진과 승인자에게 있습니다. 이 경계는 설정으로 우회할 수 없습니다.
- 코드로 관리되는 정책
- 자동 실행 허용 여부, 승인 필요 여부, 시도 예산, 쿨다운, 위험도별 허용 조치 목록을 정책 파일로 외부화하고 버전 관리합니다.
- 중복 · 반복 실행 차단
- 멱등성 키로 동일 조치의 중복 실행을 차단하고, 같은 사건에 같은 조치가 반복되지 않도록 시도 예산과 쿨다운을 적용합니다.
- 실패 시 자동 원복
- 조치 후 성공 기준을 검증하고, 기준에 미달하면 되돌린 뒤 사람에게 에스컬레이션합니다.
- 역할 분리
- 조회자, 요청자, 승인자, 설정 변경자의 권한을 각각 분리합니다. 승인에는 코멘트가 필수입니다.
- 데이터 경계 강제
- 테넌트와 시스템 범위를 벗어난 데이터는 검색·참조·응답 어디에서도 사용되지 않습니다.
13 / SECURITY
공개 위협 분류 항목별 대응
대화형 AI의 위험은 이미 분류 체계로 정리되어 있습니다. 국제 보안 커뮤니티가 공개한 LLM·에이전트 위협 분류를 기준으로 대응 항목을 확정했습니다.
| 위협 분류 | 무엇이 문제인가 | Orbiton.AI Agent 대응 |
|---|---|---|
| 프롬프트 인젝션 | 문서·티켓·웹페이지에 은닉된 지시문이 AI를 조작 | 지시·데이터 분리, 도구 허용 목록, 고위험 조치 HITL 승인 |
| 민감정보 노출 | 질의 맥락이나 응답을 통해 비공개 정보가 유출 | RBAC 반영 색인, 테넌트 경계 강제, 응답 전 마스킹 |
| 과도한 권한 | AI가 필요 범위를 넘는 실행 권한을 보유 | OPA Rego 정책 판정, 최소 권한 스코프, 실행 예산 제한 |
| 시스템 프롬프트 유출 | 내부 규칙·모델명·엔드포인트가 응답에 포함되어 노출 | 에러·내부 식별자 응답 차단, 사용자용 메시지 분리 |
| 벡터 · 색인 취약점 | 오염된 문서가 색인에 유입되어 응답을 왜곡 | 출처 신뢰도 평가, 색인 반입 검증, 근거 링크 강제 노출 |
| 에이전트 도구 오남용 | 다단계 실행 과정에서 의도하지 않은 도구가 호출 | UEBA 행동 분석, 감사 해시체인, 이상 호출 차단 |
위협 분류 명칭과 번호는 공개 표준의 분류 체계를 따르며, 대응 항목은 제품 구현 기준입니다. 규제 대응은 별도 관리 체계(위험 관리·감사·문서화)와 함께 운영됩니다.
14 / EVALUATION
품질 변화를 상시 계측합니다
대화형 AI에서 가장 흔한 실패는 성능 저하를 아무도 인지하지 못하는 상황입니다. 이를 막기 위해 측정 체계를 제품 내부에 내장했습니다.
- 회귀 평가 세트
- 실패한 질의가 자동으로 평가 세트에 등록되고, 이후 모든 갱신은 이 평가 세트를 통과해야 합니다.
- 이중 채점
- 정답 대조가 가능한 항목은 자동 채점하고, 판단이 필요한 항목은 모델 채점과 사람 검수를 함께 사용합니다.
- 근거 일치도 측정
- 응답의 각 문장이 제시된 근거로 뒷받침되는지를 별도 지표로 측정해 환각률을 추적합니다.
- 대화 단위 추적
- OpenTelemetry 분산 트레이싱으로 질의부터 도구 호출, 응답까지를 하나의 단위로 묶고 Loki·Grafana에서 조회합니다.
- 비용 관측
- 질의당 토큰과 도구 호출 비용을 테넌트별로 집계해, 비용이 인지되지 않은 채 증가하는 상황을 차단합니다.
- 부하 회귀 시험
- 12개 추론 엔드포인트 전체를 대상으로 지연 분포를 측정하는 부하 시험 체계를 갖추고, 릴리스마다 이전 버전과 비교합니다.
관측 데이터는 표준 원격 측정 규격으로 내보내므로, 고객사가 이미 쓰는 관측 스택에서 그대로 조회됩니다.
15 / PERFORMANCE
설계 기준선으로 정의한 성능 목표
아래 값은 제품이 목표로 삼는 설계 기준선(SSOT)입니다. 대화형 추론의 지연과 동시 처리량은 고객사 인프라 구성에 직접 좌우되므로, 실제 값은 도입 환경에 따라 달라집니다.
3초 이내전체 응답 시간
질의 접수부터 최종 응답까지, 승인 대기 시간 제외
2초 p95 이내모델 추론 지연
스트리밍 첫 토큰이 아닌 완결 응답 기준
20명 동시동시 사용자
동일 응답 기준을 유지한 채 동시 처리
10 QPS 이상질의 처리율
비동기 처리 경로와 수평 확장으로 달성
- NVIDIA A100 · 표준 추론 구성
- 대화 응답과 12개 분석 모델 추론을 함께 처리하는 기본 배치 단위입니다. 메모리 용량에 따라 동시 세션 수가 결정됩니다.
- NVIDIA H100 · 대규모 구성
- 대형 모델과 긴 컨텍스트를 다루거나 동시 사용자 규모가 큰 환경에 배치합니다. 추론 서비스를 전용 노드로 분리합니다.
- NPU 병행 · 자원 분리 구성
- 이상 탐지·분류·임베딩처럼 상시 구동되는 경량 추론을 NPU로 분리해, GPU 자원을 대화와 대형 모델에 집중합니다.
설계 요소 — 전 구간 비동기 · 모델 라우팅 · 프롬프트 캐시 · 수평 확장
16 / POSITIONING
기존 도구와의 관계
Orbiton.AI Agent는 기존 업무 시스템을 대체하지 않습니다. 그 상위에서 이해·실행·증명을 담당하는 계층으로 동작합니다.
| 비교 축 | 생태계 내장형 | 지식 검색형 | Orbiton.AI Agent 대화형 컨트롤 플레인 |
|---|---|---|---|
| Copilot Studio · Agentforce · ServiceNow | Glean · NotebookLM | ||
| 강점 | 자사 생태계 내 깊은 통합 | 권한 반영 사내 지식 검색 | 이해·실행·증빙의 단일 경로 |
| 실행 범위 | 자사 제품군 내 워크플로 | 조회와 요약 중심 | 표준 도구로 등록된 모든 시스템 |
| 연결 방식 | 자사 커넥터 중심 | 문서 소스 커넥터 | MCP·A2A 표준 + 자체 드라이버 |
| 승인 통제 | 플랫폼 워크플로에 의존 | 실행 개념 없음 | 제품 내 정책 판정과 승인 콘솔 |
| 감사 증빙 | 플랫폼 로그 기반 | 검색 이력 기반 | 대화·근거·조치 불변 저장 |
| 설치 형태 | 벤더 클라우드 우선 | SaaS 우선 | 온프레미스 · 폐쇄망 포함 |
고객 응대 특화형(Sierra · Decagon · Moveworks)은 경쟁 축이 다른 별도 범주입니다. 비교는 공개 자료 기준 포지셔닝 관점이며 기능의 우열 판정이 아닙니다.
17 / USE CASES
질의에서 실행까지, 업무별 적용
“결제 처리가 왜 느려졌지?”
지표·로그·변경 이력을 가로질러 원인을 좁히고, 확장이나 재기동 같은 조치를 승인 아래 실행한 뒤 결과를 검증해 보고합니다.
“이 계약 조건 우리 기준에 맞나?”
규정·계약·이력 문서를 권한 범위 안에서 교차 검색해 근거와 함께 답하고, 필요한 결재나 티켓을 대화 안에서 생성합니다.
“지난달 지역별 이탈률 보여줘”
자연어를 질의문으로 변환해 실행하고, 사용한 테이블과 조건을 함께 제시합니다. 결과는 표와 차트로 바로 확인합니다.
“주문 상태 확인하고 환불 처리해줘”
여러 시스템에 분산된 상태를 통합해 응답하고, 처리 권한이 필요한 작업은 정책 판정과 승인을 거쳐 실행합니다.
엔진은 동일합니다. 업무별 차이는 도구 등록, 지식 소스, 정책 번들 조합으로 흡수합니다.
18 / ADOPTION
도입 여정
조회부터 시작해 신뢰가 축적되는 만큼 실행 범위를 확대합니다. 도입 초기에는 실행 권한을 부여하지 않습니다.
- PHASE 01
연결과 질의
기존 지식 소스와 조회 도구를 연결합니다. 실행 도구는 등록하지 않고 질문과 답변 품질만 확인합니다.
산출 · 답변 정확도 기준선 확보 - PHASE 02
승인형 실행
실행 도구를 등록하고 정책을 정의합니다. 모든 조치가 사람 승인을 거치며, 검증과 원복 경로를 실제로 확인합니다.
산출 · 조치 성공률과 원복 동작 검증 - PHASE 03
선별 자율화
위험도가 낮고 성공률이 검증된 조치부터 승인 없이 실행하도록 정책을 완화합니다. 나머지는 승인 게이트를 유지합니다.
산출 · 처리 시간 단축, 담당자 개입 감소 - PHASE 04
확장과 학습
도구와 지식 소스를 인접 업무로 넓히고, 축적된 대화 데이터로 검색·라우팅·모델을 갱신합니다.
산출 · 전사 업무 인터페이스로 확장
각 단계는 기능 플래그로 전환되며, 문제가 발생하면 플래그를 해제해 즉시 이전 단계로 복귀합니다.
19 / STANDARDS
설계 근거가 된 표준과 연구
제품 구조는 공개 표준과 최근 연구 결과를 근거로 선택했습니다.
표준 · 프레임워크
- MCP
- 에이전트–도구 연결 표준. 오픈 재단으로 이관되어 주요 AI 플랫폼이 공통 채택
- A2A · ACP
- 에이전트 간 작업 위임과 메시지 교환 표준. 다수 엔터프라이즈 벤더 참여
- OpenTelemetry
- 대화·도구 호출 추적을 고객사 관측 스택으로 내보내는 표준
- Policy-as-Code
- 정책 판단과 실행을 분리하고 버전 관리하는 오픈 정책 엔진 방식
- OWASP 위협 분류
- LLM·에이전트 위협 항목을 대응 설계의 기준으로 사용
- AI 위험 관리 체계
- 위험 식별·측정·처리·감시를 운영 절차로 고정 (NIST AI RMF · ISO/IEC 42001)
- MAPE-K
- 탐지·분석·계획·실행·지식의 자율 제어 루프 참조 모델
연구 근거
- 그래프 기반 검색
- 문서를 가로지르는 질의에서 단순 검색 대비 이점이 보고됨 (GraphRAG 계열 연구)
- 에이전트형 검색
- 검색·평가·재검색을 모델이 제어할 때 정확도가 개선됨 (Agentic RAG · 강화학습 결합 연구)
- 비모수 연속 학습
- 재학습 없이 기억 구조 갱신만으로 지식을 확장하는 접근
- 에이전트 기억 구조
- 작업·일화·의미 기억 분리와 장기 대화 성능 벤치마크
- 에이전트 상호운용 프로토콜
- MCP·A2A·ACP 비교와 단계적 도입 로드맵 서베이
- 프롬프트 인젝션 방어
- 도구 권한 최소화와 사람 승인 결합이 공격 성공률을 크게 낮춤
표준 명칭과 연구 결과는 공개 자료를 근거로 인용했으며, 본 문서의 제품 서술은 Orbiton.AI 구현 기준입니다.
20 / TECH STACK
기술 구성
전 구간을 오픈소스와 공개 표준 위에 구성했습니다. 모델 제공자 역시 교체 가능한 계층으로 분리했습니다.
대화 · LLM
- LangChain 1.x · LangGraph
- SSE 스트리밍 응답
- 멀티 프로바이더 라우팅
- Ollama · OpenAI · Anthropic · Gemini
검색 · 기억
- pgvector 임베딩 검색
- BM25 (rank_bm25)
- BGE 재순위화
- PostgreSQL 단일 저장소 운용
AI / ML
- PyTorch · PyTorch-Forecasting
- Prophet · Optuna · Evidently
- Stable-Baselines3 · Flower(FL)
- EconML · DoWhy · River
백엔드
- FastAPI 0.115 · Python 3.x
- SQLAlchemy · Alembic
- Redis
- 7개 마이크로서비스
프론트엔드 · 관측
- Vue 3 · Vite 6.0 · Pinia
- Bootstrap 5.3 · ApexCharts
- Prometheus · OpenTelemetry
- Loki · Grafana
보안 · 배포
- JWT + OAuth2 · MFA(TOTP)
- RBAC · OPA Rego
- Audit Hash Chain · SIEM Hook
- Kubernetes(Helm) · GitHub Actions
21 / ROADMAP
로드맵
각 항목은 기존 구조를 변경하지 않고 확장하는 형태로 설계했습니다. 계층 인터페이스가 고정되어 있어 엔진 교체 없이 기능을 더할 수 있습니다.
GPU 가속 추론
추론 서비스를 CUDA 기반 이미지로 전환해 모델 호출이 포함된 대화의 응답 지연을 단축합니다.
Shadow Mode OOD
학습 도메인을 벗어난 질문을 자동 분류하고 주제 이동을 감지해, 모르는 영역에서 그럴듯하게 틀리지 않게 합니다.
스트리밍 확장
장시간 응답 구간의 연결 유지와 재개를 보강해 대화 안정성을 높입니다.
모바일 앱
iOS·Android 앱에서 대화와 승인을 처리합니다. 골격 구현이 준비되어 있습니다.
고급 UEBA
행동 군집화와 이상 탐지를 결합해 대화·도구 호출의 오남용 탐지 정확도를 높입니다.
연합학습 고도화
다중 고객사 환경에서 데이터 공유 없이 프라이버시를 보존한 채 모델 품질을 개선합니다.
CONVERSATIONAL CONTROL PLANE
대화에서 조치로, 조치에서 증빙으로.
대화형 AI의 가치는 답변의 유창함에 있지 않습니다. Orbiton.AI Agent는 이해·실행·증빙을 하나의 경로로 통합해 해당 구간을 담당합니다.