[AI 도입 사례 ⑤] Morgan Stanley: 98% 현업 채택률은 평가 체계가 만들었다
Morgan Stanley의 AI Assistant는 자문팀 98% 이상이 사용합니다. 10만 문서를 검색하는 RAG보다 더 중요한 평가 데이터, 회귀 테스트, 사람 검토 운영을 분석합니다.
기업용 지식 AI의 성공은 데모에서 답을 잘하는 순간이 아니라, 현업이 매일 믿고 쓰는 순간에 결정됩니다. Morgan Stanley Wealth Management의 AI Assistant는 자문팀 98% 이상이 사용하는 사례로 자주 인용됩니다. 공개자료를 보면 높은 채택률의 중심에는 모델보다 평가 운영이 있습니다.
공개된 운영 성과
OpenAI의 Morgan Stanley 사례에 따르면 AI Assistant는 10만 개 문서 코퍼스에서 질문에 답할 수 있도록 확장됐고, 자문팀의 98% 이상이 사용합니다. 문서 접근 범위는 20%에서 80%로 늘었다고 설명합니다.
| 지표 | 이전 또는 초기 | 공개된 확장 상태 |
|---|---|---|
| 답변 가능한 질문 범위 | 약 7,000개 질문 | 10만 문서에서 폭넓은 질문 대응 |
| 자문팀 도입률 | 파일럿 단계 | 98% 이상 |
| 문서 접근 범위 | 20% | 80% |
| 회의 후속조치 | 수작업·며칠 소요 가능 | AI 초안으로 수시간 내 처리 |
| 최종 책임 | 사람 | 사람이 검토·수정 후 확정 |
여기서 10만 문서는 ‘학습 데이터 양’이라기보다 검색 가능한 내부 지식 범위를 뜻합니다. 모든 문서를 모델 안에 넣은 것이 아니라, 질문에 맞는 근거를 찾아 답변하도록 만든 지식 검색 구조입니다.
채택률을 만든 세 가지 장치
첫째, 실제 업무 질문으로 평가 세트를 만들었습니다. 요약, 번역, 검색 등 용도별로 모델 응답을 전문가가 정확성과 일관성 관점에서 평가했습니다.
둘째, 매일 회귀 테스트를 수행했습니다. 모델이나 검색 방식이 바뀌었을 때 어제 잘하던 질문을 오늘 틀리는지 확인하는 구조입니다.
셋째, 답변과 후속 문서는 사람이 검토합니다. Debrief가 회의 녹음에서 메모와 후속 이메일을 만들더라도 자문사가 최종 수정·확정합니다.
RAG의 품질은 “좋아 보이는 답변”이 아니라, 대표 질문 세트에서 어제보다 나빠지지 않았음을 반복해서 증명하는 능력입니다.
중소·중견기업용 평가 운영
문서 수가 적을 때 오히려 시작하기 좋습니다. 영업, 품질, 고객지원 등 한 부서를 골라 자주 묻는 질문 50개를 수집합니다. 각 질문에 정답 문서와 반드시 포함해야 할 핵심 사실, 허용하지 않을 답을 기록합니다.
| 평가 항목 | 질문 | 실패 예시 |
|---|---|---|
| 근거성 | 답이 승인된 문서에 근거하는가 | 출처 없는 추정 |
| 정확성 | 숫자·날짜·조건이 맞는가 | 오래된 가격·정책 |
| 완전성 | 필수 단계와 예외를 포함하는가 | 승인 절차 누락 |
| 권한 | 사용자가 볼 수 있는 문서만 썼는가 | 부서 외 기밀 노출 |
| 거절 | 근거가 없을 때 모른다고 하는가 | 그럴듯한 임의 답변 |
배포 전 평가 점수뿐 아니라 배포 뒤 질문별 실패 로그, 사람이 수정한 내용, 검색되지 않은 문서를 다시 평가 세트에 넣어야 합니다. 이것이 지식 AI의 개선 루프입니다.
높은 채택률을 목표로 하기 전에
사용률은 품질과 같지 않습니다. 회사가 사용을 강제하면 채택률은 높아질 수 있습니다. 실제 가치는 검색 시간, 답변 수정률, 업무 완료 시간, 오류 비용으로 확인해야 합니다.
또한 내부 지식에는 접근 권한이 있습니다. 검색 시스템이 문서를 찾을 수 있다고 해서 모든 직원에게 보여줘도 되는 것은 아닙니다. 문서 권한, 질문 로그, 보존 기간, 외부 모델의 데이터 처리 조건을 기술 설계와 함께 검토해야 합니다.
Morgan Stanley 사례의 핵심은 거대한 금융사가 최신 모델을 썼다는 사실이 아닙니다. 실제 질문, 전문가 평가, 매일의 회귀 테스트, 사람 검토를 하나의 운영 체계로 묶었다는 데 있습니다.
참고 자료
- OpenAI, Morgan Stanley uses AI evals to shape the future of financial services: https://openai.com/index/morgan-stanley/
- Morgan Stanley, Launch of AI @ Morgan Stanley Debrief: https://www.morganstanley.com/press-releases/ai-at-morgan-stanley-debrief-launch