MIT 팀, AI 모델이 아직 알지 못했던 것을 학습시키다.
인공지능(AI)의 활용은 빠르게 확대되고 있으며, 우리의 일상생활은 물론 의료, 통신, 에너지와 같은 고위험 산업에도 점점 더 깊이 스며들고 있습니다. 그러나 큰 힘에는 큰 책임이 따릅니다. AI 시스템은 때때로 오류를 범하거나 불확실한 답변을 제공하며, 이는 중대한 결과로 이어질 수 있습니다.
이것이 왜 중요한가요?
많은 AI 모델은 아무리 고도화되어 있더라도 이른바 ‘환각’을 일으킬 수 있습니다. 즉, 잘못되었거나 근거 없는 답변을 내놓는 것입니다. 의료 진단이나 자율주행처럼 의사결정의 중요성이 큰 분야에서는 이러한 문제가 재앙적인 결과를 초래할 수 있습니다. Themis AI는 불확실성 정량화를 적용하는 플랫폼 Capsa를 개발했습니다. 이 플랫폼은 AI 출력의 불확실성을 세밀하고 신뢰성 있게 측정하고 정량화합니다.
어떻게 작동하나요?
모델에 불확실성 인식 기능을 학습시키면 출력 결과에 위험도 또는 신뢰도 라벨을 표시할 수 있습니다. 예를 들어 자율주행차가 특정 상황에 확신이 없다고 판단하면 이를 알리고 사람의 개입을 요청할 수 있습니다. 이는 안전성을 높일 뿐만 아니라 AI 시스템에 대한 사용자의 신뢰도 향상시킵니다.
- PyTorch와 통합할 때 모델 래핑은 다음을 통해 수행됩니다.
capsa_torch.wrapper()출력에는 예측값과 위험도가 모두 포함됩니다:
Fortis AI와 그 고객에게 이 기술은 엄청난 도약을 의미합니다. 이제 지능적일 뿐만 아니라 안전하고 예측 가능성이 더 높으며 환각이 발생할 가능성도 낮은 AI 애플리케이션을 제공할 수 있습니다. 이를 통해 조직은 더욱 근거에 기반한 의사결정을 내리고, 업무 핵심 애플리케이션에 AI를 도입할 때 발생하는 위험을 줄일 수 있습니다.
결론
MIT 팀 는 AI의 미래가 단순히 더 똑똑해지는 데 있는 것이 아니라, 무엇보다 더 안전하고 공정하게 작동하는 데 있음을 보여줍니다. Fortis AI는 AI가 자신의 한계를 투명하게 밝힐 때 비로소 진정한 가치를 갖게 된다고 믿습니다. Capsa와 같은 고급 불확실성 정량화 도구를 활용하면 이러한 비전을 실제로 구현할 수 있습니다.
