MIT 팀은 AI 모델에게 아직 몰랐던 것을 가르칩니다.
인공지능(AI)의 적용은 빠르게 성장하고 있으며, 헬스케어, 통신, 에너지와 같은 고위험 산업과 우리 일상생활에 점점 더 깊숙이 얽히고 있습니다. 하지만 큰 힘에는 큰 책임이 따릅니다. AI 시스템은 때때로 실수를 하거나 불확실한 답변을 내놓을 수 있으며, 이는 중대한 결과를 초래할 수 있습니다.
MIT의 테미스 AI(Themis AI)는 CSAIL 연구소의 다니엘라 루스(Daniela Rus) 교수가 공동 설립하고 이끌고 있으며, 획기적인 솔루션을 제공합니다. 이들의 기술은 AI 모델이 '자신이 모르는 것을 알 수 있도록' 지원합니다. 이는 AI 시스템이 예측에 대해 확신이 없을 때 스스로 이를 표시할 수 있음을 의미하며, 피해가 발생하기 전에 오류를 방지할 수 있게 합니다.
이것이 왜 그렇게 중요할까요?
고도로 발전된 AI 모델조차도 때때로 소위 '환각(hallucinations)'을 보일 수 있습니다. 즉, 잘못되거나 근거 없는 답변을 제공하는 것입니다. 의료 진단이나 자율 주행과 같이 결정의 무게가 무거운 분야에서는 이것이 치명적인 결과를 초래할 수 있습니다. 테미스 AI는 불확실성 정량화(uncertainty quantification)를 적용하는 플랫폼인 캡사(Capsa)를 개발했습니다. 이는 AI 출력의 불확실성을 상세하고 신뢰할 수 있는 방식으로 측정하고 정량화합니다.
작동 방식은 무엇입니까?
모델에 불확실성 인식을 부여함으로써, 모델은 출력에 위험 또는 신뢰도 레이블을 제공할 수 있습니다. 예를 들어, 자율 주행 자동차는 특정 상황에 대해 확신하지 못함을 표시하고 그 결과 인간의 개입을 활성화할 수 있습니다. 이는 안전성뿐만 아니라 AI 시스템에 대한 사용자의 신뢰도 높입니다.
- PyTorch와 통합할 때 모델을 래핑하는 것은
capsa_torch.wrapper()출력이 예측과 위험 모두로 구성되는 방식으로 이루어집니다:
포티스 AI와 그 고객들에게 이 기술은 엄청난 진전을 의미합니다. 우리는 지능적일 뿐만 아니라 안전하고 예측 가능성이 높으며 환각(hallucination) 발생 가능성이 적은 AI 애플리케이션을 제공할 수 있습니다. 이는 조직이 더 나은 정보에 기반한 결정을 내리고 비즈니스에 중요한 애플리케이션에 AI를 도입할 때 위험을 줄이는 데 도움이 됩니다.
결론
MIT는 팀 AI의 미래가 단순히 더 똑똑해지는 것에만 국한되지 않고, 무엇보다도 더 안전하고 공정하게 기능하는 데 달려 있음을 보여줍니다. Fortis AI는 AI가 자체적인 한계에 대해 투명할 때 비로소 진정으로 가치 있어진다고 믿습니다. Capsa와 같은 고급 불확실성 정량화 도구를 사용하면 귀하도 그 비전을 실제로 구현할 수 있습니다.
