AI 환각에 대비하는 디자인
1. 확신에 찬 오답이 만드는 문제
AI의 환각은 잘못된 정보와 검증된 사실을 같은 어조로 전달하면서 시작됩니다.
- AI는 근거가 부족하거나 사실과 다른 내용도 확신에 찬 문장으로 표현할 수 있습니다.
- 사용자는 내용의 정확성보다 말투의 확실성을 신뢰의 단서로 받아들이기 쉽습니다.
- 자연스럽고 매끄러운 답변일수록 검증 없이 받아들일 가능성도 커집니다.
2. 사용자가 직접 검증할 수 있게 만들기
정답처럼 보이는 화면보다 판단에 필요한 단서를 제공하는 화면이 중요합니다.
- 근거 제시
- 주장과 함께 인용문, 원본 문서, 출처 링크를 보여주어 사용자가 맥락을 확인할 수 있게 합니다.
- 불확실성 시각화
- 추정이나 근거 부족을 숨기지 않고 높음·중간·낮음 같은 신호나 자연스러운 설명으로 드러냅니다.
- 수치만 표시하기보다 무엇이 불확실한지도 함께 알려주는 편이 판단에 도움이 됩니다.
3. 잘못된 결과가 바로 실행되지 않게 하기
오류 가능성이 큰 순간에는 확인과 복구를 제품 흐름 안에 포함해야 합니다.
- 고위험 영역의 마찰 설계
- 약 복용량이나 법률·재무 판단처럼 피해가 큰 영역에는 전문가 상담 안내와 추가 확인 절차를 둡니다.
- 사람의 검증 과정
- AI가 만든 결과를 초안으로 취급하고, 전송이나 실행 전에 사람이 검토하고 승인하도록 설계합니다.
- ‘모르겠습니다’ 상태
- 근거가 부족할 때 답을 지어내는 대신 한계를 인정하고, 추가 정보 요청이나 다른 경로를 제안합니다.
- 이를 오류 메시지가 아니라 정상적으로 완성된 응답 상태로 다루는 것이 중요합니다.
4. 목표는 무조건적인 신뢰가 아닌 신뢰도 보정
사용자가 AI를 항상 믿거나 의심하게 만드는 것이 아니라, 상황에 맞게 신뢰하도록 도와야 합니다.
- 지나치게 매끄러운 인터페이스는 실제 능력보다 높은 신뢰를 만들 수 있습니다.
- 반대로 모든 답변에 경고를 붙이면 경고 피로와 불필요한 불신이 생깁니다.
- 제품 리뷰에서는 정확도와 함께 검증 단서, 실행 전 마찰, 사람의 승인, 실패 후 복구 경로가 균형을 이루는지 살펴볼 수 있습니다.
