뉴스
AI가 거짓말한 판례·법령, 확인 않고 인용하는 경우 많다 - 법률신문
LegalCrew
관리자
2026-06-24 10:12 ·조회수 5회
0
0
📎 출처: 법률신문원문 보기 →
생성형 인공지능(AI)이 만들어 낸 가짜 판례·법령을 법원에 제출했다가 적발되는 일이 전 세계에서 잇따르고 있다. 이를 바탕으로 법원·심판소가 판결·결정에서 AI 환각을 언급한 사건을 수집한 ‘AI 환각 사례 데이터베이스(AI Hallucination Cases Database)’도 등장했다. 이 데이터베이스는 2023년 2분기부터 약 40개국의 사례를 모았다.
이 사이트를 운영하는 다미앵 샤를로탱 프랑스 HEC 파리 경영대학원 선임연구원은 AI 환각이 법조계의 오랜 ‘인용 미확인’ 관행의 결과라고 봤다. 법조에서 확인하지 않고 문구를 인용해 온 습관이 AI를 사용하면서 표면화됐다는 것이다. 샤를로탱 선임연구원은 비변호사지만 국제공법과 중재 업무를 하고 있으며, 파리정치대 강사로도 활동하고 있다.
2025년 들어 가파른 증가
이 데이터베이스에 따르면 분기별 신규 건수는 2024년 4분기 25건에서 2025년 1분기 55건, 2분기 120건, 3분기 254건, 4분기 393건으로 증가했다. 누적 건수는 2026년 6월 21일까지 1,635건으로 집계됐다.
오류 유형은 존재하지 않는 판례·법령을 지어내는 ‘날조’가 2,812건으로 가장 많았다. 실재 판례를 엉뚱한 취지로 끌어다 쓴 ‘왜곡’은 1,295건, 판결문에 없는 문구를 인용한 ‘가짜 인용문’은 816건, 폐지·파기된 법·판례를 인용한 ‘낡은 정보’는 34건이었다.
국가별로는 미국이 1,143건으로 가장 많았고, 한국은 4건으로 집계됐다. 언급된 한국 사례는 모두 법률신문 보도가 출처였다<법률신문 4월 2일 자 2면 보도 참고>. 국내에서도 허위 사건번호나 존재하지 않는 판례를 제출했다는 점을 재판부가 판결문에 명시한 사례가 이어지고, 나홀로소송에서 챗GPT로 작성한 서면에 허위 판례를 반복 인용한 사례도 확인됐다.
운영자는 기자와의 이메일 대화에서 “미국 판사들은 법정에 선 변호사를 직접 제재하는 경향이 강한 반면, 프랑스 등에서는 AI 환각 사건이 변호사단체 내부에서 비공개로 처리되는 경우가 많아 판결문에 드러나지 않는다”고 했다.
또 해당 DB에는 AI 환각으로 변호사가 제재받은 사례도 담겼다. 미국 제9연방항소법원은 ‘Lnu v. Blanche’ 사건에서 허위 판례와 잘못된 인용이 담긴 서면을 낸 변호사 2명에게 각각 2,500달러의 금전 제재를 부과하고, 해당 법원에서 6개월간 소송수행을 정지했다.
"최종 검토는 전문가의 몫"
반형걸(사법연수원 37기) 대한변호사협회 '리걸AI 가이드라인 소위원회' 위원장은 “AI 환각으로 소비자가 손해를 보는 경우 책임을 어떻게 물을지 논의가 필요하다”고 말했다.
구태언(24기) 리걸테크산업협의회장은 “법률 전문가가 AI 결과물을 검증하지 않은 책임을 남에게 돌릴 수는 없다”며 “LLM의 법률 활용 수준을 높이기 위해서는 판결문 데이터 공개도 뒷받침돼야 한다”고 말했다.
출처 : 법률신문(https://www.lawtimes.co.kr)
이 사이트를 운영하는 다미앵 샤를로탱 프랑스 HEC 파리 경영대학원 선임연구원은 AI 환각이 법조계의 오랜 ‘인용 미확인’ 관행의 결과라고 봤다. 법조에서 확인하지 않고 문구를 인용해 온 습관이 AI를 사용하면서 표면화됐다는 것이다. 샤를로탱 선임연구원은 비변호사지만 국제공법과 중재 업무를 하고 있으며, 파리정치대 강사로도 활동하고 있다.
2025년 들어 가파른 증가
이 데이터베이스에 따르면 분기별 신규 건수는 2024년 4분기 25건에서 2025년 1분기 55건, 2분기 120건, 3분기 254건, 4분기 393건으로 증가했다. 누적 건수는 2026년 6월 21일까지 1,635건으로 집계됐다.
오류 유형은 존재하지 않는 판례·법령을 지어내는 ‘날조’가 2,812건으로 가장 많았다. 실재 판례를 엉뚱한 취지로 끌어다 쓴 ‘왜곡’은 1,295건, 판결문에 없는 문구를 인용한 ‘가짜 인용문’은 816건, 폐지·파기된 법·판례를 인용한 ‘낡은 정보’는 34건이었다.
국가별로는 미국이 1,143건으로 가장 많았고, 한국은 4건으로 집계됐다. 언급된 한국 사례는 모두 법률신문 보도가 출처였다<법률신문 4월 2일 자 2면 보도 참고>. 국내에서도 허위 사건번호나 존재하지 않는 판례를 제출했다는 점을 재판부가 판결문에 명시한 사례가 이어지고, 나홀로소송에서 챗GPT로 작성한 서면에 허위 판례를 반복 인용한 사례도 확인됐다.
운영자는 기자와의 이메일 대화에서 “미국 판사들은 법정에 선 변호사를 직접 제재하는 경향이 강한 반면, 프랑스 등에서는 AI 환각 사건이 변호사단체 내부에서 비공개로 처리되는 경우가 많아 판결문에 드러나지 않는다”고 했다.
또 해당 DB에는 AI 환각으로 변호사가 제재받은 사례도 담겼다. 미국 제9연방항소법원은 ‘Lnu v. Blanche’ 사건에서 허위 판례와 잘못된 인용이 담긴 서면을 낸 변호사 2명에게 각각 2,500달러의 금전 제재를 부과하고, 해당 법원에서 6개월간 소송수행을 정지했다.
"최종 검토는 전문가의 몫"
반형걸(사법연수원 37기) 대한변호사협회 '리걸AI 가이드라인 소위원회' 위원장은 “AI 환각으로 소비자가 손해를 보는 경우 책임을 어떻게 물을지 논의가 필요하다”고 말했다.
구태언(24기) 리걸테크산업협의회장은 “법률 전문가가 AI 결과물을 검증하지 않은 책임을 남에게 돌릴 수는 없다”며 “LLM의 법률 활용 수준을 높이기 위해서는 판결문 데이터 공개도 뒷받침돼야 한다”고 말했다.
출처 : 법률신문(https://www.lawtimes.co.kr)