뉴스
경찰·법원이 쓰는 AI, 가장 위험한 곳일수록 가장 불투명하다 - 디지털포용뉴스
LegalCrew
관리자
2026-05-18 11:07 ·조회수 12회
0
0
📎 출처: 디지털포용뉴스원문 보기 →
미국 RAND·형사사법위원회, 형사사법 AI 첫 전면 분류체계 발표
예측 치안·재범 평가·안면인식 등 고위험 도구, 투명성은 최하위
과거 차별 데이터 학습한 AI, 불평등을 수식으로 재생산
판사는 알고리즘 권고 '참고만'… 거버넌스 공백은 여전히 심각
저위험 행정 AI는 도입 부진, 고위험 예측 AI는 빠르게 확산
6대 정책 권고 제시… 확장보다 안전장치가 먼저
한국도 예외 없어… AI 거버넌스 설계 서둘러야
◇ 경찰이 당신의 미래 범죄를 예측한다
경찰이 누군가를 체포하기도 전에 그 사람이 범죄를 저지를 가능성이 높다고 AI가 점수를 매긴다. 판사는 피고인에게 형량을 선고하기 전에 알고리즘이 계산한 재범 확률을 참고한다. 교도관은 수감자의 교도소 내 불량 행동을 AI가 미리 예측한 결과를 바탕으로 관리 계획을 짠다. 영화 속 이야기가 아니다. 미국 형사사법 현장에서 이미 일어나고 있는 일이다.
문제는 이 AI들이 어떻게 작동하는지, 얼마나 정확한지, 어떤 사람에게 불리하게 작용하는지를 아는 사람이 거의 없다는 점이다. 미국 RAND 코퍼레이션과 형사사법위원회(CCJ)가 공동으로 2026년 5월 발표한 보고서 「형사사법을 위한 AI 분류체계」는 이 문제의 심각성을 처음으로 체계적으로 짚어낸 연구다. 경찰·법원·교도소·지역사회 감독 기관에서 사용 중이거나 도입을 검토 중인 AI 도구 전체를 5개 큰 범주, 34개 세부 항목으로 정리하고, 각각의 위험도와 투명성 수준을 매겼다. 한마디로 '형사사법 AI 지도'를 처음 그린 것이다.
◇ AI 도입 속도가 규칙 만드는 속도를 앞질렀다
보고서가 가장 먼저 지적하는 것은 속도의 불균형이다. 형사사법 기관들이 AI를 들여오는 속도에 비해 그 AI를 어떻게 써야 하는지, 문제가 생기면 어떻게 따져야 하는지를 정하는 규칙은 한참 뒤처져 있다. 미국 감사원(GAO)은 연방 기관들이 자신들이 쓰는 AI에 편향이 생기는 걸 막지 못하고 있으며, 그 AI가 어떻게 돌아가는지조차 공개하지 않는다고 이미 지적한 바 있다.
이러한 규칙의 공백이 특히 위험한 이유는 형사사법 AI의 결과가 단순한 추천이나 참고 정보에 그치지 않기 때문이다. 누군가가 구속되느냐, 보석금 없이 재판을 기다리느냐, 어떤 형량을 받느냐처럼 한 사람의 인생을 바꾸는 결정에 직접 영향을 미친다. 알고리즘이 틀렸을 때 그 피해를 되돌리기가 매우 어렵고, 잘못된 결과가 이후 다른 결정에도 연쇄적으로 파급된다.
◇ 위험한 결정일수록 AI는 더 불투명하다
이번 분류체계의 가장 충격적인 발견은 역설적인 사실이다. 개인의 자유와 안전에 가장 큰 영향을 미치는 고위험 영역에 오히려 가장 정교하고 가장 불투명한 AI가 집중돼 있다. 재판 전 구속 여부를 판단하는 위험 평가, 재범 가능성 예측, 보호관찰 위반 위험 산정, 예측 치안 프로그램, 안면인식 기술 등이 모두 이 범주에 해당한다. 보고서는 이 도구들을 형평성 위험 ‘높음’, 투명성 ‘블랙박스 또는 부분적 설명 가능’으로 분류했다.
반대로 법원 재판 일정 자동 관리, 사건 기록 추적, 알림 발송 같은 행정 업무용 AI는 위험도가 낮고 투명성이 높다. 그런데 아이러니하게도 바로 이 안전한 영역에서 AI 도입이 가장 느리다. 비용 문제, 개인정보 유출 우려, 담당자들이 어떤 AI를 써도 괜찮은지 확신을 갖지 못하는 것이 주된 이유다. 위험한 AI는 빠르게 퍼지고, 안전한 AI는 도입조차 못 하고 있는 셈이다.
◇ 과거의 차별이 AI 속으로 들어갔다
형사사법 AI가 가진 구조적 문제의 핵심은 학습 데이터에 있다. 재범 예측이나 예측 치안 같은 도구들은 과거의 체포 기록, 기소 이력, 전과 데이터를 먹고 자란다. 그런데 그 데이터 자체가 이미 인종·계층에 따른 불균형한 법집행의 결과물이다. 역사적으로 특정 인종이나 저소득층 거주 지역에 경찰력이 집중됐다면, AI는 그 패턴을 '정상'으로 학습해 같은 패턴을 반복하게 된다.
실제로 미국 로스앤젤레스와 시카고에서는 예측 치안 AI가 흑인·라티노 인구 밀집 지역에 경찰을 집중 배치하며 과잉 단속 패턴을 심화시킨 것으로 확인됐다. 결국 두 도시 모두 해당 프로그램을 폐기했다. 뉴저지 주 플레인필드에서는 유료로 사용 중이던 예측 치안 AI의 범죄 예측 적중률이 0.5%에도 못 미쳤다는 분석이 나왔다. 잘 작동하지도 않고, 특정 집단에 불공평하기까지 했다는 것이다.
재범 예측 도구 COMPAS를 연구한 결과에서는 더 충격적인 사실이 드러났다. 이 고가의 알고리즘 시스템의 예측 정확도가 형사사법에 대한 전문 지식이 전혀 없는 일반인의 직관적 판단과 별반 다르지 않았다. 복잡하고 불투명한 AI가 반드시 더 나은 결과를 만들어내지는 않는다는 의미다.
◇ 판사들은 AI 권고를 그대로 따르지 않는다
법원에서는 어떨까. 보고서에 따르면 판사들은 알고리즘의 권고를 구속력 있는 판단이 아닌 하나의 참고 자료로 취급하는 편이다. RAND의 별도 연구에서 판사의 15%는 알고리즘 권고를 40%도 채 따르지 않았고, 22%만 70% 이상 따르는 것으로 나타났다. 판사들은 알고리즘이 중시하는 것보다 전과 이력이나 혐의의 성격에 더 큰 비중을 두어 스스로 판단을 조정하는 경향이 있다.
2016년 미국 위스콘신 대법원은 'Loomis 사건'에서 COMPAS를 양형에 활용하되 구금 여부나 형량을 결정하는 결정적 근거로 써서는 안 되며, 사용했다면 판결문에 반드시 그 사실을 기재해야 한다고 판시했다. 미국 내 연방 판사들도 AI를 사용해 법률 문서를 작성한 경우 반드시 그 사실을 공개하고 내용을 직접 검증했다는 점을 밝히도록 하는 명령을 잇따라 내리고 있다.
◇ AI가 만든 가짜 판례로 벌금 맞은 변호사들
생성형 AI가 법조 실무에 빠르게 파고들면서 새로운 문제도 생겼다. 미국에서는 ChatGPT 같은 AI가 만들어낸 실제로 존재하지 않는 판례를 변호사가 그대로 법원에 제출해 제재를 받은 사례가 잇따르고 있다. 2025년 9월 캘리포니아 주는 이런 사례에 역대 최고 수준의 벌금을 부과했다. AI가 그럴듯하게 꾸며낸 거짓 정보를 전문가가 검증 없이 받아들인 결과다.
한편 교도소 내 수감자 전화 통화를 AI로 실시간 분석하는 시스템도 빠르게 확산되고 있다. 미국의 Securus Technologies는 수년치 수감자 통화 녹음 데이터로 AI 언어모델을 훈련시켜 범죄 모의 가능성이 있는 대화를 자동으로 표시하는 시스템을 운용 중이다. 인권 단체들은 동의 없는 감시, 개인정보 침해, 적법 절차 위반 가능성을 강하게 비판하고 있다.
◇ 6가지 해법, 핵심은 '먼저 안전장치를 갖춰라'
보고서는 6가지 정책 권고를 제시한다. 첫째, AI가 다루는 업무의 위험도에 맞춰 규칙의 강도를 달리해야 한다. 구속이나 형량처럼 사람의 자유를 좌우하는 결정에 쓰이는 AI에는 투명성과 검증 요건을 강화하고, 일정 관리 같은 행정 업무 AI에는 간소한 기준을 적용하면 된다.
둘째, 고위험 영역에서는 AI 사용 범위를 먼저 넓히기보다 안전장치를 먼저 갖춰야 한다. 편향 감사 체계, 인간 감독 절차, 피해 구제 경로 없이 예측·위험 평가 도구를 확대하면 가장 취약한 사람들이 피해를 입는다.
셋째, 저위험 행정 AI 활용에 대한 지침을 명확히 해 기관들이 안심하고 도입할 수 있도록 해야 한다. 넷째, 일회성 승인이 아니라 도구를 운용하는 기간 내내 성과를 추적하고 편향을 감사해야 한다.
다섯째, 현장 실무자들이 AI의 한계를 이해하고 결과에 의문을 제기할 수 있도록 교육해야 한다. 여섯째, 알고리즘만으로 유죄·양형·기소를 결정하는 일은 절대 허용해서는 안 된다. AI가 사법적 판단에 영향을 줬다면 그 사실을 판결문에 공개해야 하고, 피고인 측은 어떤 AI가 어떤 근거로 어떤 결론을 냈는지 알 권리가 있다.
◇ 한국도 같은 고민을 해야 할 때
이 보고서는 미국 형사사법 현장을 다루고 있지만 한국에도 무관하지 않다. 국내 경찰청은 범죄 예측 플랫폼과 AI 기반 수사 지원 시스템을 도입·검토해왔고, 법원에서도 법률 AI 도구 활용이 늘고 있다. 그런데 이 도구들이 얼마나 정확한지, 특정 집단에 불공평하게 작동하지는 않는지, 누가 어떻게 감독하는지에 대한 공개된 기준은 여전히 부족하다.
보고서가 제시하는 핵심 원칙은 단순하다. AI가 처리하는 결정이 사람의 자유에 영향을 미칠수록 더 투명해야 하고, 더 촘촘한 감독을 받아야 하며, 잘못됐을 때 따질 수 있는 방법이 있어야 한다. 기술을 도입하는 속도만큼 그 기술을 책임 있게 사용하는 규칙을 만드는 속도가 뒷받침돼야 한다는 것이다. 형사사법 AI는 효율을 높이는 도구가 될 수도 있지만, 설계와 감독이 잘못되면 불평등을 더 정교하게 만드는 수단이 될 수도 있다.
출처 : 디지털포용뉴스(https://www.dginclusion.com)
예측 치안·재범 평가·안면인식 등 고위험 도구, 투명성은 최하위
과거 차별 데이터 학습한 AI, 불평등을 수식으로 재생산
판사는 알고리즘 권고 '참고만'… 거버넌스 공백은 여전히 심각
저위험 행정 AI는 도입 부진, 고위험 예측 AI는 빠르게 확산
6대 정책 권고 제시… 확장보다 안전장치가 먼저
한국도 예외 없어… AI 거버넌스 설계 서둘러야
◇ 경찰이 당신의 미래 범죄를 예측한다
경찰이 누군가를 체포하기도 전에 그 사람이 범죄를 저지를 가능성이 높다고 AI가 점수를 매긴다. 판사는 피고인에게 형량을 선고하기 전에 알고리즘이 계산한 재범 확률을 참고한다. 교도관은 수감자의 교도소 내 불량 행동을 AI가 미리 예측한 결과를 바탕으로 관리 계획을 짠다. 영화 속 이야기가 아니다. 미국 형사사법 현장에서 이미 일어나고 있는 일이다.
문제는 이 AI들이 어떻게 작동하는지, 얼마나 정확한지, 어떤 사람에게 불리하게 작용하는지를 아는 사람이 거의 없다는 점이다. 미국 RAND 코퍼레이션과 형사사법위원회(CCJ)가 공동으로 2026년 5월 발표한 보고서 「형사사법을 위한 AI 분류체계」는 이 문제의 심각성을 처음으로 체계적으로 짚어낸 연구다. 경찰·법원·교도소·지역사회 감독 기관에서 사용 중이거나 도입을 검토 중인 AI 도구 전체를 5개 큰 범주, 34개 세부 항목으로 정리하고, 각각의 위험도와 투명성 수준을 매겼다. 한마디로 '형사사법 AI 지도'를 처음 그린 것이다.
◇ AI 도입 속도가 규칙 만드는 속도를 앞질렀다
보고서가 가장 먼저 지적하는 것은 속도의 불균형이다. 형사사법 기관들이 AI를 들여오는 속도에 비해 그 AI를 어떻게 써야 하는지, 문제가 생기면 어떻게 따져야 하는지를 정하는 규칙은 한참 뒤처져 있다. 미국 감사원(GAO)은 연방 기관들이 자신들이 쓰는 AI에 편향이 생기는 걸 막지 못하고 있으며, 그 AI가 어떻게 돌아가는지조차 공개하지 않는다고 이미 지적한 바 있다.
이러한 규칙의 공백이 특히 위험한 이유는 형사사법 AI의 결과가 단순한 추천이나 참고 정보에 그치지 않기 때문이다. 누군가가 구속되느냐, 보석금 없이 재판을 기다리느냐, 어떤 형량을 받느냐처럼 한 사람의 인생을 바꾸는 결정에 직접 영향을 미친다. 알고리즘이 틀렸을 때 그 피해를 되돌리기가 매우 어렵고, 잘못된 결과가 이후 다른 결정에도 연쇄적으로 파급된다.
◇ 위험한 결정일수록 AI는 더 불투명하다
이번 분류체계의 가장 충격적인 발견은 역설적인 사실이다. 개인의 자유와 안전에 가장 큰 영향을 미치는 고위험 영역에 오히려 가장 정교하고 가장 불투명한 AI가 집중돼 있다. 재판 전 구속 여부를 판단하는 위험 평가, 재범 가능성 예측, 보호관찰 위반 위험 산정, 예측 치안 프로그램, 안면인식 기술 등이 모두 이 범주에 해당한다. 보고서는 이 도구들을 형평성 위험 ‘높음’, 투명성 ‘블랙박스 또는 부분적 설명 가능’으로 분류했다.
반대로 법원 재판 일정 자동 관리, 사건 기록 추적, 알림 발송 같은 행정 업무용 AI는 위험도가 낮고 투명성이 높다. 그런데 아이러니하게도 바로 이 안전한 영역에서 AI 도입이 가장 느리다. 비용 문제, 개인정보 유출 우려, 담당자들이 어떤 AI를 써도 괜찮은지 확신을 갖지 못하는 것이 주된 이유다. 위험한 AI는 빠르게 퍼지고, 안전한 AI는 도입조차 못 하고 있는 셈이다.
◇ 과거의 차별이 AI 속으로 들어갔다
형사사법 AI가 가진 구조적 문제의 핵심은 학습 데이터에 있다. 재범 예측이나 예측 치안 같은 도구들은 과거의 체포 기록, 기소 이력, 전과 데이터를 먹고 자란다. 그런데 그 데이터 자체가 이미 인종·계층에 따른 불균형한 법집행의 결과물이다. 역사적으로 특정 인종이나 저소득층 거주 지역에 경찰력이 집중됐다면, AI는 그 패턴을 '정상'으로 학습해 같은 패턴을 반복하게 된다.
실제로 미국 로스앤젤레스와 시카고에서는 예측 치안 AI가 흑인·라티노 인구 밀집 지역에 경찰을 집중 배치하며 과잉 단속 패턴을 심화시킨 것으로 확인됐다. 결국 두 도시 모두 해당 프로그램을 폐기했다. 뉴저지 주 플레인필드에서는 유료로 사용 중이던 예측 치안 AI의 범죄 예측 적중률이 0.5%에도 못 미쳤다는 분석이 나왔다. 잘 작동하지도 않고, 특정 집단에 불공평하기까지 했다는 것이다.
재범 예측 도구 COMPAS를 연구한 결과에서는 더 충격적인 사실이 드러났다. 이 고가의 알고리즘 시스템의 예측 정확도가 형사사법에 대한 전문 지식이 전혀 없는 일반인의 직관적 판단과 별반 다르지 않았다. 복잡하고 불투명한 AI가 반드시 더 나은 결과를 만들어내지는 않는다는 의미다.
◇ 판사들은 AI 권고를 그대로 따르지 않는다
법원에서는 어떨까. 보고서에 따르면 판사들은 알고리즘의 권고를 구속력 있는 판단이 아닌 하나의 참고 자료로 취급하는 편이다. RAND의 별도 연구에서 판사의 15%는 알고리즘 권고를 40%도 채 따르지 않았고, 22%만 70% 이상 따르는 것으로 나타났다. 판사들은 알고리즘이 중시하는 것보다 전과 이력이나 혐의의 성격에 더 큰 비중을 두어 스스로 판단을 조정하는 경향이 있다.
2016년 미국 위스콘신 대법원은 'Loomis 사건'에서 COMPAS를 양형에 활용하되 구금 여부나 형량을 결정하는 결정적 근거로 써서는 안 되며, 사용했다면 판결문에 반드시 그 사실을 기재해야 한다고 판시했다. 미국 내 연방 판사들도 AI를 사용해 법률 문서를 작성한 경우 반드시 그 사실을 공개하고 내용을 직접 검증했다는 점을 밝히도록 하는 명령을 잇따라 내리고 있다.
◇ AI가 만든 가짜 판례로 벌금 맞은 변호사들
생성형 AI가 법조 실무에 빠르게 파고들면서 새로운 문제도 생겼다. 미국에서는 ChatGPT 같은 AI가 만들어낸 실제로 존재하지 않는 판례를 변호사가 그대로 법원에 제출해 제재를 받은 사례가 잇따르고 있다. 2025년 9월 캘리포니아 주는 이런 사례에 역대 최고 수준의 벌금을 부과했다. AI가 그럴듯하게 꾸며낸 거짓 정보를 전문가가 검증 없이 받아들인 결과다.
한편 교도소 내 수감자 전화 통화를 AI로 실시간 분석하는 시스템도 빠르게 확산되고 있다. 미국의 Securus Technologies는 수년치 수감자 통화 녹음 데이터로 AI 언어모델을 훈련시켜 범죄 모의 가능성이 있는 대화를 자동으로 표시하는 시스템을 운용 중이다. 인권 단체들은 동의 없는 감시, 개인정보 침해, 적법 절차 위반 가능성을 강하게 비판하고 있다.
◇ 6가지 해법, 핵심은 '먼저 안전장치를 갖춰라'
보고서는 6가지 정책 권고를 제시한다. 첫째, AI가 다루는 업무의 위험도에 맞춰 규칙의 강도를 달리해야 한다. 구속이나 형량처럼 사람의 자유를 좌우하는 결정에 쓰이는 AI에는 투명성과 검증 요건을 강화하고, 일정 관리 같은 행정 업무 AI에는 간소한 기준을 적용하면 된다.
둘째, 고위험 영역에서는 AI 사용 범위를 먼저 넓히기보다 안전장치를 먼저 갖춰야 한다. 편향 감사 체계, 인간 감독 절차, 피해 구제 경로 없이 예측·위험 평가 도구를 확대하면 가장 취약한 사람들이 피해를 입는다.
셋째, 저위험 행정 AI 활용에 대한 지침을 명확히 해 기관들이 안심하고 도입할 수 있도록 해야 한다. 넷째, 일회성 승인이 아니라 도구를 운용하는 기간 내내 성과를 추적하고 편향을 감사해야 한다.
다섯째, 현장 실무자들이 AI의 한계를 이해하고 결과에 의문을 제기할 수 있도록 교육해야 한다. 여섯째, 알고리즘만으로 유죄·양형·기소를 결정하는 일은 절대 허용해서는 안 된다. AI가 사법적 판단에 영향을 줬다면 그 사실을 판결문에 공개해야 하고, 피고인 측은 어떤 AI가 어떤 근거로 어떤 결론을 냈는지 알 권리가 있다.
◇ 한국도 같은 고민을 해야 할 때
이 보고서는 미국 형사사법 현장을 다루고 있지만 한국에도 무관하지 않다. 국내 경찰청은 범죄 예측 플랫폼과 AI 기반 수사 지원 시스템을 도입·검토해왔고, 법원에서도 법률 AI 도구 활용이 늘고 있다. 그런데 이 도구들이 얼마나 정확한지, 특정 집단에 불공평하게 작동하지는 않는지, 누가 어떻게 감독하는지에 대한 공개된 기준은 여전히 부족하다.
보고서가 제시하는 핵심 원칙은 단순하다. AI가 처리하는 결정이 사람의 자유에 영향을 미칠수록 더 투명해야 하고, 더 촘촘한 감독을 받아야 하며, 잘못됐을 때 따질 수 있는 방법이 있어야 한다. 기술을 도입하는 속도만큼 그 기술을 책임 있게 사용하는 규칙을 만드는 속도가 뒷받침돼야 한다는 것이다. 형사사법 AI는 효율을 높이는 도구가 될 수도 있지만, 설계와 감독이 잘못되면 불평등을 더 정교하게 만드는 수단이 될 수도 있다.
출처 : 디지털포용뉴스(https://www.dginclusion.com)