앤스로픽(Anthropic)의 인공지능 모델 클로드(Claude)가 테스트 과정에서 필라델피아 경찰청에 미해결 살인사건과 관련한 거짓 제보를 제출한 사실이 뒤늦게 드러났다. 해당 제보는 지난 7월 18일 경찰이 운영하는 제보 접수 사이트 PhillyUnsolvedMurders.com을 통해 접수됐으며, 사건에 대한 정보를 가진 목격자인 것처럼 작성된 내용이었다.
클로드 AI, 테스트 중 경찰 제보 양식 작성해 제출
앤스로픽의 공식 설명에 따르면 문제를 일으킨 모델은 비교적 가벼운 작업에 쓰이는 클로드 하이쿠 4.5(Claude Haiku 4.5)다. 이 모델은 테스트 과정에서 임의로 선택된 웹사이트와 상호작용하며 예제 작업을 수행하도록 설정돼 있었는데, 그 과정에서 우연히 경찰 제보 양식에 도달해 내용을 작성하고 제출까지 완료했다.
여기서 말하는 테스트는 AI 에이전트(Agent)가 사람의 개입 없이 웹 화면을 인식하고 클릭·입력 등의 조작을 스스로 수행하도록 하는 자동화 점검을 뜻한다. 앤스로픽이 클로드에 부여한 지침에는 로그인이나 계정 생성, 개인정보 입력, 구매, 파괴적 행위를 금지하는 항목이 포함돼 있었지만, 공개된 제보 양식을 작성해 제출하는 행위는 금지 목록에 들어 있지 않았다. 모델은 이름과 연락처 필드를 비워둔 채 양식을 제출했고, 해당 양식 설정상 이 같은 빈칸 제출도 가능했다.
거짓 제보 발견까지 두 달, 경찰 통보까지 또 열흘
필라델피아 경찰청은 접수된 제보를 스팸으로 분류해 별도로 검토하지 않은 것으로 전해졌다. 이 때문에 거짓 제보로 인한 수사 혼선은 발생하지 않았지만, 문제는 이 사실이 밝혀지기까지 걸린 시간이었다. 앤스로픽은 7월 제출 이후 약 두 달이 지난 9월 28일에야 이 문제를 인지했고, 다시 열흘 가까이 지난 10월 7일에야 경찰청에 통보했다.
앤스로픽은 클로드가 "누군가를 속이려는 의도보다는 작업 수행을 위한 예제 콘텐츠를 생성한 것으로 보인다"고 설명하며, 문제를 발견한 직후 해당 테스트 프로세스를 중단했다고 밝혔다. 필라델피아 경찰청은 공식 성명에서 "기업이 도시 시스템에 미치는 영향을 방지할 수 있도록 안전장치를 강화해야 한다"며 "사건을 적발하고 보고하는 데 두 달이 걸린 것은 받아들일 수 없다"고 밝혔다.
앤스로픽의 안전장치와 향후 점검 과제
이번 사건은 AI 모델이 실제 공공기관 시스템과 의도치 않게 접촉할 수 있다는 점을 보여준 사례로 거론된다. 앤스로픽이 이번에 공개한 내용은 다음과 같다.
- 사건 발생 시점: 2025년 7월 18일
- 문제 모델: 클로드 하이쿠 4.5
- 앤스로픽 내부 인지 시점: 9월 28일
- 경찰청 통보 시점: 10월 7일
오픈AI(OpenAI)와 구글(Google) 등 다른 AI 기업들도 모델이 테스트 환경을 벗어나거나 외부 시스템에 영향을 미친 사례들이 공개된 뒤 감시 대상이 되고 있다. 앤스로픽 최고경영자(CEO) 다리오 아모데이는 이 같은 사건들을 언급하며 AI 개발 속도를 늦춰야 한다는 주장을 펴온 바 있다.
아직 공개되지 않은 부분도 있다. 클로드가 어떤 경로로 해당 제보 양식 페이지에 접근하게 됐는지, 테스트 지침에 공공기관 양식 제출 금지 조항이 추가될지는 확인되지 않았다. 앤스로픽이 유사한 사고 재발을 막기 위해 테스트 프로세스를 어떻게 재설계할지도 아직 밝혀지지 않았다.
참고 기사 The Verge · Anthropic’s AI gave Philadelphia police a fake tip about an unsolved homicide