오픈AI, 18세 미만에 악용 가능한 무기 정보 제한…폭력 집착 징후엔 대화 자동 종료

오픈AI가 10월 30일(현지시간) ChatGPT의 폭력 예방 조치를 강화하겠다고 발표했다. 18세 미만 이용자에게는 무기 관련 정보를 더 제한하고, 폭력 위험이 드러나는 대화에는 더 일찍 개입한다는 방침이다. 오픈AI는 이번에 밝힌 보호 조치를 앞으로 몇 주 안에 적용하기 시작한다고 밝혔다.

어떤 질문에 답을 막나

모든 이용자에게 적용되는 제한부터 보자. 과거 대규모 공격을 그대로 재현하는 내용이 막힌다. 공격에 쓰인 무기와 장비, 공격자가 당시 이를 구한 경위를 설명하는 내용도 대상이다. 공격자의 악명을 키울 수 있는 상세한 피해 규모 비교도 제한한다. 나이나 질문하는 이유와 관계없이 적용되는 제한이다.

오픈AI는 질문 하나만 보지 않고 최근 대화에 나타난 경고 신호까지 살피는 방식도 개발하고 있다. 폭력 가능성을 짐작하게 하는 신호가 있으면, 악용될 수 있는 정보에 더 신중하게 답하도록 한다. 폭력이나 남에게 심각한 해를 끼친다는 생각에 집착하는 징후가 보이면 대화를 자동으로 끝내는 방안도 추진한다. 이런 종료가 반복되면 계정을 일시 중지하는 방안까지 검토한다.

청소년 계정은 무엇이 달라지나

18세 미만 이용자는 폭력 의도가 드러나지 않아도 추가 제한을 받는다. 무기나 보안 시스템에 관한 정보 가운데 실제로 악용할 수 있는 내용이 대상이다. 폭력을 예방하거나 상황을 진정시키고 도움을 요청하는 대화는 그대로 할 수 있다.

나이 판별은 가입할 때 한 번으로 끝나지 않는다. 오픈AI는 이용 행태 등 여러 신호를 계속 살펴 필요하면 이용자를 18세 미만 환경으로 옮긴다고 밝혔다. 성인이 청소년으로 잘못 분류됐다면 협력사 Persona에서 성인임을 확인한 뒤 추가 보호를 해제할 수 있다.

보호자 알림은 이미 작동하고 있다. 청소년 계정이 폭력 관련 정책 위반으로 비활성화되면 연결된 보호자 계정에 알림이 간다. 폭력 관련 대화가 반복돼 계정이 일시 중지될 때 보호자에게 알리는 기능은 아직 준비 중이다.

안전 보고서에는 무엇을 담나

오픈AI는 지역사회 안전 보고서를 정기적으로 내놓기로 했다. 첫 보고서는 2026년 하반기를 대상으로 2027년 초에 나온다. 이후에는 6개월마다 갱신할 예정이다. 보고서에는 폭력 위험을 찾아내고 검토해 대응하는 방식, 신원을 지운 사례, 대응책과 정책 변경 내용, 관련 데이터를 담을 계획이다. 오픈AI는 2026년 3분기에 법 집행기관에 넘긴 의뢰가 200건을 넘었다고 밝혔다.

이번 조치의 무게는 답변을 막는 데서 대화 흐름과 이용자 나이에 따른 개입으로 옮겨갔다. 이용자 입장에서는 받을 수 있는 정보의 범위와 대화를 계속할 수 있는지가 함께 달라진다. 앞으로 나올 보고서에서 실제 위험에 어떻게 대응했는지, 그 경험이 정책에 어떻게 반영되는지가 관전 포인트다.