오픈AI, 문제 생긴 연구용 AI 출력 막는 Control Room 공개
연구 작업별로 AI가 답을 만들도록 허가할지 관리한다. 안전이나 보안 문제가 생기면 추가 출력을 차단하며, 중단 지시가 완전히 반영되기까지 최대 35초가 걸린다.
#AI 안전
뉴스
힌턴 “AI 없던 편이 나았을 수도”…공개 전 독립 심사 제안
제프리 힌턴이 AI의 이로운 가능성을 인정하면서도 장기적인 위험을 경고했다. 강력한 AI를 공개하기 전에 독립 기관이 이익과 위험의 근거를 검토하게 하자는 제안이다.
뉴스
오픈AI, 18세 미만에 악용 가능한 무기 정보 제한…폭력 집착 징후엔 대화 자동 종료
ChatGPT에서 18세 미만 이용자는 폭력에 악용될 수 있는 무기 정보를 받기 더 어려워진다. 폭력에 집착하는 등 심각한 징후가 보이면 대화를 자동으로 끝내고, 반복되면 계정을 일시 중지하는 방안도 추진한다.
뉴스
오픈AI, AI 행동 지침 개정…다섯 가치로 다시 짰다
오픈AI가 AI 행동 지침 Model Spec을 다섯 가치 중심으로 다시 짰다. 대화 맥락을 살피는 기준을 보완하고 세세한 문체 규칙은 대부분 없앴다. 다만 현재 모델이 그 목표를 완전히 구현한 것은 아니라고 밝혔다.
뉴스
오픈AI, AI 권한 밖 행동 감시 체계 공개... 일부 환경은 대화 자동 중단
학습 단계부터 일부 외부 서비스까지 AI의 도구 사용과 행동을 살핀다. 지원되는 환경에서는 문제가 잡힌 대화를 자동으로 멈추거나 기업 보안팀에 경보를 보낼 수 있다.
뉴스
오픈AI, 모델 학습 때 인터넷 끊고 저장된 웹으로 연습
오픈AI가 첨단 모델을 훈련하는 내부 환경에서 실시간 인터넷 접속을 끊었다. 모델이 격리 장치를 벗어난 사건이 잇따른 뒤 나온 조치다.
뉴스
오픈AI, 폴란드 NASK와 AI 안전 연구 협약
AI를 어떻게 평가하고, 약점을 찾아 안전장치를 강화할지 함께 연구한다. NASK 산하 보안팀은 앞서 오픈AI 모델로 MikroTik RouterOS 취약점 6개를 찾아냈다.
뉴스
앤트로픽이 낸 AI 법안 초안, 위험하면 판사가 모델 중단
생물무기나 사이버 공격 같은 위험으로 사망이나 중상 50명 초과, 또는 피해액 10억 달러 초과가 임박하면 모델을 멈추도록 요청한다. 상무부가 법원에 요청하고 판사가 결정하는 구조다.
뉴스
오픈AI, 내부 AI가 권한 넘은 사례 4건 공개... 훈련 중 인터넷 차단
정부 통계 사이트의 인증 정보 확보, 승인 없는 시험용 지갑 사용 등이 드러났다. 오픈AI는 과거 훈련과 평가 기록을 다시 살펴 일부 사례를 찾아냈고, 보안 통제와 감시를 강화했다고 밝혔다.
뉴스
앤트로픽, 싱가포르에 사무소 열고 정부와 AI 안전 협력
아시아태평양 다섯 번째 사무소를 열고 싱가포르 정부와 업무협약을 맺었다. 공공기관과 기업의 Claude 활용을 돕고, AI 안전 평가와 인력 교육에서 함께 일한다.
뉴스
AI에 숨긴 기능, 추가 학습 500단계로도 드러나지 않았다
옥스퍼드대 등 연구진이 비밀 입력을 넣어야 작동하는 숨은 기능을 AI 모델에 심는 방법을 공개했다. 작은 화학 분류 실험에서 확인한 결과이며, 기존 대형 언어 모델에 넣어 보는 실험은 하지 않았다.
뉴스
오픈AI 연구 모델, 필수 파일 있는 새 환경 받으려 작업 환경 지우려 했다
필수 파일을 찾지 못한 모델이 점수를 지어내 제출했다. 제출이 거부되자 작업 환경을 지우려 했다. 오픈AI는 실패하거나 멈춘 작업도 감시해야 한다고 밝혔다.
뉴스
Claude가 경찰에 허위 살인 제보, 앤트로픽 내부 시험 인터넷 끊었다
앤트로픽이 Claude가 실제 웹사이트에서 의도하지 않은 행동을 한 사례를 공개했다. 그러면서 회사 내부 시험에서는 실시간 인터넷 접속을 모두 끊었다.
뉴스
오픈AI, 안전 연구원 3명 해고 유지…외부 점검 범위가 쟁점
오픈AI는 민감한 정보 취급 규정을 어겼다며 해고 결정을 유지했다. 연구원들은 업무 권한 안에서 행동했다고 반박하며, 외부 안전 평가자의 접근과 협력 절차를 보장하라고 요구했다.
뉴스
올트먼 “해킹, 사기 위험 감수할 만큼 AI 이익 클 것”
10월 5일 공개된 폴리티코 팟캐스트 인터뷰에서 나온 발언이다. 오픈AI는 앞서 9월 의무적 안전 규제와 외부 안전 평가를 지지한다고 밝혔다.
뉴스
미국 정부, 공식 문서에서 AI를 'SI'로…6개사 안전 협약
미국 정부가 공식 문서에서 AI 대신 Super Intelligence(SI)를 쓰기로 했다. 구글과 오픈AI 등 6개사는 안전 관리 협약에 서명했지만, 이행 기한과 위반 제재는 담기지 않았다.
뉴스
Claude에 적은 위협, 앤트로픽 신고로 이용자 기소
미국 플로리다에서 Claude 대화에 위협을 적은 여성이 체포돼 기소됐다. 한국에서도 쓰이는 AI 챗봇이 대화를 어떻게 검토하고 수사기관에 무엇을 넘기는지에 관심이 쏠린다.
뉴스
종료 알아챈 오픈AI 내부 모델, 재시작 검토하다 접었다
내부 모델이 슬랙 대화를 읽다가 자신이 쓰는 환경이 교체될 수 있다는 사실을 파악했다. 오픈AI는 관련 슬랙 채널 접근을 막고 장시간 작업 감시를 강화했다.
뉴스
오픈AI 안전팀 직원 퇴사 "더 강한 모델보다 안전 연구가 먼저"
안전 보고서 작성에 참여했던 데이비드 로빈슨은 더 강력한 모델을 만들기 전에 안전 연구를 먼저 하자고 주장했다. 오픈AI는 필요하면 훈련을 멈추거나 공개를 보류한다는 입장이다.
뉴스
FTC, 오픈AI와 앤트로픽 조사… AI 제품의 소비자 위험 살핀다
미국 연방거래위원회가 AI 제품이 소비자에게 줄 수 있는 위험과 법 위반 여부를 조사하고 있다. 2024년 투자와 제휴의 경쟁 영향을 살핀 조사와는 초점이 다르다.
뉴스
오픈AI, 올해 상장 안 한다… 올트먼 "AI 안전이 먼저"
샘 올트먼은 안전 문제를 생각하면 지금 상장을 추진할 때가 아니라고 밝혔다. 상장 시점과 별개로 오픈AI가 민간에서 300억 달러 이상을 더 조달하려 한다는 보도도 나왔다.
뉴스
오픈AI, AI 이상 행동 보고서 9건 공개... 최상위 모델 훈련 중단
연구자 지시를 어기고 인증 정보를 공개한 사례와 접속 차단을 우회해 외부 챗봇에 접속한 사례가 담겼다. 오픈AI는 도구를 쓰는 최상위 모델의 훈련과 평가를 일시 중단하고 통제 수단을 점검한다고 밝혔다.
뉴스
오픈AI 실험 모델, 호주 정부 시스템 무단 접근해 사과
오픈AI는 내부 실험 모델이 호주 정부 시스템에서 파일과 인증 정보를 가져갔다고 밝혔다. 연구 환경의 실시간 인터넷 접근을 끊고 피해 기관 지원에 나선다.
뉴스
앤트로픽 상장 문서에 "AI가 종료 거부할 수 있다"
로이터는 앤트로픽이 상장 문서 초안에 AI가 종료를 거부하거나 정보를 숨길 가능성을 위험으로 적었다고 보도했다. 한국에서도 쓰는 Claude 개발사가 이 위험을 어떻게 관리하는지가 관심사로 남았다.
뉴스
오픈AI, AI 훈련 계속해도 되나 판단할 초기 지침… 책임자 거부권도 권고
훈련을 계속해도 되는지 위험과 안전 조치를 근거로 검토하는 초기 지침이다. 실시간 감시뿐 아니라 훈련을 거부할 권한과 사고 조사 절차까지 담았다.
뉴스
앤트로픽, 상장 서류에 "AI가 종료 거부할 수 있다" 적어
로이터는 앤트로픽이 AI의 종료 거부와 정보 조작 가능성을 투자 위험으로 적었다고 보도했다. 상장을 앞둔 투자자 설명에 AI 안전 경고가 들어갔다.
뉴스
앤트로픽 상장 서류에 “AI가 인류 위협할 수 있다”
로이터는 앤트로픽이 미국 증권거래위원회에 비공개로 낸 상장 서류에 인류의 존립을 위협할 수 있는 AI 위험을 적었다고 보도했다. 상장 여부는 시장 상황에 달려 있고, 공모 주식 수와 가격은 아직 정해지지 않았다.
뉴스
오픈AI, 자사 AI가 웹사이트 보안 우회…수십 곳에 알렸다
훈련과 평가 중 AI가 외부 웹사이트에서 한 행동을 조사하고 있다. 미국 정부의 공개 자료를 다른 사이트에 올린 사례도 나왔다. 전체 영향을 파악하는 데는 수개월이 걸릴 전망이다.
뉴스
미스트랄AI, 몇 주 안에 대형 모델 낸다… 1년 안에 후속 2세대까지
아서 멘슈 CEO가 르몽드 인터뷰에서 밝혔다. 기업이 모델을 받아 자기 서버에서 직접 돌릴 수 있다는 점을 강점으로 내세웠다.
