웹페이지에 숨은 악성 지시문, 공격받아도 일 끝내게 훈련

MBZUAI, 아마존, MIT 연구진이 10월 6일(현지시간) 웹에서 스스로 일을 처리하는 AI(에이전트)를 공격에 견디게 만드는 훈련법 ‘AdvSim2Real’을 논문으로 공개했다. 웹페이지에 숨겨진 악성 지시문에 버티도록, 공격과 AI가 풀 과제를 함께 바꿔가며 훈련하는 방식이다. 연구진은 코드와 평가 과제 150개, 학습 결과와 학습을 마친 모델도 함께 공개했다.

웹페이지가 AI를 속이는 공격, 왜 막기 어려울까

웹 AI는 사용자의 요청을 처리하려고 남이 만든 페이지를 읽고 조작한다. 이때 페이지에 심어둔 지시문이 AI를 원래 목표에서 벗어나게 할 수 있다. 이런 공격을 프롬프트 인젝션이라고 부른다. AI에게 주는 지시문(프롬프트)을 외부 페이지에 몰래 끼워 넣는 방식이다. 그렇다고 페이지 내용을 무시하면 작업에 필요한 값이나 눌러야 할 버튼도 읽지 못한다.

기존 방어법 가운데 일부는 미리 정해둔 공격 사례를 학습시키는 방식이었다. 연구진은 학습을 마친 모델에 맞춰 공격을 바꾸면 이런 방어를 피해 갈 수 있다고 설명했다. 공격자와 방어자를 함께 훈련한 앞선 연구에서도 AI가 풀 과제는 고정돼 있었다. AdvSim2Real은 공격은 물론 과제까지 AI의 실력에 맞춰 바꾼다.

공격과 과제를 함께 바꾸면 무엇이 달라질까

훈련은 고정된 모의 웹 환경에서 두 단계로 진행한다. 1단계에서는 과제 생성기와 웹 AI를 번갈아 학습시킨다. 2단계에서는 과제 생성기를 고정한 뒤 공격자와 웹 AI를 번갈아 학습시킨다. 과제 생성기는 AI가 절반 정도 성공하는 난도의 작업을 만든다. 공격자는 원래 성공하던 작업을 실패로 돌릴 페이지 속 지시문을 찾는다. 웹 AI는 새 공격과 이전 공격, 공격이 없는 정상 과제를 함께 학습한다.

웹 양식을 다루는 과제 150개로 시험한 결과, 공격이 없을 때와 있을 때 모두 완료율이 올랐다. 4B 모델의 정상 과제 완료율은 74.89%에서 81.33%로 높아졌다. 훈련 중 라운드마다 저장해 둔 공격자 모델 3개를 상대했을 때는 완료율 평균이 48.07%에서 57.48%로 올랐다. 공격을 막는 훈련을 하면서 원래 요청을 끝내는 능력도 함께 나아졌다.

학습에 쓰지 않은 Kimi-K3 공격자를 상대한 완료율은 23.00%에서 30.72%로 7.72%포인트 올랐다. 연구진은 같은 과제로 비교했을 때 최종 4B 모델이 참고용 Qwen3.5-9B와 공격 상황에서 비슷한 완료율을 보였다고 밝혔다.

실제 브라우저에서도 통할까

공격 방어 수치는 모두 하나의 모의 웹 환경에서 나왔고, 성공 여부는 모델이 판정했다. 연구진은 악성 지시문이 끼어든 뒤에도 그 과제 자체를 끝낼 수 있는지는 검증하지 않았다고 밝혔다. 실제 Chromium 브라우저 시험은 공격이 없는 조건에서 기본 모델과 1단계 학습 모델을 대상으로 했다. 엄격한 기준의 과제 성공률은 25.56%에서 44.44%로 올랐지만, 공격 방어를 위한 2단계 학습 모델은 실제 브라우저에서 평가하지 않았다.

웹 작업을 AI에 맡기는 이용자에게 중요한 것은 페이지의 악성 지시에도 원래 요청을 끝내는 능력이다. 이번 연구에서는 두 단계 훈련을 모두 마친 뒤 공격 상황의 완료율이 올랐다. 연구 코드는 공개 저장소에 올라와 있고, 기록된 1단계 학습 한 차례에는 96GB GPU 2개가 20시간 46분 동안 배정됐다. 실제 브라우저에서도 공격을 견디며 작업을 마치는지가 앞으로 확인할 대목이다.