구글, 화면만 보고 도움 필요한 순간 아는 AI 시험 공개

구글 연구진이 화면을 보고 사용자에게 도움이 필요한지 판단하는 AI의 능력을 재는 성능 시험 GUIDE를 공개했다. 사용자가 지금 무엇을 하고 있고 무엇을 하려는지 AI가 알아채는지 평가한다. 연구는 2026년 CVPR 논문으로 발표됐고, 연구용 데이터와 평가 도구도 함께 공개됐다.

화면만 보고 의도를 알까

GUIDE는 사용자의 작업 상황을 이해하는 능력을 본다. 모델은 화면 영상의 일부를 보고 사용자의 행동 상태와 당장의 목표를 판단한다. 그다음 도움이 필요한지, 필요하다면 어떤 도움을 줘야 하는지 고른다. 사람이 작업하는 도중 AI가 말을 걸어야 할 순간을 알아보는 시험이다.

평가 자료는 초보 사용자의 작업 시연 120건이다. 소프트웨어 10종의 화면 녹화를 합치면 67.5시간 분량이다. 연구진은 자료를 모을 때 참가자에게 자기 생각을 말로 설명하게 했다. 평가받는 모델에는 이 설명을 주지 않았다. 모델은 사용자의 속마음을 듣지 못한 채 화면 단서만으로 판단해야 한다.

작업 자동화와 무엇이 다른가

기존 화면 기반 AI 연구는 클릭과 입력으로 작업을 자동화하는 데 초점을 맞췄다. GUIDE는 사용자가 직접 작업을 이어가는 상황을 다룬다. 평가 기준도 AI가 작업을 대신 끝내는 능력에서, 사람이 하려는 일과 도움이 필요한 순간을 이해하는 능력으로 옮겼다.

출처: 구글 (보도자료)

모델 8종 성적은 어땠을까

연구진은 글과 이미지를 함께 다루는 모델 8종을 평가했다. 비교 대상에는 Gemini, GPT, Claude, Qwen 계열이 포함됐다. 사용자의 행동 상태를 맞히는 정확도는 최고 44.6%였다. 어떤 도움을 줄지 고르는 정확도는 최고 55.0%였다. 연구진은 어느 모델도 모든 평가 항목에서 높은 정확도를 보이지 않았다고 밝혔다. 사용자의 상황을 파악하고 알맞은 도움을 고르는 일이 아직 어려운 과제라는 뜻이다.

사용자의 행동과 의도를 미리 알려주면 도움 관련 예측이 더 정확해졌다. 연구진에 따르면 이 정보를 추가로 받은 조건에서 정확도가 최대 50.2%포인트 높아졌다. 화면에 보이는 동작뿐 아니라 그 동작의 목적을 파악하는 능력이 도움 판단을 갈랐다.

내 작업을 돕는 제품은 언제쯤

이번에 공개된 것은 연구용 데이터와 평가 도구다. 이를 탑재한 소비자 제품의 출시일과 가격, 한국 출시와 한국어 지원 계획은 아직 나오지 않았다. 국내 이용자가 실제 업무에 들일 시기와 비용은 다음 제품 발표에서 확인할 부분이다.

GUIDE는 AI가 사용자의 작업을 돕는 데 필요한 이해 능력을 재는 기준을 내놓았다. 실험 범위는 초보자의 녹화 영상과 소프트웨어 10종에 그친다. 숙련도가 다른 사용자와 실시간 작업에서도 도움의 필요성과 내용을 제대로 판단하는지가 앞으로 지켜볼 점이다.