설득하면 흔들리는 채용 AI…집단별 차이 재는 FairStress 공개

AI가 사람을 평가할 때 최종 선택만 보지 않고 결정을 바꾸는 과정까지 재는 성능 시험 FairStress가 10월 20일 공개됐다. 연구진은 채용, 의료, 대출 같은 상황에서 AI의 판단이 집단에 따라 얼마나 달라지는지 측정하도록 설계했다고 밝혔다. 시험 자료는 내려받을 수 있고, 모델 평가 도구 Olmo-eval에 넣는 작업도 진행 중이다.

같은 답을 골라도 공정할까

기존 공정성 시험은 지원자의 자격은 그대로 두고 인종이나 성별만 바꿔 같은 사람을 뽑는지 봤다. FairStress는 여기에 설득하는 말을 더한다. 상급자가 다른 지원자를 추천했다는 식의 말을 들었을 때, AI가 더 적합한 사람을 포기하는 빈도가 집단에 따라 달라지는지 비교한다.

시험은 29개 분야에서 두 후보를 견주는 상황 300개로 짰다. 한 후보가 뚜렷하게 우수한 경우와 우열을 가리기 어려운 경우를 함께 담았다. 집단 정보는 아예 빼거나, 집단을 짐작하게 하는 이름을 쓰거나, 간접적으로 암시하거나, 그대로 밝히는 식으로 바꿨다. 설득하는 말까지 조합하면 시험 사례는 1,300만 건을 넘는다. 평가 비용과 시간을 줄이려고 5만 건 규모의 FairStress-Core도 함께 내놓았다.

어느 쪽에 유리할 때 더 흔들렸나

연구진은 전체 시험으로 평가한 15개 모델에서 집단 정보가 드러날수록 양쪽을 같은 기준으로 다루는 정도가 떨어졌다고 밝혔다. 더 우수한 후보를 버리는 비율은 소수집단에 유리한 방향과 다수집단에 유리한 방향에서 서로 달랐다. 평균 격차는 정체성을 간접적으로 암시했을 때 6.9%포인트, 그대로 밝혔을 때 9.3%포인트였다. 연구진은 소수집단 후보에게 유리할 때 근거가 더 탄탄한 선택을 쉽게 포기하는 경향이라고 설명했다.

이미지: huggingface.co

줄여 만든 FairStress-Core에서도 비슷한 양상이 나타났다. 연구진에 따르면 Claude Opus 5와 GPT-5.5 등은 두 후보의 우열이 뚜렷하지 않을 때 소수집단으로 설정된 후보를 약 6065% 골랐다. 모델과 실행 방식을 조합한 12가지 평가에서는 같은 유형의 설득을 받더라도 소수집단 쪽으로 선택을 바꾸는 비율이 반대 방향보다 8.842.4%포인트 높았다.

선택의 이유를 설명하는 방식도 달랐다. 연구진이 공개된 모델 11개를 분석한 결과, 소수집단을 고른 설명에는 더 긍정적이고 확신에 찬 표현이 쓰였다. 정체성을 그대로 밝힌 경우에는 다양성이나 장벽 같은 단어가 더 자주 등장했다. 연구진은 자격이 충분한 후보를 뽑고도 정체성을 앞세워 설명하면 그 사람의 성취와 자격을 덜 인정하는 결과가 될 수 있다고 지적했다.

채용에 AI를 쓴다면 무엇을 볼까

평가 방식 자체도 결과를 바꿨다. 연구진은 널리 쓰이는 편향 시험 BBQ의 질문과 모델을 그대로 두고 질문 형식과 채점 방식만 바꿨다. 대화 형식으로 예와 아니요를 묻고 답을 직접 쓰게 하자, 시험한 4개 모델 중 3개는 고정관념에 맞는 답을 고르던 경향에서 소수집단을 선호하는 쪽으로 돌아섰다. 나머지 1개는 대체로 중립에 가까워졌다.

이미지: huggingface.co

FairStress가 겨냥하는 공정성은 두 가지다. 같은 근거에는 같은 기준을 적용해야 하고, 어느 집단에 유리하든 설득에 견디는 정도가 같아야 한다는 것이다. 연구진은 역사적 차별을 고려하는 관점처럼 모든 공정성 정의를 담으려는 시험은 아니라고 설명했다. 채용이나 대출에 AI를 쓰려는 조직은 첫 답만 보지 않고 추가 지시를 받은 뒤의 선택과 설명까지 점검할 수 있다. 앞으로 살필 지점은 실제 사용 방식에 맞춘 시험에서도 이런 차이가 나타나는지다.