"상대방 숨은 역할·의도까지 추론하는 AI 훈련법 개발"

UNIST "AI끼리 마피아 게임 시켜 학습법 검증…승률 24%P 향상"

UNIST 한승열 교수(왼쪽부터), 황예찬 연구원, 배상준 연구원. [울산과학기술원 제공. 재판매 및 DB 금지]

(울산=연합뉴스) 김용태 기자 = 다른 인공지능(AI) 말을 그대로 믿지 않고, 숨은 의도까지 추론해 판단하도록 AI를 훈련할 수 있는 기술이 나왔다.

1일 울산과학기술원(UNIST)은 인공지능대학원 한승열 교수팀이 상대 역할과 의도를 직접 추론하고, 그 판단에 맞춰 말하고 행동하도록 대형언어모델 AI를 훈련하는 '마르보'(MARBO·Multi-Agent Relational Belief Optimization)를 개발했다고 밝혔다.

연구팀에 따르면 여러 AI 에이전트가 협력하거나 경쟁할 때 서로를 일부러 속일 수도 있다.

마르보는 이러한 상황에서 상대의 숨은 역할과 의도를 파악하고, 자기 목표에 맞게 행동하고 말하도록 AI를 가르치는 학습법이다.

이 학습법은 먼저 축적된 대화와 행동을 토대로 상대가 어떤 역할이며 누구와 같은 편인지 추리하도록 가르친다.

이렇게 상대 정체와 관계에 대해 내린 추정을 '관계적 믿음'이라고 하는데, 함께 참여하는 AI 조합도 무작위로 바꿔 다양한 상황을 경험하게 한다.

또 상대 정체를 정확히 판단하고 목표에 유리한 행동을 선택한 경우에만 좋은 평가를 줘, 비슷한 상황에서도 그런 판단과 행동을 하도록 학습시킨다.

기존 학습법은 잘못 추리했어도 우연히 유리한 결과를 얻으면 좋은 평가를 줘서 그 선택을 반복하게 했는데, 마르보는 이 같은 일을 걸러낼 수 있다.

발언할 때는 상대가 자신을 어떻게 생각하는지도 고려하도록 가르친다. 상황에 맞는 말인지만 판단하지 않고 말을 들은 상대 판단이 자신에게 유리하게 바뀌었는지까지 확인한다.

'마르보'의 전체 학습 단계. [울산과학기술원 제공. 재판매 및 DB 금지]

연구팀은 마피아 게임 일종인 '웨어울프'와 '어몽어스'에서 AI끼리 게임을 하도록 해 학습법 성능을 검증했다.

마피아 게임은 참가자마다 아는 정보가 다르고 거짓말도 할 수 있는 상황에서, 상대방의 숨은 정체를 추리하는 사회적 추론 게임이다. '웨어울프'와 '어몽어스' 게임은 각각 시민 사이에 숨은 늑대인간과 우주선 임무를 방해하는 배신자를 찾아야 한다.

연구팀이 매개변수가 70억개인 언어모델을 마르보로 훈련한 뒤 웨어울프 게임을 시켰을 때 다섯 종류의 상대 AI와 겨룬 평균 승률은 65.6%를 기록했다.

이는 기존 학습법으로 훈련했을 때의 41.6%보다 24%포인트 높은 수치다. 매개변수가 2배인 모델을 기존 학습법으로 훈련에 기록한 승률인 64.0%보다도 높았다.

어몽어스 게임 경우에는 매개변수가 약 20억개인 모델은 승률이 36.4%에서 49.0%로, 약 40억개인 모델은 승률이 40.0%에서 59.0%로 올랐다.

한승열 교수는 "불완전하거나 기만적 정보가 존재하는 상황에서도 상대 역할과 관계를 추론해 제대로 된 판단을 할 수 있게 하는 기술"이라며 "향후 다중 로봇, 자율 드론, 인간-AI 협업 등 여러 에이전트가 서로의 상태와 의도를 이해하며 협력해야 하는 시스템 신뢰성과 적응성을 높이는 기반 기술로 확장할 수 있을 것"이라고 말했다.

연구 결과는 자연어 처리 분야 국제 학술대회인 'EMNLP'(Empirical Methods in Natural Language Processing)에서 공개됐다. 올해 대회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열렸다.

연구는 과학기술정보통신부 정보통신기획평가원과 한국연구재단 지원을 받았다.

yongtae@yna.co.kr