소니는 자사 게임 콘솔 플레이스테이션(PS)의 인기 레이싱 게임 '그란 투리스모'를 실제 초고수 게이머를 꺾는 수준으로 플레이하는 인공지능 '그란 투리스모(GT) 소피'를 개발했다고 9일 (현지시간) 밝혔다.
체스와 바둑, 포커, 스타크래프트에 이어 이제 레이싱 게임에서도 인공지능이 인간을 앞선 것이다.
GT소피는 소니의 인공지능 자회사 소니AI와 그란 투리스모 개발사 폴리포니디지털(PDI), 소니인터랙티브엔터테인먼트(SIE)가 딥러닝 강화학습을 활용해 공동 개발했다. 이 연구 결과는 학술지 '네이처' 최신호에 게재됐다.
그란 투리스모는 실제 차량과 주행 환경을 사실적으로 구현한 현실감 있는 레이싱 게임으로 인기를 얻고 있다. 레이싱 게임은 빠르게 움직이는 주변 차량의 움직임을 살피고 신속하게 전략적 판단을 내리며, 동시에 극한 속도로 달리는 차량을 섬세하게 조종해야 한다. 또 운전과 경기 관련 규칙을 숙지해 적용해야 하고, 게임 안에서 다른 플레이어에 민폐를 끼치지 않는 매너도 갖춰야 한다.
이 때문에 레이싱 게임을 하는 인공지능 개발은 제한된 규칙 안에서만 경합이 이뤄지는 바둑이나 체스 같은 게임의 경우보다 훨씬 복잡하다. 스타크래프트 같은 게임은 바둑이나 체스보다는 복잡하지만, 전략 위주로 진행된다는 점에서 실제 환경의 제약을 반영하는 레이싱 게임에는 미치지 못 한다.
GT소피는 지난해 7월과10월 두 차례에 걸쳐 세계 최고 수준의 그란 투리스모 선수와 경기를 벌였다. 그간의 학습을 바탕으로 시험 경기에선 두 차례 모두, 정식 그란 투리스모 챔피언십 경기에서는 두 번째 이벤트에서 인간을 넘어섰다.
소니AI와PDI,SIE는 딥러닝 강화학습과 방대한 전산 인프라, 그란 투리스모 실제 게이머들의 데이터 등을 결합해GT소피를 훈련시켰다. 행동의 결과에 따라 긍정적 혹은 부정적 피드백을 주어 보상하는 강화학습에QR-SAC(Quantile-RegressionSoftActor-Critic) 등 인공지능이 규칙과 운전 기술을 보다 잘 학습하도록 하는 기법을 적용했다.
GT소피를 훈련시킨 강화학습 개념도 (자료=소니) 또SIE의 게임 클라우드 자원을 활용, 시뮬레이션을 통해GT소피를 훈련시키고 데이터를 수집할 수 있는 플랫폼을 운영했다. 이 플랫폼은 1천 대가 넘는PS4콘솔에서 데이터를 수집해 인공지능을 학습시켰다.
이같은 인공지능 기술을 바탕으로 소니는 새롭고 흥미로운 게임 경험을 제공할 수 있으리라 기대한다. 기타노 히로아키 소니AICEO는 "GT소피는 단지 인간보다 더 게임을 잘 하는 인공지능을 만들려는 것이 아니라 게임 이용자의 솜씨와 창의성을 높일 수 있게 하는 것이 목표"라고 말했다.
2020년 그란 투리스모 대회 결승진출자 에밀리 존스는 "경기 중GT소피가 한번도 보지 못한 방식으로 차선을 활용하는 것에 놀랐다"라며 "인공지능의 경기에서 많은 영감을 받았다"라고 말했다.
그란 투리스모 소니의 인공지능 기술은 나아가 실제 자율주행 차량에도 적용될 전망이다. 기타노CEO는 "GT소피가 게임 분야를 넘어 자율 경주와 자율 주행, 고속 로봇 등에도 새로운 가능성을 제시할 것"이라고 말했다. 소니는 올해CES에서 전기차 자회사 소니모빌리티 설립을 발표하고,SUV전기차 '비전-S02'시제품을 공개하기도 했다.
