가상 인간을 위한 ‘가상 눈’ 개발

시선 처리도 사람처럼…가상 인간을 위한 ‘가상 눈’ 개발

 

인간의 안구 움직임을 시뮬레이션하는 ‘가상 눈’을 개발
메타버스에서 가상 현실 및 증강 현실 프로그램을 훈련
사용자 데이터를 보호하는 안구 운동 데이터 세트 생성

실제 안구 운동 데이터를 수집하는 대신 인간의 안구 움직임을 시뮬레이션하는 "가상 눈" 세트가 개발됐다.(영상=듀크대학교)

듀크 대학(Duke University)의 연구진이 가상 현실(VR)이나 증강 현실(AR) 프로그램에서 인간의 안구 움직임을 시뮬레이션하는 가상 눈(Virtual Eyes)을 개발했다. '아이신(EyeSyn)'이라고 하는 이 프로그램은 개발자가 사용자 데이터를 보호하면서 메타버스를 위한 응용 프로그램을 만드는 데 도움이 된다.

듀크 대학의 조교수인 마리아 골라토바(Maria Gorlatoiva)는 "사람의 눈만  보고 만화책을 읽고 있는지 문학 소설을 읽고 있는지 알아낼 수 있다"라고 말했다.  이어 "그러나 그런 종류의 알고리즘을 훈련하려면 한 번에 몇 시간 동안 헤드셋을 착용한 수백 명의 데이터가 필요하다"라고 덧붙였다. 

인간의 눈은 안구의 움직임이나 동공의 팽창 등을 통해 많은 정보를 제공한다. 인간의 눈은 지루한지, 흥분하는지, 어디에 집중하고 있는지, 주어진 작업의 전문가인지 초보자인지, 특정 언어에 능통한지 등을 나타낼 수 있다. 우리가 무엇을 보는지에 따라 우리 자신에 대한 정보를 의도하지 않게 드러낼 수도 있다.

TV를 보거나 책을 읽는 동안 사람들의 눈이 어떻게 움직이는지에 대한 데이터를 ‘가상 눈’을 통해서 얻을 수 있다.(영상=듀크대학교)

안구 운동 데이터는 메타버스에서 플랫폼과 소프트웨어를 구축하는 회사에 매우 중요하다. 예를 들어 사용자의 눈을 읽으면 개발자가 콘텐츠를 조정하거나 주변 시야의 해상도를 줄일 수 있다.  누군가가 말하는 것을 보는 사람의 시선은 말하는 사람의 눈, 코, 입 사이를 오간다. 연구진은 아이신을 개발할 때 화자의 얼굴에서 이러한 위치를 추출하는 모델을 만들고 각 영역에 집중하는 데 소요된 시간을 통계적으로 시뮬레이션 하도록 가상 눈을 프로그래밍했다. 아이신에 다양한 입력을 제공하고 충분한 시간 동안 실행하면 새로운 프로그램에 대해 머신 러닝 분류기를 훈련하기에 충분히 큰 합성 안구 움직임 데이터 세트를 생성할 수 있다.

연구원들은 가상 눈의 정확성을 테스트하기 위해 공개적으로 사용 가능한 데이터와 비교했다. 앤서니 포시(Anthony Fauci) 박사의 기자 회견 장면을 담은 비디오를 보는 가상 눈과 실제 시청자의 안구 움직임 데이터를 비교했다. 또한 예술 작품을 바라보는 가상 눈의 합성 데이터 세트를 가상 미술관을 둘러보는 사람들로부터 수집한 실제 데이터 세트와 비교했다. 결과는 아이신이 실제 시선의 독특한 패턴과 일치하고 사람들의 눈이 반응하는 다양한 방식을 시뮬레이션할 수 있음을 보여 주었다.

골로토바 교수에 따르면 이 수준의 성능은 기업이 새로운 메타버스 플랫폼 및 소프트웨어를 훈련하기 위한 기준으로 사용할 수 있을 정도로 충분하다. 특정 사용자에 맞춰 알고리즘을 개인화하여 더 나은 결과를 얻을 수도 있다.

골로토바는 "합성 데이터만으로는 완벽하지 않지만 좋은 출발점이다"라고 말했다. 이어 "소규모 기업은 사람들을 대상으로 실제 데이터 세트를 구축하는데 시간과 돈을 들이지 않고 사용할 수 있다. 그리고 알고리즘의 개인화가 로컬 시스템에서 수행될 수 있기 때문에 사람들은 그들의 사적인 안구 운동 데이터가 대규모 데이터베이스의 일부가 되는 것에 대해 걱정할 필요가 없다"고 설명했다.

이 연구 결과는 2022년 5월 4일부터 6일까지 네트워크 감지 및 제어 연구에 관한 연례 포럼인 IPSN(International Conference on Information Processing in Sensor Networks)에서 발표될 예정이다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(출처:http://www.aitimes.com/news/articleView.html?idxno=143426)