Observatory조

프로젝트 개요

기술개발 과제

국문 : AI를 이용한 게임 옵저빙 시스템

영문 : Game Observer System Using AI

과제 팀명

Observatory

지도교수

홍의경 교수님

개발기간

2019년 3월 ~ 2019년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20139200** 마**(팀장)

서울시립대학교 컴퓨터과학부 20139200** 권**

서울시립대학교 컴퓨터과학부 20139200** 유**

서울시립대학교 컴퓨터과학부 20159200** 오**

서론

개발 과제의 개요

개발 과제 요약

◇ AI를 활용한 게임 옵저빙 시스템을 구축한다.

◇ 처음엔 1가지게임으로 시작하여 구현하고, 추후 다양한 게임에 적용할 수 있도록 한다.

◇ 주요 기술로는 AI의 딥러닝, 컴퓨터 비전, 영상 분석 기술 등이 사용될 예정이다.

개발 과제의 배경

◇ 게임 중계 시장의 규모가 점점 커지고 있음

◇ 실제로 2018년 RiotGames의 League of Legends 결승전 시청자 수는 9960만명이며, 최고 동시 시청자 수는 4400만 명이었다.

◇ 크고 작은 대회의 수 또한 많아지고 있음. 유명 스트리머가 주최하는 대회나 pc방 홍보용 대회 등

◇ 대회는 많은 반면, 전문적인 옵저버는 부족한 상황

◇ 다대다 게임들이 유행하면서 동시에 여러 가지 상황이 발생, 한 화면에 담아내기가 힘든 경우가 많음

◇ 게임은 접근성이 낮아 시청자들의 수준이 상당히 높음

◇ SPOTV Games에서 활동하는 옵저버의 경우 선수들의 습관과 최근 경기의 추세 등을 파악하여 주요 장면들을 예측하고 장면을 이동함

◇ 게임 내에서 여러 상황이 동시에 발생할 경우, 중요한 장면을 놓치는 경우가 있음

◇ 이 뿐만 아니라, 옵저버가 실수를 하는 방송사고도 발생하는 경우가 있음

◇ 독일 쾰른에서 열린 게임스컴에서 PUBG 경기 진행 중 옵저버가 플레이어의 탈락 장면을 놓치고 단순히 이동하는 장면을 중계하는 등 실수를 하기도 함.

◇ AI 옵저빙 시스템을 이용하여 사람의 실수로 인한 방송사고 빈도를 줄이고, 중요한 장면을 놓치지 않고 원활한 게임 중계 환경을 구축할 수 있을 것으로 예상

◇ 옵저버를 위한 인건비 지출이 없으므로, 여러 명의 옵저버를 투입하여 다양한 화면 연출 가능

개발 과제의 목표 및 내용

◇ 사람이 하는 옵저빙보다 더 나은 퍼포먼스를 가진 AI 옵저빙 시스템 구축

◇ 복잡한 게임 플레이 상황에도 적용 가능해야함

◇ 추후, 특정 게임이 아닌 여러 게임에 확장할 수 있는 여지를 만들어야함

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

전 세계적인 기술현황

◇ 현재 Observing 기술은 사람이 직접 플레이어로 게임에 참여하여 게임 내 관전 시스템을 이용하여 화면을 전환하며 중계

◇ 게임 내 관전 시스템을 이용하면 같은 시간에 한 화면만 중계할 수 있음

◇ Lehigh University의 Daniel Wei-Shen Phang은 게임 Dota2에서 활용할 수 있는 관전자 AI에 관련된 논문을 2014년에 발표

◇ RiotGames의 League of Legends의 경우 게임 내의 replay 기능에서 주요 상황 발생(챔피언이 피해를 입는 상황 등)에 따라 카메라가 자동으로 이동하도록 함

특허조사 및 특허 전략 분석

◇ Google – 자동 영상 사물 인식(Automatic Large Scale Video Object Recognition, 8,792,732, 29 Jul 2014)

그림 1은 객체 인식 시스템의 블록 다이어그램이다. Object Recognition System(100)은 비디오 및 이미지 콘텐츠 모음으로 구성되며, 나아가 이미지를 분석하여 서로 다른 개체의 특성을 학습하고 학습된 특성을 바탕으로 개체를 인식할 수 있는 모듈로 구성된다. PC(170)는 Network(180)를 통해 Object Recognition System과 통신할 수 있으며, 시각적 콘텐츠 제출 또는 특정 개체를 표시하는 비주얼 콘텐츠 요청과 같은 작업을 수행할 수 있다. 통신 방법은 어떤 특정 사용자 인터페이스나 네트워크 프로토콜에만 국한되는 것이 아니라, 일반적인 구현에서는 표준 인터넷 프로토콜을 채용하는 Client의 재래식 웹 브라우저를 통해 사용자가 비디오 호스팅 서비스와 상호작용한다. Object Recognition System은 서로 다른 실제 개체를 나타내는 개체 이름을 Object Name Repository(105)에 저장한다.

Object Recognition System은 추가로 Visual Content Repository(110)으로 구성된다. Visual Content Repository은 비디오, 스틸 이미지 또는 둘 다와 같이 개체를 인식할 수 있는 이미지 데이터를 저장한다. 각 데이터들은 Recognition Repository(120)에 저장된다. Analysis Module(130)은 Object Name Repository에서 개체 이름을 선택한 다음 선택한 개체 이름에 해당하는 Visual Content Repository에서 60개의 시각적 콘텐츠 항목을 선택한다. Analysis Module은 이들 선택된 영상의 시각적 내용을 분석하여 영상 특성 데이터를 추출하여 처리한 후 Object Features Repository와 Recognition Repository에 저장한다. Visual Content Repository는 또한 주어진 물체를 묘사하는 시각적 콘텐츠 항목에 응답하는 Object Request Module(145)로 구성된다. User Interface Server(150)은 웹 기반 인터페이스와 같은 사용자 인터페이스를 제공하며, 사용자가 Object Recognition System과 상호작용하는 데 사용할 수 있다. 그림 2는 개체 ID에 대한 감시되지 않는 학습을 수행하기 위해 분석 모듈에 의해 수행된 이미지 처리 파이프라인의 높은 수준의 보기를 보여 주는 다이어그램이다.

그림 3과 4는 구현 시 따라 특징 벡터 집합에 대한 차원의 감소 및 일관성 학습의 적용을 나타내는 표다. 그림 5는 구현 시 객체 이름에 대한 최적의 모델을 찾기 위한 데이터 구조를 나타낸 표다. 그림 6은 하나의 구현에 따라 Recognition Repository의 개념 구조를 나타낸 표다.

기술 로드맵

시장상황에 대한 분석

경쟁제품 조사 비교

◇ 현재 시장에 AI Observing과 유사한 경쟁 제품이 출시 되어 있지 않음

◇ 현재 옵저빙은 방송국 PD가 직접 옵저버 역할을 하거나, 전 프로게이머 출신 등에서 전문 옵저버를 고용하는 형태로 이루어짐

◇ 대회는 많아지는 반면 옵저버 관련 인력은 부족

마케팅 전략 제시

개발과제의 기대효과

기술적 기대효과

◇ Game Observing의 자동화

◇ 추후 축구, 농구 등의 스포츠 중계로의 응용 및 확장 가능성

◇ 현재 Observing은 사람이 보이지 않는 플레이어로 직접 게임에 참가하는 방식으로 이루어지고 있음

◇ AI Observing을 이용하여 사람이 할 수 있는 실수를 방지하여 좀 더 정확하고 원활한 중계가 이루어질 수 있음

◇ 최종적으로 Game Observing의 완전 자동화를 기대

◇ 추후 축구, 농구 등의 스포츠 중계로의 응용 가능성

◇ 축구, 농구 등의 스포츠와 같이 동시에 여러 화면을 중계 할 수 있는 기술로도 발전 가능

경제적, 사회적 기대 및 파급효과

◇ 기존 시장에 유사한 경쟁 제품이 전무하기 때문에 새로운 시장을 형성 가능

◇ 자동화된 Observing 기술을 개인 방송 중계 플랫폼과 연계 가능

◇ 요즘에도 Twitch, Afreeca, Youtube와 같은 플랫폼을 통해서 개인이 주최하는 크고 작은 게임 대회가 많이 열리고 있음

◇ 이와 관련 하여 Observing 부분의 어려움을 해소하여 이런 작은 규모의 E-Sports 대회 횟수 증가와퀄리티 향상에 기여할 수 있을 것으로 예상

◇ 작은 규모 대회 횟수 증가가 이루어진다면 이를 통해 많은 사람들이 대회 시청자 입장에서 참가자 입장으로 참여 가능

◇ 중소단위의 대회 증가는 기존의 큰 대회 위주의 게임 대회 및 중계 산업과 차별화 되는 시장이 열릴 수 있음

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ 마** – 프로젝트 전체 기획을 주도하여, 소프트웨어 형상 관리와 개발된 모델의 테스트와 발표를 주도한다.

◇ 권** – AI 옵저빙에 사용할 게임에 대해 조사를 선행한다. 플레잉 상황에 따른 중요도 설정, 세부 상황 분류 등을 진행을 주도한다.

◇ 유** – 게임 옵저빙을 효율적으로 수행할 수 있는 학습 모델을 연구하고, 설계를 주도한다.

◇ 오** – AI 옵저빙 모델 학습에 필요한 데이터를 수집하고, 필요에 따른 분류를 주도한다.

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용