9조(9조)

프로젝트 개요

기술개발 과제

국문 : 청각장애인을 위한 AR

영문 : AR Service for the Deaf

과제 팀명

Auditory Reality

지도교수

김민호 교수님

개발기간

2019년 9월 ~ 2019년 12월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 2013920018 김윤기(팀장)

서울시립대학교 컴퓨터과학부 2014920067 허재진

서울시립대학교 컴퓨터과학부 2015920072 장재은

서론

개발 과제의 개요

개발 과제 요약

◇ 음성인식을 통한 자막 출력

● 대화 시 화자의 음성을 자막으로 출력 ● 공공장소 및 공적인 장소에서도 사용 가능 ● 스마트폰 혹은 스마트 글래스에 자막 출력 ● 실시간 대화가 가능하도록 빠른 자막 출력 ● 영어 혹은 한국어, 숫자 구분 가능

 ◇ 주변 소음 인식으로 자신 주변의 위험 경보

● 화면 인식을 통해 환경 구분 ● 현재 측정된 데시벨과 주변 환경 평균 소음 비교 ● 특정 값이 넘어가면 위험 상황임을 감지 ● 소음이 들리는 방향 쪽으로 확인 할 수 있도록 방향 탐지

 ◇ 한국 영화 시청 시 기기에 자막 출력

● 영화 시작과 동시에 싱크에 맞춰 자막 생성 ● 작은 스마트 글래스를 이용 ● 영화와 자막을 동시에 볼 수 있게 해줌

 ◇ 동영상 녹화 후 동영상 자막 생성

● 청각장애인은 소리를 들을 수 없음 ● 동영상에서 소리를 따로 분리 ● 분리된 소리를 분석해 자막 생성

 ◇ 위험 상황 시 수화 경보

● 위 주변 소음 인식 방법 응용 ● 측정 소음 값과 과 주변 환경 평균 소음을 제외하여 값 계산 ● 계산된 값에 따라 주의 / 위험 구분 ● 주의 / 위험에 따라 수화를 다르게 하여 아바타에 적용

 ◇ 수화 모션 캡처

● 간단한 수화 동작들을 측정함 ● 디지털화해서 출력함

개발 과제의 배경

◇ 사회, 문화적 필요성

● 2014년 기준 대한민국 청각 장애인 수는 25만명이며, 이는 춘천의 인구가 26만명인 것을 감안하면 굉장히 높은 수치라고 할 수 있음. ● WTO 통계 자료에 의하면 전세계 3억 6천만명의 청각장애인이 있으며, 일상 생활에 있어서 어려움을 겪고 있음. ● 청각장애인을 위한 앱 개발은 그에 반해 상당히 저조한 수준 ● 기술의 발전에 의해 청력 손상의 경로도 다양해짐 ● 청력 손상의 경우 노인 뿐만 아니라 청년 및 중장년층에서도 나타남 ● 다양한 사회 친화적 기업 활동 및 정부활동을 통해 일부나마 배리어프리를 위한 기술 및 콘텐츠가 개발됨 ● 그러나 콘텐츠의 수가 절대적으로 부족. ● 배리어프리 친화적 기업 활동의 예 (현대 오토에버) ● 청각장애인의 일반적인 소통 방법은 수화나 독순술 ● 독순술이란 말하기를 입술, 얼굴, 혀의 움직임으로 아는 것 ● 독순술로는 단지 30 ~ 40% 정도의 이해만 가능

 ◇ 법적인 필요성

● 국가는 장애인차별금지 및 권리구제 등에 관한 법률」에 정당한 편의제공 의무가 있고, 장애인의 특성을 고려하지 않은 의사소통 양식을 강요하여서는 아니 된다고 하고 있음에도 불구하고 현실적으론 미약한 형편임.

 ◇ 기술적 필요성

● IT 기술 및 사용자 환경에 급변함에 따라서 사용자의 환경은 시각/청각/이동 제한이 발생할 수 있으며, 이와 같은 상황극복을 위해 사용자에 대한 지원 정보는 변경이 되어야 함. 또한, 이를 통해 최근 이슈가 되고 있는 증강기술에 대한 기술로 사용자 환경에서 발생할 수 있는 돌발 상황을 시각화하여 전달함으로써 유사시 발생하는 위기 상황에 대한 인지를 도움 ● 수화의 사용 인원이 굉장히 제한적 ● 현재 한국수어사전에는 10,000개 이상의 단어가 존재 ● 일일이 모션 모델링을 하는데 있어서 한계가 존재 ● 자막을 통해 구현할 경우 간단한 구현이 가능 ● 수화에 비해 접근성이 뛰어나 자막 위주로 개발하는 것이 현실적

개발 과제의 목표 및 내용

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

내용

완료작품의 평가

내용

향후계획

내용

특허 출원 내용

내용