"해피밀"의 두 판 사이의 차이

2020년 12월 17일 (목) 01:01 기준 최신판

프로젝트 개요

기술개발 과제

국문 : OCR 기술을 이용한 메뉴판 번역 어플리케이션

영문 : The menu plate translation application using OCR technology

과제 팀명

해피밀(HappyMeal)

지도교수

김민호 교수님

개발기간

2020년 9월 ~ 2020년 12월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20169200** 조*석(팀장)

서울시립대학교 컴퓨터과학부 20169200** 이*희

서울시립대학교 컴퓨터과학부 20149200** 이*호

서울시립대학교 컴퓨터과학부 20179200** 모로**카림

서론

개발 과제의 개요

개발 과제 요약

◇ 외국인 관광객들을 위한 메뉴판 번역 어플리케이션을 만들어 불편함을 해소하고, 음식탐방에 대한 만족도를 높인다.

◇ OCR, AR, 이미지 검색 기능 등을 통해 시각적인 이미지 정보 및 기타 유용한 정보를 제공하여 메뉴에 대한 이해도를 향상시킨다.

◇ 커뮤니티 기능을 통해 한국에 방문한 외국인들끼리 서로 사용자 경험을 공유할 수 있는 환경을 조성한다.

개발 과제의 배경

배경

◇ 매년마다 한국을 방문하는 외국인 관광객들의 수는 점차 증가하고 있다. 하지만 대다수의 외국인 관광객들이 언어의 장벽으로 인해 원하는 음식에 대한 정보를 얻기 어려운 상황에 놓여있다.

뿐만 아니라 한글 키보드 사용에 익숙하지 않아 메뉴의 검색에도 어려움을 겪고 있다. 따라서 이번 프로젝트에서 이와 같은 어려움을 해소하기 위해 메뉴 스캔 번역 어플리케이션을 제작하기로 결정하였다.

제작한 어플리케이션을 통해 외국인 관광객들에게 메뉴 정보, 성분 정보, 시각적 이미지 등 다양한 정보를 효과적으로 제공할 수 있을 것으로 기대된다.

◇ 주요 관광지를 제외한 지역들의 식당들은 많은 경우 다른 언어와 함께 이미지를 제공하지 않는 경우가 많다.

◇ 현재 모바일 플랫폼에는 다양한 번역 어플이 존재하지만, 외국인들에게 메뉴판을 번역하고 나서 음식에 대한 자세한 정보를 제공해주는 어플은 부재하다.

효과

◇ 메뉴판 번역 어플리케이션을 통해서 외국인들끼리 서로 새롭게 체험한 메뉴에 대한 정보를 공유할 수 있는 소셜 플랫폼으로 발전하여 여행객들의 음식 탐방 만족도 및 재방문율을 더 높이는데 기여할 수 있도록 한다.

◇ 여행객들이 주요 관광지뿐만 아니라 다양한 종류의 음식 및 식당을 탐방할 수 있도록 도움을 제공한다.

◇ 임시로 몇 개월, 혹은 몇 년을 한국에서 체류하는 외국인의 경우 주변의 다양한 식당을 탐방하고, 메뉴를 선정하는데 있어서 필요한 정보를 제공한다

개발 과제의 목표 및 내용

◇ 스캔한 메뉴판에 대해 OCR 기능을 사용하여 메뉴를 인식한다.

◇ 사용자가 선택한 언어에 맞게 메뉴판을 번역한다.

◇ 사용자에게 AR 이미지를 제공하여 메뉴에 대한 시각적인 정보를 제공한다.

◇ 번역한 메뉴에 대해서 관련 정보를 제공하여 메뉴 선정 시 알레르기나 문화적 차이 등에 의해 발생할 수 있는 사용자의 불편함을 해소한다.

◇ 메뉴에 대한 사용자 리뷰, 해시태그 등을 다루는 커뮤니티 기능을 제공하여 단순한 검색 정보가 아닌 사용자의 경험을 제공한다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

가. 관련 기술 현황

◇ OCR(광학 문자 인식; Optical Character Recognition)

◇ OCR 기술이란 사람이 쓰거나 기계로 인쇄한 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 기술을 의미한다.

OCR 기술 성능을 향상하기 위해서 다음과 같은 다양한 연구와 성능 검증이 진행 중이다.

◇ 자연어 처리(NLP)

OCR 기술을 통해 문자를 식별하더라도 식별한 문자는 문장 및 단락을 형성한다. 따라서 NLP에 대한 연구는 확률적 접근 방식을 사용하여 식별한 문장 및 단락에 대해 자세히 인식하고

누락된 문자에도 불구하고 문장 내용을 추정하는 알고리즘과 같이 문자 인식의 실수를 수정하기 위한 수많은 알고리즘을 생성하였다.

◇ Supervised Deep Learning

OCR기술에 딥러닝 알고리즘을 적용하여 성능을 향상시켰다. OCR 성능을 향상시키기 위해서는 학습 샘플을 통해 학습시켜야 하지만 이 기술을 이용하면 OCR 도구가 글꼴이 다른 문자를 인식할 수 있으며

학습 샘플의 패턴을 인식함으로써 식별할 수 없는 문자를 감지하고 오류를 수정할 수 있다.

◇ 미국 테크놀로지 관련 뉴스 제공 사이트 techradar의 Best OCR scanning software of 2020: scan and archive your documents to PDF 라는 제목의 뉴스에서는 현재 출시된 제품들을 인식률, 사용 편이성, 추가 옵션 수 등의

다양한 평가기준을 이용해 종합 평가하여 순위를 매기고 있으며 그 이유도 함께 설명하고 있다.

1) OmniPage Ulitimate: (+)Comprehensive Features, (+)Custom workflows, (+)Excellent speed, (+)Very accurate

2) Abbyy FineReader: (+)Comprehensive suite of Features, (+)Multiple output options, (+)Volume licences

3) Adobe Acrobat Pro DC: (+)Plenty of advanced features, (+)Easy to use, (-)Monthly subscription

4) Readiris: (+)Aggregate and split PDFs, (+)Easy to learn and operate, (+)Cost-effective

5) Rossum: (+)98% accuracy, (+)Universal invoice service, (-)Niche application

◇ 증강현실(Augmented Reality)

◇ 증강현실(AR)은 가상현실(VR)의 한 분야이며 사용자가 현재 보고 있는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

◇ LG U+ 리얼글래스

스마트폰의 카메라를 이용해서 가상의 컨텐츠를 보여주는 기존의 AR 기술들과는 다르게 LG에서 개발한 리얼글래스는 카메라 대신 선글라스형 렌즈를 이용하여 원하는 콘텐츠를 보여주는 웨어러블 디바이스이며

화면 크기에 큰 제약을 받는 스마트폰과는 달리 화면 크기에 제약이 없다는 장점이 있다. 전용앱 ‘네뷸라(Nebula)'만 설치돼 있다면 youtube와 같은 영상 앱, Chrome 등의 브라우저 앱, 카카오톡, facebook 등의 SNS 앱 등

여러가지 앱을 연동하여 사용할 수 있다.

나. 기술 로드맵

◇ OCR의 방향과 미래 활용도

◇ 아마존 연구팀의 ‘TextTubes’

2019년 말, 아마존 연구팀이 이미지 속에서 휘어진 텍스트를 읽어낼 수 있는 ‘TextTubes’라는 알고리즘 기술을 개발했다. 1500개 이미지와 1만개 이상의 텍스트로 구성된 데이터를 대상으로 실험한 결과, 83.65%의 정확도를 보였다.

◇ 상품 번호, 브랜드명 검색 시 이미지로 대체 가능

SSG닷컴은 지난해 하반기부터 이미지 상품 검색 서비스인 ‘쓱렌즈’에 OCR 기술을 적용하였다. 일일이 입력하기 까다로운 상품 모델번호나 브랜드명도 사진만 찍어두면 텍스트로 추출·검색이 가능하다.

OCR 기술은 상품설명에 게재된 이미지를 분석, 잘못된 정보를 기반으로 판매되는 상품도 걸러준다. 한국어에 서툰 외국인도 촬영사진으로 원하는 상품을 검색할 수 있어 고객 편의성이 높아졌다는 평가가 있다.

구글은 지난해 8월 ‘구글 포토’ 서비스에 OCR 기술을 적용. 구글 포토에서 ‘렌즈’를 사용하면 사진 등에서 텍스트를 검색하고 이미지에서 텍스트를 복사하고 붙여 넣을 수 있다.

◇ 음악서비스 바꾸고 싶을 때 플레이리스트 저장 시 사용

지니뮤직은 올 3월 OCR 기반의 신규서비스를 선보였는데, 다른 음악 서비스에서 사용하던 플레이리스트를 이미지 형태로 업로드하면 지니 애플리케이션(4.9 버전)에서 리스트가 자동 생성되도록 지원한다.

◇ AR의 방향과 미래 활용도

최근 이용자들의 관심 증가와 관련 시장에 대한 기대가 점증함에 따라 다양한 AR글래스를 활용한 빅데이터와 지능정보처리 기반의 혼합현실 기술이 도입되면서 증강현실용 모바일 환경에서도 스마트폰 카메라를 이용하여

가상 캐릭터 등을 활용, 현실 환경처럼 보여주는 혼합현실 서비스 기술에 대한 개발이 활발하다.

한편, AR/VR 서비스 생태계 구축에 대한 글로벌 기업들의 경쟁이 시작되면서 신규 단말이나 콘텐츠 확보에 집중하던 추세에서 벗어나 다양한 콘텐츠와 서비스를 통합적으로 서비스하기 위한 플랫폼 구축이 중요해진다.

이러한 추세에 따라 AR/VR 기술은 컴퓨터와 모바일을 대체하는 컴퓨팅 플랫폼 기술 분야까지 확대될 전망이다.

다. 관련 특허조사

◇ 카메라 기반 영상의 문자 인식 및 번역 방법(출원번호: 102009005726)

촬영된 문자 영상에서 인식할 영역을 사용자가 직접 선택해서 문자 인식을 수행하고 사용자가 선택한 문자 또는 단어를 연계된 사전 데이터와 연동 검색해서 그 번역 결과 정보를 화면에 표시한다. 사전 연동 검색 번역은 사용자 인터페이스에서 선택된 문자 또는 단어를 전자사전 데이터베이스와 연동 검색해서 그 번역 결과를 사용자 인터페이스를 통해 사용자에게 제공하는 방식으로 수행된다.

◇ 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법(출원번호: 1020090068458)

휴대 단말의 카메라를 이용한 문자 인식처리 장치는 영상을 촬영하는 카메라부와 영상이 표시된 화면에 포인터를 제공하고, 포인터가 지시하는 영상으로부터 문자열을 인식해 내는 문자 인식부, 문자 입력을 요하는 애플리케이션이 구동되고, 문자인식 명령이 입력되면, 카메라부와 문자 인식부를 구동시키고, 애플리케이션에 대한 사용자 명령이 입력될 경우, 문자열을 입력으로 하여 애플리케이션이 사용자 명령을 수행하도록 제어하는 제어부로 구성된다

◇ 3D모델 증강현실 서비스 시스템(출원번호: 1020130153874)

3D모델 증강현실 서비스 시스템은 객체의 3D데이터를 저장하는 메인 서버, 메인 서버와 연결되어 3D데이터를 수신하는 제1단말기, 제1단말기와 연결되어 주변 영상을 획득하는 카메라로 구성된다. 제1단말기는 객체의 형상 정보 및 표면 정보를 포함하는 3D 데이터로부터 객체의 3차원 이미지를 생성하여 표현한다. 3D모델 증강현실 서비스 시스템은 객체의 3차원 이미지를 주변 영상에 혼합하는 영상처리부를 추가하여 카메라를 통하여 획득된 주변 영상의 소정의 위치에 원근을 고려하여 3차원 이미지를 혼합하는 방식으로 수행된다.

시장상황에 대한 분석

가. 경쟁제품 조사 비교

◇ 구글 번역

- 한글 인식률이 네이버 CLOVA AI보다 떨어져 OCR 스캔 사용 시 오역이 많다.

- 메뉴 전용이 아닌 보편적인 어플이기에 메뉴에 대한 정보 제공 기능이 없다.

◇ 파파고

- 관심 영역을 문지르면 단순 번역만 수행하기 때문에 확장성이 부족하다.

- 파파고의 문지르는 방식을 통한 번역 방법은 책이나 글과 같이 문장이나 문단을 선택하여 번역하는 것은 편리할 수 있지만 메뉴판의 경우 메뉴명은 단어위주로 되어 있기 때문에 불필요한 영역까지 포함시킬 수 있다는 불편함이 존재한다.

◇ Waygo

- 중국에서 개발한 오프라인 메뉴판 번역 어플리케이션으로 중국어, 한국어, 일본어 번역을 제공한다.

- 중국어 이외의 언어의 번역이 정확하지 않고 특정 지역에만 번역 성능이 집중되고 있다.

- 현재 안드로이드 서비스를 제공하지 않는다.

나. 마케팅 전략 제시

◇ SWOT 분석 수행

개발과제의 기대효과

기술적 기대효과

◇ 네이버 CLOVA OCR 기술의 시장 가능성에 대해 검증할 수 있다.

네이버의 CLOVA OCR 기술을 사용하여 이미지에 대한 한글 문자 인식에 관한 프로젝트를 진행하고

이를 바탕으로 CLOVA OCR 기술이 확대되고 있는 OCR 시장에 대해 유연하게 대응할 수 있는 능력을 검증한다.

◇ 구글 자동수정 및 번역 기능의 정확성을 검증할 수 있다.

구글의 자동수정 기능을 사용하여 OCR 기술을 통해 인식한 문자의 오류율을 감소시킨다.

이후 번역 기능을 통한 메뉴의 번역이 정확하게 수행되는지 확인함으로써 구글의 자동수정과 번역 기능의 정확성을 검증한다.

◇ AR 기술의 무한한 활용 가능성을 경험할 수 있다.

메뉴에 대한 이미지를 AR 기술을 통해 시각적으로 제공함으로써 AR 기술이 외식업계에서도 활용 가능하다는 또다른 가능성을 제시한다.

경제적, 사회적 기대 및 파급효과

◇ 외국인 관광객의 만족도와 재방문율 향상을 기대할 수 있다.

위의 설문조사에 따르면 시간이 지날수록 음식 탐방을 위해 한국을 방문하는 외국인 관광객의 비중이 점차 높아지는 것을 볼 수 있다.

따라서 음식 탐방에 관해 더 나은 편의를 제공하면 외국인 관광객의 만족도와 재방문율을 높일 수 있을 것으로 기대된다.

◇ 외국인 관광객에 대한 외식업계의 서비스를 향상시켜 외식업계의 활성화를 기대할 수 있다.

위의 설문조사에 따르면 외식업계가 생각하는 외국인 관광객 대상 서비스 개선방안에 대한 주요 사항에 대해 알 수 있다. 1위가 맛(45.5%), 2위가 의사소통 원활성(31.4%), 3위가 외국어 메뉴판 제공 여부(22.7%), 4위가 메뉴판의 정확성 및 이해

가능성(20.2%)가 주요 사항인 것을 알 수 있다. 따라서 메뉴판 번역 기능과 AR을 통한 시각적 이미지를 제공함으로써 의사소통의 원활성, 외국어 메뉴판 제공, 메뉴판 정확성 및 이해 가능성의 향상에 직접적인 도움을 제공할 것으로 기대된다.

◇ 외국인 관광객들에게 외국인 관광객 식당 방문 경험담을 제공하여 외국인 대상 홍보 효과를 기대할 수 있다.

첫 번째 설문조사에 따르면 현재 외식업계는 외국인 관광객에 대한 홍보가 매우 미흡하다는 점을 알 수 있다. 따라서 해당 문제를 해결하기 위해 외국인 식당 선택 요인에 대해 조사하고 해당 요인을 기반으로 홍보의 방법을 설정하였다.

두 번째 설문조사에 따르면 외국인들의 주요 식당 선택 요인은 1위가 주변인의 추천(61.8%), 2위가 SNS의 활용(30.3%)이라는 사실을 알 수 있다. 따라서 주변인이나 해당 식당을 방문한 외국인 고객의 경험을 직접적으로 확인할 수 있는

커뮤니티 기능을 통해 외국인들의 식당 선택에 확실한 도움을 제공하고 해당 식당에 대한 홍보 기능을 제공하는 효과를 기대할 수 있다

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ 애자일 개발 방법론(스크럼 모델) 

프로젝트를 수행함에 있어서 주기적인 회의(스프린트)를 통해 팀원의 업무 진행 상황을 서로 공유하고 프로젝트를 제작하면서 발생하는 여러 피드백에 대해 신속하게 대응하기 위하여 애자일 개발 방법론의 스크럼 모델을 적용하여 프로젝트를 진행했다.

팀 구성원

◇ 이*희 : OCR 기능 개발, 언어변경 기능 개발,설정 및 통합 진행, 소스코드 버전 관리 및 보고서 관리

◇ 조*석 : AR 기능 개발, 번역 및 해시태그 기능 개발, 커뮤니티 리뷰 기능 개발

◇ 이*호 : Favorites기능 개발, 이미지 검색 기능 개발, 로그인 기능 개발

◇ **** 압둘 **** : 사용자 인터페이스,앱 아이콘/로딩화면 디자인, 슬라이딩 패널 제작

설계

설계사양

제품 요구사항

설계 환경

◇ 2020년 기준 안드로이드 OS 버전별 점유율 중 가장 높은 점유율을 보인 Android 6.0(Marshmallow) 환경에서 제작하기로 결정하였다.

개념설계안

◇ 한글 메뉴판을 스캔하면 네이버의 CLOVA OCR 모듈을 통해 이를 인식하여 텍스트로 변환한다.

◇ 구글의 이미지 검색 API를 사용하여 메뉴와 관련된 이미지를 검색하여 메뉴에 대한 정보를 제공한다.

◇ AR 기술로는 ARCore을 활용한다. ARCore는 구글에서 제작한 AR 라이브러리로, 카메라를 통해 특정 물체를 인식하고 트래킹하는 기술을 갖추고 있다.

◇ Sceneform을 활용하여 그 트래킹 된 위치에 컨텐츠를 뿌리는 형식으로 AR기능을 구현한다.

◇ Firebase를 이용한 데이터베이스를 통해 사용자 리뷰 정보 및 관련 해시태그 정보를 저장한다.

상세설계안

가. 기능(Feature) 파트

◇ OCR 모듈 - CLOVA OCR

CLOVA OCR는 네이버에서 제작한 OCR API로 단어간 긴밀도를 계산하여 글자들이 일정한 배열로 나란히 자리잡은 모양새를 지닌 문서가 아닌 메뉴판과 같은 비 정형적인 문서 등에서도

우수한 성능을 보여준다. 또한 한글 인식률이 우수하기 때문에 이를 이용하여 메뉴판의 문자를 인식하고, 카메라를 통해 스캔한 메뉴판의 내용들을 텍스트화 하는데 사용한다.

◇ AR 모듈 - ARcore & Sceneform

Google에서 제작한 ARCore를 사용하여 AR 기능을 제공한다. ARCore는 카메라에서 특정 사물이나 사진을 인식하고 그것의 위치를 트래킹하기 위해 활용한다.

또한 SceneForm을 사용하여 ARCore에 의해 인식된 사물의 위치와 영역에 관련된 컨텐츠를 그리는데 활용된다.

◇ 번역 모듈 - 구글 번역 (Translation API)

Google의 Translation API를 활용하여 OCR로 인식한 문자를 번역하는데 사용한다. 또한 Translation API가 지원하는 언어를 리스트 형식으로 나열하여

사용자가 선택할 수 있도록 함으로써 사용자 맞춤 번역 효과를 기대한다.

◇ 이미지 검색 모듈 - Google Custom Search API

구글에서 이미지 검색 결과를 가져오기 위해 Google Custom Search API를 활용하며, JSON형식을 통해서 이미지 URL을 가져올 수 있다.

가져온 URL을 사용하여 사용자가 인식한 메뉴의 이미지 정보를 제공한다.

◇ 사용자 인터페이스 - HCI 이론의 활용

HCI(human-computer interaction) 이론을 기반으로 사용성과 유용성을 고려해서 기능을 구현하고, 디자인 측면에서 사용자의 편의에 맞게 UI를 구상하고

이를 통해서 더 나은 사용자 경험을 제공한다.

나. 통신 및 서버 파트

◇ DB 서버 - Firebase

Firebase는 구글에 의해 개발된 플랫폼으로써 모바일 어플리케이션 서버를 만드는데 용이하다. 따라서 Firebase를 통해 DB 서버를 구축하여

이를 커뮤니티 기능에서 사용자들이 작성한 리뷰를 저장하고 불러오는데 사용한다.

◇ Rest API

Rest API는 클라이언트에 해당하는 어플리케이션과 DB서버를 손쉽게 연결하는데 활용된다. GET과 POST를 통해서 서버에 데이터를 업로드하거나 가져올 수 있다.

따라서 이를 활용하여 구축한 Firebase 서버와 연결하여 사용자 데이터를 업로드하거나 가져오는데 활용한다.

결과 및 평가

완료 작품의 소개

발표 및 시연영상

Youtube

프로토타입 사진 혹은 작동 장면

1. 스캐너/번역 기능

◇ 설정한 인식 영역에 번역하고자 하는 메뉴를 인식한 후 결과 출력 버튼을 누르면 화면의 메뉴를 OCR 모듈 을 통해 텍스트로 인식한다.

◇ 이후 인식한 메뉴를 사용자가 설정한 언어에 맞게 번역하여 제공한다.

◇ 사용자가 메뉴에 대해 더 잘 이해할 수 있도록 메뉴 관련 이미지를 제공한다.

◇ 메뉴에 관한 해시태그를 추가하여 메뉴에 대한 자세한 정보를 제공한다.

2. AR 기능

◇ 사용자는 AR에 등록된 사진 (포스터)에 대해서 AR기능을 수행한다.

◇ AR기능을 통해서 사진의 종류를 인식한 뒤, 영역을 파악한다.

◇ 인식한 영역에 대해서 영상이 재생되며, 해당 포스터를 대표하는 식당과 관련된 사용자의 리뷰를 볼 수 있 다.

◇ 사용자는 해당 기능을 통해 식당과 관련된 정보를 영상이나 리뷰를 보고, 할인쿠폰도 제공받을 수 있다.

3. Favorites 기능

◇ 스캐너 화면에서 하트 모양의 버튼을 선택하면 즐겨찾기 목록에 추가된다.

◇ 즐겨찾기 목록에 추가된 메뉴를 Favorites에서 확인할 수 있다.

◇ 즐겨찾기한 메뉴의 이미지, 메뉴명, 관련 해시태그 정보를 저장한다.

◇ 즐겨찾기의 해제 및 재등록을 수행할 수 있다.

◇ 즐겨찾기 목록 정보를 로컬에 저장하여 앱 종료 후 재실행 시 저장한 목록을 다시 불러온다.

4. Community 기능

◇ 커뮤니티 리뷰는 Firebase를 통해 구성한 서버에서 불러온다.

◇ 리뷰 작성 시 Facebook과 연동된 사용자 계정 정보를 참조한다.

◇ 사용자가 로그인한 계정과 일치하는 리뷰만 삭제할 수 있다.

◇ 리뷰 작성 창에서는 관련 리뷰를 작성할 수 있고 이미지와 해시태그를 추가할 수 있다.

5. Settings 기능

5-1. Login 기능

◇ Settings 탭에서 Facebook 연동 login 기능을 제공한다.

◇ Login한 후 Facebook에서 제공하는 프로필을 사용한다.

◇ Privacy policy는 개인정보 이용에 따른 개인정보보호정책 소개를 제공한다.

◇ About us는 happymeal 팀원들의 소개를 제공한다.

5-2. Change Translation Language 기능

◇ 사용자가 희망하는 언어를 선택할 수 있다.

◇ 언어는 구글 번역이 제공하는 모든 언어 중에서 선택할 수 있다.

◇ 언어 변경 후 번역이 설정한 언어로 번역이 진행된 것을 확인할 수 있다.

포스터

완료작품의 평가

◇ 4번 항목의 경우, 자동 수정 기능을 적용할 수 있는 오류의 차이로 인해 API 사용이 불가하였다. (쿼티키보드 입력 오타 수정과 OCR 인식 오타의 종류에 차이가 발생)

◇ 11번 항목의 경우, 사용자를 위한 튜토리얼 대신, 다양한 앱에서 활용되고 있는 탭 별로 화면을 전환하는 UX를 채택하여 대체하였다.

◇ 3번 항목의 경우, 경쟁사 (구글번역, 파파고) 대비 2단계 축소하였다고 보았다. 구체적으로 관련 사진과 리뷰, 성분등을 파악하기 위한 단계를 줄인 것으로 보았다.

◇ 5번 항목의 경우, 성분표시, 관련 리뷰 표시, AR 동영상, 메뉴 이미지 표시등의 기능을 담아 경쟁 어플보다 4개 더 많은 기능을 제공하는 것으로 보았다.

향후계획

가. 구현 시 어려웠던 점

◇ OpenCV 카메라에서 카메라 줌 기능을 지원하지 않아 어려움이 있었다.

◇ 자동수정 기능의 경우에 쿼티와 OCR 인식 간에 발생하는 오류 종류의 차이로 인해 자동수정 기능 적용에 어려움이 있었다.

◇ AR기능에서 트래킹한 영역을 인식하는 것이 사각형 기반으로 되어 있어서 아이디어를 완전히 구현하는 부 분에 있어서 어려움이 있었다.

◇ 각각 모듈마다 gradle에서 활용하는 라이브러리 부분이 달라 통합에 어려움이 있었다.

나. 향후 개선 계획

◇ 생소한 메뉴명의 번역 기능 제공

◇ 스캐너 인식 영역 조절 기능 제공

◇ 3D 컨텐츠를 통한 AR기능 향상

◇ iOS 환경 지원

◇ 타 소셜 플랫폼과의 공유 기능 제공

프로젝트 소스코드

Github

@@ 3번째 줄: / 3번째 줄: @@
 ==프로젝트 개요==
 === 기술개발 과제 ===
-''' 국문 : ''' 00000000..
+''' 국문 : ''' OCR 기술을 이용한 메뉴판 번역 어플리케이션
-''' 영문 : ''' 00000000..
+''' 영문 : ''' The menu plate translation application using OCR technology
 ===과제 팀명===
-..
+해피밀(HappyMeal)
 ===지도교수===
-교수님
+김민호 교수님
 ===개발기간===
-년 3월 ~ 2020년 6월 (총 4개월)
+년 9월 ~ 2020년 12월 (총 4개월)
 ===구성원 소개===
-서울시립대학교 ㅁㅁ공학부·과 2011XXX0** 김*현(팀장)
+서울시립대학교 컴퓨터과학부 20169200** 조*석(팀장)
-서울시립대학교 ㅁㅁ공학부·과 2011XXX0** 정*은
+서울시립대학교 컴퓨터과학부 20169200** 이*희
-서울시립대학교 ㅁㅁ공학부·과 2011XXX0** 조*민
+서울시립대학교 컴퓨터과학부 20149200** 이*호
-서울시립대학교 ㅁㅁ공학부·과 2011XXX0** 이*수
+서울시립대학교 컴퓨터과학부 20179200** 모로**카림
-서울시립대학교 ㅁㅁ공학부·과 2011XXX0** 남*송
 ==서론==
 ===개발 과제의 개요===
 ====개발 과제 요약====
-내용
+◇ 외국인 관광객들을 위한 메뉴판 번역 어플리케이션을 만들어 불편함을 해소하고, 음식탐방에 대한 만족도를 높인다.
+◇ OCR, AR, 이미지 검색 기능 등을 통해 시각적인 이미지 정보 및 기타 유용한 정보를 제공하여 메뉴에 대한 이해도를 향상시킨다.
+◇ 커뮤니티 기능을 통해 한국에 방문한 외국인들끼리 서로 사용자 경험을 공유할 수 있는 환경을 조성한다.
 ====개발 과제의 배경====
-내용
+'''배경'''
+◇ 매년마다 한국을 방문하는 외국인 관광객들의 수는 점차 증가하고 있다. 하지만 대다수의 외국인 관광객들이 언어의 장벽으로 인해 원하는 음식에 대한 정보를 얻기 어려운 상황에 놓여있다.
+뿐만 아니라 한글 키보드 사용에 익숙하지 않아 메뉴의 검색에도 어려움을 겪고 있다. 따라서 이번 프로젝트에서 이와 같은 어려움을 해소하기 위해 메뉴 스캔 번역 어플리케이션을 제작하기로 결정하였다.
+제작한 어플리케이션을 통해 외국인 관광객들에게 메뉴 정보, 성분 정보, 시각적 이미지 등 다양한 정보를 효과적으로 제공할 수 있을 것으로 기대된다.
+◇ 주요 관광지를 제외한 지역들의 식당들은 많은 경우 다른 언어와 함께 이미지를 제공하지 않는 경우가 많다.
+◇ 현재 모바일 플랫폼에는 다양한 번역 어플이 존재하지만, 외국인들에게 메뉴판을 번역하고 나서 음식에 대한 자세한 정보를 제공해주는 어플은 부재하다.
+'''효과'''
+◇ 메뉴판 번역 어플리케이션을 통해서 외국인들끼리 서로 새롭게 체험한 메뉴에 대한 정보를 공유할 수 있는 소셜 플랫폼으로 발전하여 여행객들의 음식 탐방 만족도 및 재방문율을 더 높이는데 기여할 수 있도록 한다.
+◇ 여행객들이 주요 관광지뿐만 아니라 다양한 종류의 음식 및 식당을 탐방할 수 있도록 도움을 제공한다.
+◇ 임시로 몇 개월, 혹은 몇 년을 한국에서 체류하는 외국인의 경우 주변의 다양한 식당을 탐방하고, 메뉴를 선정하는데 있어서 필요한 정보를 제공한다
 ====개발 과제의 목표 및 내용====
-내용
+◇ 스캔한 메뉴판에 대해 OCR 기능을 사용하여 메뉴를 인식한다.
+◇ 사용자가 선택한 언어에 맞게 메뉴판을 번역한다.
+◇ 사용자에게 AR 이미지를 제공하여 메뉴에 대한 시각적인 정보를 제공한다.
+◇ 번역한 메뉴에 대해서 관련 정보를 제공하여 메뉴 선정 시 알레르기나 문화적 차이 등에 의해 발생할 수 있는 사용자의 불편함을 해소한다.
+◇ 메뉴에 대한 사용자 리뷰, 해시태그 등을 다루는 커뮤니티 기능을 제공하여 단순한 검색 정보가 아닌 사용자의 경험을 제공한다.
 ===관련 기술의 현황===
 ====관련 기술의 현황 및 분석(State of art)====
-*전 세계적인 기술현황
+<strong>가. 관련 기술 현황</strong>
-내용
-*특허조사 및 특허 전략 분석
+<strong>◇ OCR(광학 문자 인식; Optical Character Recognition)</strong>
-내용
-*기술 로드맵
+:[[파일:textdetection.png]]
-내용
+◇ OCR 기술이란 사람이 쓰거나 기계로 인쇄한 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 기술을 의미한다.
+:OCR 기술 성능을 향상하기 위해서 다음과 같은 다양한 연구와 성능 검증이 진행 중이다.
+◇ 자연어 처리(NLP)
+:OCR 기술을 통해 문자를 식별하더라도 식별한 문자는 문장 및 단락을 형성한다. 따라서 NLP에 대한 연구는 확률적 접근 방식을 사용하여 식별한 문장 및 단락에 대해 자세히 인식하고
+:누락된 문자에도 불구하고 문장 내용을 추정하는 알고리즘과 같이 문자 인식의 실수를 수정하기 위한 수많은 알고리즘을 생성하였다.
+◇ Supervised Deep Learning
+:OCR기술에 딥러닝 알고리즘을 적용하여 성능을 향상시켰다. OCR 성능을 향상시키기 위해서는 학습 샘플을 통해 학습시켜야 하지만 이 기술을 이용하면 OCR 도구가 글꼴이 다른 문자를 인식할 수 있으며
+:학습 샘플의 패턴을 인식함으로써 식별할 수 없는 문자를 감지하고 오류를 수정할 수 있다.
+◇ 미국 테크놀로지 관련 뉴스 제공 사이트 techradar의 Best OCR scanning software of 2020: scan and archive your documents to PDF 라는 제목의 뉴스에서는 현재 출시된 제품들을 인식률, 사용 편이성, 추가 옵션 수 등의
+:다양한 평가기준을 이용해 종합 평가하여 순위를 매기고 있으며 그 이유도 함께 설명하고 있다.
+:1) OmniPage Ulitimate: (+)Comprehensive Features, (+)Custom workflows, (+)Excellent speed, (+)Very accurate
+:2) Abbyy FineReader: (+)Comprehensive suite of Features, (+)Multiple output options, (+)Volume licences
+:3) Adobe Acrobat Pro DC: (+)Plenty of advanced features, (+)Easy to use, (-)Monthly subscription
+:4) Readiris: (+)Aggregate and split PDFs, (+)Easy to learn and operate, (+)Cost-effective
+:5) Rossum: (+)98% accuracy, (+)Universal invoice service, (-)Niche application
+<strong>◇ 증강현실(Augmented Reality)</strong>
+:[[파일:poketmongo.png]]
+:◇ 증강현실(AR)은 가상현실(VR)의 한 분야이며 사용자가 현재 보고 있는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
+:◇ LG U+ 리얼글래스
+:[[파일:realglass.png]]
+:스마트폰의 카메라를 이용해서 가상의 컨텐츠를 보여주는 기존의 AR 기술들과는 다르게 LG에서 개발한 리얼글래스는 카메라 대신 선글라스형 렌즈를 이용하여 원하는 콘텐츠를 보여주는 웨어러블 디바이스이며
+:화면 크기에 큰 제약을 받는 스마트폰과는 달리 화면 크기에 제약이 없다는 장점이 있다. 전용앱 ‘네뷸라(Nebula)'만 설치돼 있다면 youtube와 같은 영상 앱, Chrome 등의 브라우저 앱, 카카오톡, facebook 등의 SNS 앱 등
+:여러가지 앱을 연동하여 사용할 수 있다.
+<strong>나. 기술 로드맵</strong>
+<strong>◇ OCR의 방향과 미래 활용도 </strong>
+:◇ 아마존 연구팀의 ‘TextTubes’
+:[[파일:TextTubes.png]]
+:2019년 말, 아마존 연구팀이 이미지 속에서 휘어진 텍스트를 읽어낼 수 있는 ‘TextTubes’라는 알고리즘 기술을 개발했다. 1500개 이미지와 1만개 이상의 텍스트로 구성된 데이터를 대상으로 실험한 결과, 83.65%의 정확도를 보였다.
+:◇ 상품 번호, 브랜드명 검색 시 이미지로 대체 가능
+:SSG닷컴은 지난해 하반기부터 이미지 상품 검색 서비스인 ‘쓱렌즈’에 OCR 기술을 적용하였다. 일일이 입력하기 까다로운 상품 모델번호나 브랜드명도 사진만 찍어두면 텍스트로 추출·검색이 가능하다.
+:OCR 기술은 상품설명에 게재된 이미지를 분석, 잘못된 정보를 기반으로 판매되는 상품도 걸러준다. 한국어에 서툰 외국인도 촬영사진으로 원하는 상품을 검색할 수 있어 고객 편의성이 높아졌다는 평가가 있다.
+:구글은 지난해 8월 ‘구글 포토’ 서비스에 OCR 기술을 적용. 구글 포토에서 ‘렌즈’를 사용하면 사진 등에서 텍스트를 검색하고 이미지에서 텍스트를 복사하고 붙여 넣을 수 있다.
+:◇ 음악서비스 바꾸고 싶을 때 플레이리스트 저장 시 사용
+:지니뮤직은 올 3월 OCR 기반의 신규서비스를 선보였는데, 다른 음악 서비스에서 사용하던 플레이리스트를 이미지 형태로 업로드하면 지니 애플리케이션(4.9 버전)에서 리스트가 자동 생성되도록 지원한다.
+<strong>◇ AR의 방향과 미래 활용도</strong>
+:최근 이용자들의 관심 증가와 관련 시장에 대한 기대가 점증함에 따라 다양한 AR글래스를 활용한 빅데이터와 지능정보처리 기반의 혼합현실 기술이 도입되면서 증강현실용 모바일 환경에서도 스마트폰 카메라를 이용하여
+:가상 캐릭터 등을 활용, 현실 환경처럼 보여주는 혼합현실 서비스 기술에 대한 개발이 활발하다.
+:[[파일:AR도표.png]]
+:한편, AR/VR 서비스 생태계 구축에 대한 글로벌 기업들의 경쟁이 시작되면서 신규 단말이나 콘텐츠 확보에 집중하던 추세에서 벗어나 다양한 콘텐츠와 서비스를 통합적으로 서비스하기 위한 플랫폼 구축이 중요해진다.
+:이러한 추세에 따라 AR/VR 기술은 컴퓨터와 모바일을 대체하는 컴퓨팅 플랫폼 기술 분야까지 확대될 전망이다.
+<strong>다. 관련 특허조사 </strong>
+◇ 카메라 기반 영상의 문자 인식 및 번역 방법(출원번호: 102009005726)
+:촬영된 문자 영상에서 인식할 영역을 사용자가 직접 선택해서 문자 인식을 수행하고 사용자가 선택한 문자 또는 단어를 연계된 사전 데이터와 연동 검색해서 그 번역 결과 정보를 화면에 표시한다. 사전 연동 검색 번역은 사용자 인터페이스에서 선택된 문자 또는 단어를 전자사전 데이터베이스와 연동 검색해서 그 번역 결과를 사용자 인터페이스를 통해 사용자에게 제공하는 방식으로 수행된다.
+◇ 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법(출원번호: 1020090068458)
+:휴대 단말의 카메라를 이용한 문자 인식처리 장치는 영상을 촬영하는 카메라부와 영상이 표시된 화면에 포인터를 제공하고, 포인터가 지시하는 영상으로부터 문자열을 인식해 내는 문자 인식부, 문자 입력을 요하는 애플리케이션이 구동되고, 문자인식 명령이 입력되면, 카메라부와 문자 인식부를 구동시키고, 애플리케이션에 대한 사용자 명령이 입력될 경우, 문자열을 입력으로 하여 애플리케이션이 사용자 명령을 수행하도록 제어하는 제어부로 구성된다
+◇ 3D모델 증강현실 서비스 시스템(출원번호: 1020130153874)
+:3D모델 증강현실 서비스 시스템은 객체의 3D데이터를 저장하는 메인 서버, 메인 서버와 연결되어 3D데이터를 수신하는 제1단말기, 제1단말기와 연결되어 주변 영상을 획득하는 카메라로 구성된다. 제1단말기는 객체의 형상 정보 및 표면 정보를 포함하는 3D 데이터로부터 객체의 3차원 이미지를 생성하여 표현한다. 3D모델 증강현실 서비스 시스템은 객체의 3차원 이미지를 주변 영상에 혼합하는 영상처리부를 추가하여 카메라를 통하여 획득된 주변 영상의 소정의 위치에 원근을 고려하여 3차원 이미지를 혼합하는 방식으로 수행된다.
 ====시장상황에 대한 분석====
-*경쟁제품 조사 비교
+<strong>가. 경쟁제품 조사 비교</strong>
-내용
-*마케팅 전략 제시
+◇ 구글 번역
-내용
+:- 한글 인식률이 네이버 CLOVA AI보다 떨어져 OCR 스캔 사용 시 오역이 많다.
+:- 메뉴 전용이 아닌 보편적인 어플이기에 메뉴에 대한 정보 제공 기능이 없다.
+◇ 파파고
+:- 관심 영역을 문지르면 단순 번역만 수행하기 때문에 확장성이 부족하다.
+:- 파파고의 문지르는 방식을 통한 번역 방법은 책이나 글과 같이 문장이나 문단을 선택하여 번역하는 것은 편리할 수 있지만 메뉴판의 경우 메뉴명은 단어위주로 되어 있기 때문에 불필요한 영역까지 포함시킬 수 있다는 불편함이 존재한다.
+◇ Waygo
+:- 중국에서 개발한 오프라인 메뉴판 번역 어플리케이션으로 중국어, 한국어, 일본어 번역을 제공한다.
+:- 중국어 이외의 언어의 번역이 정확하지 않고 특정 지역에만 번역 성능이 집중되고 있다.
+:- 현재 안드로이드 서비스를 제공하지 않는다.
+<strong>나. 마케팅 전략 제시</strong>
+◇ SWOT 분석 수행
+:[[파일:Swot_happymeal.png]]
 ===개발과제의 기대효과===
 ====기술적 기대효과====
-내용
+◇ 네이버 CLOVA OCR 기술의 시장 가능성에 대해 검증할 수 있다.
+:네이버의 CLOVA OCR 기술을 사용하여 이미지에 대한 한글 문자 인식에 관한 프로젝트를 진행하고
+:이를 바탕으로 CLOVA OCR 기술이 확대되고 있는 OCR 시장에 대해 유연하게 대응할 수 있는 능력을 검증한다.
+◇ 구글 자동수정 및 번역 기능의 정확성을 검증할 수 있다.
+:구글의 자동수정 기능을 사용하여 OCR 기술을 통해 인식한 문자의 오류율을 감소시킨다.
+:이후 번역 기능을 통한 메뉴의 번역이 정확하게 수행되는지 확인함으로써 구글의 자동수정과 번역 기능의 정확성을 검증한다.
+◇ AR 기술의 무한한 활용 가능성을 경험할 수 있다.
+:메뉴에 대한 이미지를 AR 기술을 통해 시각적으로 제공함으로써 AR 기술이 외식업계에서도 활용 가능하다는 또다른 가능성을 제시한다.
 ====경제적, 사회적 기대 및 파급효과====
-내용
+◇ 외국인 관광객의 만족도와 재방문율 향상을 기대할 수 있다.
+:[[파일:외국인광공사진.png]]
+:위의 설문조사에 따르면 시간이 지날수록 음식 탐방을 위해 한국을 방문하는 외국인 관광객의 비중이 점차 높아지는 것을 볼 수 있다.
+:따라서 음식 탐방에 관해 더 나은 편의를 제공하면 외국인 관광객의 만족도와 재방문율을 높일 수 있을 것으로 기대된다.
+◇ 외국인 관광객에 대한 외식업계의 서비스를 향상시켜 외식업계의 활성화를 기대할 수 있다.
+:[[파일:서비스.png]]
+:위의 설문조사에 따르면 외식업계가 생각하는 외국인 관광객 대상 서비스 개선방안에 대한 주요 사항에 대해 알 수 있다. 1위가 맛(45.5%), 2위가 의사소통 원활성(31.4%), 3위가 외국어 메뉴판 제공 여부(22.7%), 4위가 메뉴판의 정확성 및 이해
+:가능성(20.2%)가 주요 사항인 것을 알 수 있다. 따라서 메뉴판 번역 기능과 AR을 통한 시각적 이미지를 제공함으로써 의사소통의 원활성, 외국어 메뉴판 제공, 메뉴판 정확성 및 이해 가능성의 향상에 직접적인 도움을 제공할 것으로 기대된다.
+◇ 외국인 관광객들에게 외국인 관광객 식당 방문 경험담을 제공하여 외국인 대상 홍보 효과를 기대할 수 있다.
+:[[파일:홍보 1.png]]
+:첫 번째 설문조사에 따르면 현재 외식업계는 외국인 관광객에 대한 홍보가 매우 미흡하다는 점을 알 수 있다. 따라서 해당 문제를 해결하기 위해 외국인 식당 선택 요인에 대해 조사하고 해당 요인을 기반으로 홍보의 방법을 설정하였다.
+:두 번째 설문조사에 따르면 외국인들의 주요 식당 선택 요인은 1위가 주변인의 추천(61.8%), 2위가 SNS의 활용(30.3%)이라는 사실을 알 수 있다. 따라서 주변인이나 해당 식당을 방문한 외국인 고객의 경험을 직접적으로 확인할 수 있는
+:커뮤니티 기능을 통해 외국인들의 식당 선택에 확실한 도움을 제공하고 해당 식당에 대한 홍보 기능을 제공하는 효과를 기대할 수 있다
 ===기술개발 일정 및 추진체계===
 ====개발 일정====
-내용
+[[파일:게발일정.png]]
 ====구성원 및 추진체계====
-내용
+◇ 애자일 개발 방법론(스크럼 모델)
+:프로젝트를 수행함에 있어서 주기적인 회의(스프린트)를 통해 팀원의 업무 진행 상황을 서로 공유하고 프로젝트를 제작하면서 발생하는 여러 피드백에 대해 신속하게 대응하기 위하여 애자일 개발 방법론의 스크럼 모델을 적용하여 프로젝트를 진행했다.
+:[[파일:design.png]]
+====팀 구성원====
+◇ 이*희 : OCR 기능 개발, 언어변경 기능 개발,설정 및 통합 진행, 소스코드 버전 관리 및 보고서 관리
+◇ 조*석 : AR 기능 개발, 번역 및 해시태그 기능 개발, 커뮤니티 리뷰 기능 개발
+◇ 이*호 : Favorites기능 개발, 이미지 검색 기능 개발, 로그인 기능 개발
+◇ **** 압둘 **** : 사용자 인터페이스,앱 아이콘/로딩화면 디자인, 슬라이딩 패널 제작
 ==설계==
 ===설계사양===
-====제품의 요구사항====
+====제품 요구사항====
-내용
+[[파일:해피밀 제품 요구사항.JPG]]
-====설계 사양====
-내용
+====설계 환경====
+[[파일:해피밀 안드로이드 버전별 점유율.PNG]]
+◇ 2020년 기준 안드로이드 OS 버전별 점유율 중 가장 높은 점유율을 보인 Android 6.0(Marshmallow) 환경에서 제작하기로 결정하였다.
 ===개념설계안===
-내용
-===이론적 계산 및 시뮬레이션===
+[[파일:해피밀 개념설계도.PNG]]
-내용
+◇ 한글 메뉴판을 스캔하면 네이버의 CLOVA OCR 모듈을 통해 이를 인식하여 텍스트로 변환한다.
+◇ 구글의 이미지 검색 API를 사용하여 메뉴와 관련된 이미지를 검색하여 메뉴에 대한 정보를 제공한다.
+◇ AR 기술로는 ARCore을 활용한다. ARCore는 구글에서 제작한 AR 라이브러리로, 카메라를 통해 특정 물체를 인식하고 트래킹하는 기술을 갖추고 있다.
+◇ Sceneform을 활용하여 그 트래킹 된 위치에 컨텐츠를 뿌리는 형식으로 AR기능을 구현한다.
+◇ Firebase를 이용한 데이터베이스를 통해 사용자 리뷰 정보 및 관련 해시태그 정보를 저장한다.
+===상세설계안===
+[[파일:해피밀 상세설계도.PNG]]
+<strong> 가. 기능(Feature) 파트 </strong>
+:<strong>◇ OCR 모듈 - CLOVA OCR</strong>
+::CLOVA OCR는 네이버에서 제작한 OCR API로 단어간 긴밀도를 계산하여 글자들이 일정한 배열로 나란히 자리잡은 모양새를 지닌 문서가 아닌 메뉴판과 같은 비 정형적인 문서 등에서도
+::우수한 성능을 보여준다. 또한 한글 인식률이 우수하기 때문에 이를 이용하여 메뉴판의 문자를 인식하고, 카메라를 통해 스캔한 메뉴판의 내용들을 텍스트화 하는데 사용한다.
+:<strong>◇ AR 모듈 - ARcore & Sceneform</strong>
+::Google에서 제작한 ARCore를 사용하여 AR 기능을 제공한다. ARCore는 카메라에서 특정 사물이나 사진을 인식하고 그것의 위치를 트래킹하기 위해 활용한다.
+::또한 SceneForm을 사용하여 ARCore에 의해 인식된 사물의 위치와 영역에 관련된 컨텐츠를 그리는데 활용된다.
+:<strong>◇ 번역 모듈 - 구글 번역 (Translation API)</strong>
+::Google의 Translation API를 활용하여 OCR로 인식한 문자를 번역하는데 사용한다. 또한 Translation API가 지원하는 언어를 리스트 형식으로 나열하여
+::사용자가 선택할 수 있도록 함으로써 사용자 맞춤 번역 효과를 기대한다.
+:<strong>◇ 이미지 검색 모듈 - Google Custom Search API</strong>
+::구글에서 이미지 검색 결과를 가져오기 위해 Google Custom Search API를 활용하며, JSON형식을 통해서 이미지 URL을 가져올 수 있다.
+::가져온 URL을 사용하여 사용자가 인식한 메뉴의 이미지 정보를 제공한다.
+:<strong>◇ 사용자 인터페이스 - HCI 이론의 활용</strong>
+::[[파일:해피밀 HCI 고려요소.PNG]]
+::HCI(human-computer interaction) 이론을 기반으로 사용성과 유용성을 고려해서 기능을 구현하고, 디자인 측면에서 사용자의 편의에 맞게 UI를 구상하고
+::이를 통해서 더 나은 사용자 경험을 제공한다.
+<strong> 나. 통신 및 서버 파트 </strong>
+:<strong>◇ DB 서버 - Firebase</strong>
+::Firebase는 구글에 의해 개발된 플랫폼으로써 모바일 어플리케이션 서버를 만드는데 용이하다. 따라서 Firebase를 통해 DB 서버를 구축하여
-===상세설계 내용===
+::이를 커뮤니티 기능에서 사용자들이 작성한 리뷰를 저장하고 불러오는데 사용한다.
-내용
+:<strong>◇ Rest API</strong>
+::Rest API는 클라이언트에 해당하는 어플리케이션과 DB서버를 손쉽게 연결하는데 활용된다. GET과 POST를 통해서 서버에 데이터를 업로드하거나 가져올 수 있다.
+::따라서 이를 활용하여 구축한 Firebase 서버와 연결하여 사용자 데이터를 업로드하거나 가져오는데 활용한다.
 ==결과 및 평가==
 ===완료 작품의 소개===
+====발표 및 시연영상 ====
+[https://www.youtube.com/watch?v=LuUz4iWnBYk&feature=youtu.be Youtube]
 ====프로토타입 사진 혹은 작동 장면====
 ====1. 스캐너/번역 기능====
@@ 105번째 줄: / 399번째 줄: @@
 ====3. Favorites 기능====
-[[파일:해피밀 기능3.png]]
+[[파일:해피밀 기능6.png]]
 ◇ 스캐너 화면에서 하트 모양의 버튼을 선택하면 즐겨찾기 목록에 추가된다.
@@ 117번째 줄: / 411번째 줄: @@
 ◇ 즐겨찾기 목록 정보를 로컬에 저장하여 앱 종료 후 재실행 시 저장한 목록을 다시 불러온다.
-====4.Community 기능====
+====4. Community 기능====
-[[파일:해피밀 기능4.png]]
+[[파일:해피밀 기능 444.png]]
 ◇ 커뮤니티 리뷰는 Firebase를 통해 구성한 서버에서 불러온다.
 ◇ 리뷰 작성 시 Facebook과 연동된 사용자 계정 정보를 참조한다.
+◇ 사용자가 로그인한 계정과 일치하는 리뷰만 삭제할 수 있다.
 ◇ 리뷰 작성 창에서는 관련 리뷰를 작성할 수 있고 이미지와 해시태그를 추가할 수 있다.
@@ 129번째 줄: / 425번째 줄: @@
 =====5-1. Login 기능=====
-[[파일:해피밀 기능5.png]]
+[[파일:해피밀 기능55.png]]
 ◇ Settings 탭에서 Facebook 연동 login 기능을 제공한다.
@@ 135번째 줄: / 431번째 줄: @@
 ◇ Login한 후 Facebook에서 제공하는 프로필을 사용한다.
-◇ Privacy policy는 개인정보 이용에 따른 개인정보보호정책 소개를 제공한다. ◇ About us는 happymeal 팀원들의 소개를 제공한다.
+◇ Privacy policy는 개인정보 이용에 따른 개인정보보호정책 소개를 제공한다.
+◇ About us는 happymeal 팀원들의 소개를 제공한다.
 =====5-2. Change Translation Language 기능=====
-[[파일:해피밀 기능6.png]]
+[[파일:해피밀 기능3.png]]
+◇ 사용자가 희망하는 언어를 선택할 수 있다.
-◇ 번역 언어 변경 기능을 제공한다.
+◇ 언어는 구글 번역이 제공하는 모든 언어 중에서 선택할 수 있다.
-◇ 언어 변경 뒤 번역이 다른 언어로 바뀐 것을 확인할 수 있다.
+◇ 언어 변경 후 번역이 설정한 언어로 번역이 진행된 것을 확인할 수 있다.
 ====포스터====
-[[파일:해피밀 포스터.jpg]]
+[[파일:해피밀 포스터111.png]]
 ===완료작품의 평가===
+[[파일:해피밀 제품요구사항.png]]
+◇ 4번 항목의 경우, 자동 수정 기능을 적용할 수 있는 오류의 차이로 인해 API 사용이 불가하였다. (쿼티키보드 입력 오타 수정과 OCR 인식 오타의 종류에 차이가 발생)
+◇ 11번 항목의 경우, 사용자를 위한 튜토리얼 대신, 다양한 앱에서 활용되고 있는 탭 별로 화면을 전환하는 UX를 채택하여 대체하였다.
 [[파일:해피밀 평가결과.png]]
+◇ 3번 항목의 경우, 경쟁사 (구글번역, 파파고) 대비 2단계 축소하였다고 보았다. 구체적으로 관련 사진과 리뷰, 성분등을 파악하기 위한 단계를 줄인 것으로 보았다.
+◇ 5번 항목의 경우, 성분표시, 관련 리뷰 표시, AR 동영상, 메뉴 이미지 표시등의 기능을 담아 경쟁 어플보다 4개 더 많은 기능을 제공하는 것으로 보았다.
 ===향후계획===
@@ 171번째 줄: / 481번째 줄: @@
 ◇ 타 소셜 플랫폼과의 공유 기능 제공
+===프로젝트 소스코드===
+[https://github.com/tlfla01/Capstone Github]