테이큰
cdc wiki
프로젝트 개요
기술개발 과제
국문 : 건강기능식품 성분 분석 어플리케이션
영문 : Health Functional Food Components Analysis Application
과제 팀명
테이큰
지도교수
이병정 교수님
개발기간
2020년 3월 ~ 2020년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 2014XXX0** 최*수(팀장)
서울시립대학교 컴퓨터과학부 2014XXX0** 이*훈
서울시립대학교 컴퓨터과학부 2015XXX0** 정*빈
서울시립대학교 컴퓨터과학부 2015XXX0** 최*호
서론
개발 과제의 개요
개발 과제 요약
- 건강기능식품의 성분을 모바일 어플리케이션을 이용해 분석합니다.
- 건강기능식품을 분석하기 위해 광학 문자 인식(OCR)과 객체 인식(YOLO)을 사용합니다.
- 건강기능식품의 성분을 모바일 어플리케이션의 카메라를 이용하여 촬영하고 사용자에게 결과 화면을 보여줍니다.
- 섭취중인 건강기능식품의 영양 성분 함량 정보를 합산 및 관리합니다.
개발 과제의 배경
- 건강기능식품의 성분을 정확하게 알지 못하고 먹는 사람들이 많고, 건강기능식품을 오용 또는 남용하면 예상치 못한 부작용을 겪을 수 있습니다.
- 건강기능식품의 성분은 일반 소비자들이 보기에 복잡하며 모르는 성분명이 많습니다.
- 건강기능식품의 성분을 분석하여 몸에 필요한 성분이 얼마나 있는지 알 수 있습니다.
- 건강기능식품의 성분을 정확하게 파악하여 복용 시 발생하는 오남용을 방지할 수 있습니다.
개발 과제의 목표 및 내용
- OCR과 YOLO 등 관련 기술의 현황을 조사하고 분석합니다.
- 학습시킬 이미지를 수집하고 충분한 데이터를 확보하기 위해 Image Augmentation을 수행합니다.
- 객체 인식을 학습시킬 모델을 설정하고 학습을 진행합니다.
- 모바일 어플리케이션에 학습된 모델을 탑재하고 개발합니다.
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
1.전 세계적인 기술현황
- 최근 딥러닝과 관련된 객체 인식 및 텍스트 인식에 관한 연구가 활발히 진행되고 있습니다.
- 객체 인식에서의 텍스트 인식의 정확성은 높지 않습니다.
- OCR을 활용한 실시간 인식이 연구 중이지만 아직은 처리 시간이 많이 소요됩니다.
[그림 1] 딥러닝 인식 연구
[그림 2] OCR 인식 연구
2.특허조사 및 특허 전략 분석
- 순천향대학교 산학협력단의 “스마트폰을 기반으로 하는 합성 의약품 관리 어플리케이션 장치”특허가 있습니다. 본 연구과제와의 차이점은 의약품과 건강기능식품이라는 도메인의 차이가 있습니다. 그리고 사용자가 의약품을 직접 등록해야 한다는 것 역시 차이가 있습니다.
- 서웅진, 장유영이 개발한 “큐알코드 기반 식의약품 및 화장품의 성분 비교분석 서비스 제공 방법”특허가 있습니다. 이 특허의 특징은 큐알코드를 활용하여 식의약품 및 화장품을 식별한다는 것이 본 연구과제와의 차이점이 있습니다.
[그림 3] 스마트폰을 기반으로 하는 합성 의약품 관리 어플리케이션 장치
[그림 4] “큐알코드 기반 식의약품 및 화장품의 성분 비교분석 서비스 제공 방법”.jpeg
시장상황에 대한 분석
1.경쟁제품 조사 비교
- 건강기능식품의 성분을 분석해주는 “건투”라는 어플리케이션이 존재합니다. 하지만 이 어플리케이션은 건강기능식품의 성분 함량 정보를 직접 입력하는 방식입니다.
- 따라서 본 연구과제와 같이 건강기능식품의 성분표를 직접 촬영하여 이를 분석해주는 기능을 제공하는 어플리케이션은 아직 존재하지 않습니다.
- 성분을 정확하게 분석하고 유해한 원료인지 등의 정보를 알려주는 측면에서는 건투가 우위에 있지만, 사용자가 직접 정보를 입력해야 한다는 불편함이 있습니다.
- 유사한 종류의 어플리케이션으로 “건강한알”이라는 어플리케이션이 존재합니다.
2.마케팅 전략 제시
- 타 어플리케이션은 성분을 직접 입력하는 방식으로써, 일일이 입력해야 한다는 불편함이 있지만, 본 어플리케이션은 촬영만으로 분석해주는 간단함과 용이성을 강조합니다.
- 섭취중인 건강보조식품의 영양 성분 함량 정보를 합산 및 관리하여 건강관리에 효과적임을 강조합니다.
- 일반 소비자들이 보기에 복잡하며 판별하기 어려운 성분명을 간단하게 촬영하는 방식으로 알려줌으로써, 자신이 섭취하는 건강기능식품의 각 성분이 어떠한 기능을 수행하고 있는지에 대한 정보를 제공합니다.
개발과제의 기대효과
기술적 기대효과
- 기존의 광학 문자 인식(OCR)을 객체 인식(YOLO)와 함께 수행하여 정확도를 높입니다.
- 단순히 OCR을 수행하지 않고 YOLO를 통해 필요한 정보만을 구분하여 효율적으로 OCR을 수행할 수 있습니다.
- 모든 정보를 한 번에 OCR 하지 않고 단계적으로 진행하여 OCR의 정확성과 효율성을 높입니다.
- OCR의 수행결과를 필터링하고 OCR을 여러 번 수행하여 정확성을 높입니다.
경제적, 사회적 기대 및 파급효과
- 건강기능식품을 섭취할 때 필요한 성분을 명확하게 알 수 있고 오용 및 남용을 줄일 수 있습니다.
- 기존에 있는 스마트폰을 활용하기 때문에 다른 장치가 필요하지 않습니다.
- 학습된 모델을 발전시켜 건강기능식품의 성분명이 더 복잡한 경우에도 적용할 수 있습니다.
- 화학품으로 가능한 영역을 발전시킬 경우 화학 물질 관련 사고를 줄일 수 있습니다.
기술개발 일정 및 추진체계
개발 일정
[그림 5] 개발 일정
구성원 및 추진체계
[그림 6] 구성원
[그림 7] 추진 체계
설계
설계사양
제품의 요구사항
[그림 8] 요구사항 명세서
[그림 9] 요구사항에 따른 기능 명세서
개념설계안
- 영양 성분표를 제공받으면 분석한 내용을 보여준다.
- 사용자가 어플을 통해서 영상을 촬영한다.
- 사용자로부터 유저의 신체정보를 입력받는다.
- 영양성분과 신체정보에 따라 결과를 정리하여 제공한다.
[그림 10] 개념 설계안
소프트웨어 설계
- 각 모듈로 분리하여 나타낸 그림
- 카메라 모듈은 안드로이드에서 제공하는 라이브러리를 사용하여 동영상을 촬영한다.
- 개체 분석 모듈에서는 카메라 모듈로부터 이미지를 받고 Tensorflow library의 YOLO를 사용하여 개체를 탐지한다.
- 텍스트 분석 모듈에서는 인식한 개체를 받고 google cloud vision api를 사용하여 텍스트를 인식한다.
- 텍스트를 가공하여 영양성분을 제공하고 사용자에게 신체정보를 받아 일일 권장 영양섭취를 제공한다.
[그림 11] 소프트웨어 설계
디자인
- Google Material Design
- 디자이너가 없는 개발환경을 위해 개발된 Google Material Design
- 일관적인 UX 디자인으로 기존 다양한 Android APP을 사용하는 사용자들에 대한 사용 편의성 보장
- 디자인 기법에 대한 조언들로 해당 Tool을 사용함에 따른 디자인 철학을 유지
- UI를 구성하는 요소로 사용
UI 정의
- 어플리케이션을 실해하면 로딩화면을 처음 접하게된다.
- 로딩이 끝나고 메인 화면으로 넘어간다.
- 메인 화면에서 동영상 버튼이 있고 버튼을 누르면 탐지화면으로 넘어간다.
- 탐지화면에서 탐지버튼을 누르고 탐지가 끝났다는 알람이 나오면 결과하면으로 넘어간다.
- 결과화면에서는 분석한 영양성분 및 개인 신체정보에 따른 일일 권장 영양섭취량을 제공한다.
[그림 12] UI Flow
유스케이스
[그림 13] 유스케이스 다이어그램
액티비티
[그림 14] 액티비티 다이어그램
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
[그림 15] 프로토타입 화면
완료작품의 평가
[그림 16] 완료 작품의 평가
향후 평가
1. 어려웠던 내용들
- YOLO를 활용하여 텍스트를 인식하는 과정
- 학습시킬 데이터의 양을 충분히 구하는 과정
- YOLO를 학습할 때 LOSS는 충분히 줄어도 실제 객체를 탐지하지 못하는 현상
- 모바일 어플리케이션을 구현하며 카메라 촬영을 사용
- 건강기능식품의 성분표를 정확하게 인식
- 카메라로 객체 탐지를 시행하면 OCR 작업이 오래 걸려 이를 비동기로 실행
- 한 번의 OCR 과정으로는 읽기 작업이 부정확
- OCR 과정에서 모든 글자가 하나하나 정확하게 읽는 과정
- Supplement Facts의 항목 개수, 종류에 대한 유동성
- 고정값으로 되어있던 Layout Parameter들을 디자인의 기기 호환성
2. 차후 구현할 내용
- 시중에 있는 건강기능식품의 성분표를 확보하여 데이터베이스에 저장 후 어떤 건강기능식품인지 알려주는 서비스
- 사용자의 신체 특성과 제품의 적합도를 분석
- 건강기능식품의 성분표 인식을 기반으로 도메인 발전
- 촬영을 수동으로 진행하는데 추후 영상을 통해 인식하도록 발전
- 추가적인 데이터셋 확보를 통해 더 정확한 학습 모델을 학습
