15년째 달걀초밥

프로젝트 개요

기술개발 과제

국문 : 중동 기반 피부 타입과 K-뷰티 스킨케어 매칭 서비스

영문 : K-Skin Type Matching Service for UAE Market

과제 팀명

15년째 달걀초밥

지도교수

황*수 교수님

개발기간

2023년 3월 ~ 2023년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20159200** 조*재(팀장)

서울시립대학교 컴퓨터과학부 20179200** 이*재

서울시립대학교 컴퓨터과학부 20189200** 이*민

서울시립대학교 컴퓨터과학부 20189200** 최*휘

서론

개발 과제의 개요

개발 과제 요약

◇ 중동 시장을 타깃으로 한 K-스킨케어 매칭 서비스

◇ 바우만 테스트를 활용해 16가지로 분류된 피부 타입 정보 제공

◇ 본인의 피부 타입에 맞는 화장품 매칭 서비스와 맞지 않는 화장품에 대한 인지 서비스

◇ CF(Collaborative Filtering) 원리를 이용한 사용자 친화적 화장품 추천 서비스

◇ OCR(Optical Character Recognition) 기술을 이용한 화장품 매칭 서비스

개발 과제의 배경

◇ 낮은 피부 타입 인지 수준

커머스 플랫폼 Shopify의 22년 조사에 따르면, 전 세계의 뷰티 산업계에서 $100 B가 소비되고 있으며, 유럽 사람들의 화장품에 대한 23년 예상 소비액은 $24.5 B로 예상하고 있다. 이는 전 세계적으로 화장품 산업이 증가하고 있음을 뒷받침한다. 반면 뷰티 마켓 기업인 Professional Beauty는 22년 기준, 63%의 미국 여성들이 본인들의 피부 타입에 대해 알지 못하고 있고 이로 인해 부적절한 화장품을 사용함으로써 피부에 손상을 가한 경험이 있다고 밝혔다. 이는 본인의 피부 타입에 대한 인지 수준이 빠르게 증가하고 있는 뷰티 시장의 속도를 따라가지 못하고 있음을 보인다. 해당 문제점을 해결하기 위해 MBTI와 같이 16가지 피부 타입 분류 정보를 제공하는 바우만 테스트를 이용하기로 계획했다. 바우만 테스트를 이용했을 때의 효과는 MBTI로 얻어진 효과로 예상할 수 있다. CMG(COLOSSUS MEDIA GROUP) 에이전시는 쉽고 분류된 정보를 통해 다른 사람들과 정보를 공유하며 본인의 타입과 강점, 장점들에 대한 인지 능력을 향상시킬 수 있다는 점이 MBTI의 긍정적 효과라고 밝혔다. 본 개발 과제 역시 바우만 테스트의 결과를 활용해 피부 타입에 대한 접근성을 높임으로써 피부 타입에 대한 인지 수준의 향상을 기대하고 있다.

◇ 성분 기반 화장품 매칭 서비스의 진입장벽 및 중동을 타겟팅한 서비스의 부재

한국의 유명한 화장품 플랫폼 서비스로는 ‘화해’가 있다. 하지만, 화해에서는 본인의 피부 타입에 대한 일정 수준 이상의 인지 능력을 요구하고 있다. 본인의 피부 타입이 어떠한지, 어떠한 성분이 필요할지를 고객이 알고 접근하기를 기대하고 있다. 그러나 17년 연합뉴스 기사에 따르면, 한국인의 60%가 본인의 피부가 민감성이라 평가했다고 밝혔다. 즉 본인의 피부 타입에 대해 막연히 민감성 타입이라고 판단하고 화해와 같은 앱에서 민감성 피부에 맞는 화장품을 구매하고 있는 상황인 것이다. 본 개발 과제는 중동 시장을 타깃으로 하기 때문에 중동 시장에 대한 화장품 플랫폼 서비스의 존재 유무도 확인할 필요가 있었다. 확인 결과 중동 시장에서는 성분을 기반으로 검색 가능한 화장품 플랫폼 서비스가 존재하지 않았고 화장품에 대한 검색 결과로만 화장품의 성분에 대한 정보를 얻을 수 있었다. 따라서 본 개발 과제를 통해 얻을 수 있는 효과는 기존 화해와 같은 필요 성분 인지에 대한 진입장벽을 낮추어줄 뿐 아니라 중동에서 활성화되어 있지 않은 피부 타입 기반 검색 플랫폼을 제공함으로써 더 쉽고 맞춤형의 정보를 전달할 수 있다는 점이다.

◇ 기존에 사용 중인 화장품에 대한 낮은 수준의 성분 인지 정도

시중에서 판매되고 있는 화장품에 대한 성분 정보는 보통 화장품의 포장 포장지에 기재되어 있다. 하지만 화장품을 사용하는 대부분의 소비자들은 화장품 용기를 별도로 보관하지 않는다. 따라서 화장품에 대한 성분 정보를 얻기 위해서는 소유하고 있는 화장품을 검색해야 한다. 하지만 이를 통해 얻은 성분 정보가 본인의 피부 타입과 어떤 연관관계가 있는지를 파악하는 것은 쉽지 않다. 본 개발 과제는 위와 같은 상황을 개선하기 위해 OCR 기술을 이용해 화장품에 대한 성분 정보를 쉽게 알 수 있도록 하는 것을 기대하고 있다. 그뿐만 아니라 바우만 테스트를 통한 피부 타입의 분류 정보를 이용해 소비자가 소유하고 있는 화장품의 성분이 본인의 피부 타입에 맞는지 혹은 맞지 않는지를 사진 첨부만으로 쉽게 확인할 수 있다.

개발 과제의 목표 및 내용

본 개발 과제는 중동 기반 피부 타입과 K-스킨케어 매칭 서비스를 구축하는 것을 목표로 하고 있다. 본 개발 과제의 목표를 달성하기 위해 아래와 같이 3가지 단계로 목표를 구체화하였다.

◇ 1) 바우만 테스트를 활용한 16가지 피부 타입 정보 제공 및 피부 타입별 화장품 매칭 기능 구축

바우만 테스트를 기반으로 본인의 피부 타입 정보를 확인할 수 있는 테스트 페이지를 제작한다. 소비자는 테스트 진행 후 16가지의 피부 타입 중 본인의 피부 타입에 대한 정보를 얻을 수 있다. 소비자는 별도의 성분 혹은 화장품에 대한 검색 없이도 본인의 피부 타입 정보를 기입할 경우 이에 매칭되는 화장품 제품들을 확인할 수 있다. 그뿐만 아니라 본인의 피부 타입이 피해야 할 성분 정보도 제공받음으로써 현재 사용 중인 화장품이 본인에게 맞지 않는지를 확인할 수 있다.

◇ 2) 소비자 데이터를 기반으로 한 추천 기능 구축

소비자는 본인의 피부 타입에 맞는 화장품들을 확인하더라도 그 종류가 적지 않으므로 특정 제품을 선택하기가 쉽지 않다. 소비자들의 선택의 폭을 줄여주기 위해, 비슷한 유형의 소비자들이 구매 및 클릭한 제품 데이터를 기반으로 소비자가 선호할 만한 제품들을 추천한다.

◇ 3) OCR 기술을 이용한 사진 기반 피부 타입-화장품 매칭 기능 구축

소비자들이 소유하고 있는 제품에 대한 사진을 첨부할 경우 해당 제품의 구성 성분 정보를 얻을 수 있다. 이때 해당 제품에 대한 성분이 특정 피부 타입에 효과적인지 와 유해한지를 확인할 수 있다.

이외에도 소비자가 구매할 의사가 있거나 관심이 있는 제품의 사진을 첨부할 경우 역시 화장품의 성분들에 대한 정보를 피부 타입과 연관 지어 얻을 수 있다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황

◇ 웹 서비스

2010년대 이후로 자바스크립트(JavaScript) 및 브라우저의 발전에 따라 웹 서비스 개발의 핵심 키워드는 클라이언트 사이드 렌더링(Client Side Rendering)과 싱글 페이지 애플리케이션(Single Page Application) 이었다. 그에 맞춰 React.js, Vue.js 및 Angular.js와 같은 프론트엔드에서의 수많은 라이브러리와 프레임워크들이 출시되었고, 현재까지도 활발히 버전 업데이트가 이루어지고 있을 정도로 하나의 생태계를 이루고 있다. 한편, 스마트폰의 발전과 함께 웹 서비스에 접속하는 디바이스가 데스크탑에서 모바일로 옮겨가면서 사용자에게 더 나은 경험을 제공하기 위한 고민이 지속되었고, 이를 배경으로 예전부터 존재했던 서버 사이드 렌더링(Server Side Rendering)과 프로그레시브 웹 앱(Progressive Web App)과 같은 키워드들이 다시 조명 받기 시작했다. 현재 서버 사이드 렌더링의 대표적인 프레임워크는 React.js를 기반으로 한 Next.js이다.자바스크립트가 중심인 프론트엔드와는 달리 백엔드에서는 자바(Java), 고(Go), 파이썬(Python) 등 다양한 프로그래밍 언어 및 런타임에서 개발이 이루어지고 있다. 자바스크립트로는 Node.js 기반의 Express나 Nest.js와 같은 프레임워크들이 대표적이다. 관계형 데이터베이스를 쉽게 접근하기 위해 ORM(Object Relational Model) 라이브러리들을 도입하기도 하는데 TypeORM, Sequelize, Prisma 등을 사용한다.

◇ 협업 필터링(Collaborative Filtering)

협업 필터링은 추천 시스템 중에서 현재까지 가장 우수한 성능을 나타낸다고 알려진 기법으로써, Goldberg et al.(1992)에 의해 그 개념이 처음으로 소개되었다. 협업 필터링은 크게 기억 기반 협업 필터링과 모델 기반 협업 필터링으로 나뉜다(Breese et al., 1998; Resnick et al., 1994). 기억 기반 협업 필터링은 앞서 설명한 방식으로써 사용자 간 유사도를 계산한 뒤 유사도가 높은 사용자가 선택한 아이템을 추천해 주는 방식이다. 협업 필터링 기술은 딥러닝 기술, 특히 그래프 신경망 기술과 연결 지어져 향상된 성능을 보였다. 2017년에 ACM에 기재된 NGCF[1](Neural Graph Collaborative Filtering) 논문은 기존 CF 기반 방식에 HOC(high-order connectivity)가 추가된 모델을 제안했다. HOC란 사용자와 아이템 간의 잠재되어 있는 관계 정보로, NGCF는 GNN(Graph Neural Network) 기술을 이용해 이를 구현했다.

◇ 광학 문자 인식(Optical Character Recognition)

초창기 광학 문자 인식 기술은 머신러닝 기반 문자의 특징 추출 기법과 모델을 결합하여 문자를 검출하고 인식하였다. 딥러닝 기반 OCR 모델인 문자 검출 모델, 문자 인식 모델, End-to-end 모델이 등장했다. 국외에서 상용화된 대표적인 문자 인식 서비스로는 Google사(미국)의 Vision API와 ABBYY사(러시아)의 Fine Reader가 있다. 국내 대표적인 서비스로 네이버 클라우드의 ClovaOCR이 있다. 이러한 서비스들은 openAPI이기에 누구나 쉽게 광학 문자 인식 기술을 활용할 수 있다.

• 특허조사 및 특허 전략 분석

◇ K-뷰티 수출 플랫폼 서비스 제공 시스템(출원번호: 1020210114519)[2]

해당 특허는 K-뷰티 수출 플랫폼 서비스 제공 시스템에 관한 것으로, 바이어의 의뢰에 의한 상품기획, 계약, 디자인, 샘플 제작, 양산품 제작 및 운송의 절차를 하나의 플랫폼 내에서 원스톱으로 진행할 수 있는 시스템을 제공한다.

◇ 카메라 기반 영상의 문자 인식 및 번역 방법(출원번호: 102009005726)[3]

해당 특허는 촬영된 문자 영상에서 인식할 영역을 사용자가 직접 선택해서 문자 인식을 수행하고 사용자가 선택한 문자 또는 단어를 연계된 사전 데이터와 연동 검색해서 그 번역 결과 정보를 화면에 표시하는 시스템을 제공한다.

◇ 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법(출원번호: 1020090068458)[4]

해당 특허는 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법을 제안했다.

• 기술 로드맵

◇ 웹 서비스

◇ 협업 필터링(Collaborative Filtering)

◇ 광학 문자 인식(Optical Character Recognition)

시장상황에 대한 분석

• 경쟁제품 조사 비교

경쟁 제품에 대한 비교를 위해 각 웹 또는 앱에 대한 설명을 참고했다. 단점에 대한 분석을 위해 최신 리뷰를 참고했다.

• 마케팅 전략 제시

본 개발 과제에 대한 SWOT 분석을 이용해 다음과 같은 마케팅 전략을 제안한다.

◇ STRENGTHS

□ 바우만 테스트를 이용한 맞춤형 추천 서비스는 고객의 피부 타입에 따른 적합한 제품 추천으로 서비스 만족도를 높일 수 있다.

□ 자신의 피부 타입을 정확히 알 수 있으며 트러블이 발생할 수 있는 성분을 피할 수 있다.

□ OCR 인식 기술을 통해, 곧바로 오프라인 매장에서 제품 검색을 통해 자신의 피부 타입에 맞는 화장품인지 판단 가능하다.

◇ WEAKNESSES

□ 유의미한 데이터가 축적되기 전에는 피부 타입에 따른 제품 추천 서비스의 모델은 정확하게 추천하기 힘들다.

□ OCR 인식 기술이 네이티브 앱에서 카메라로 구동되는 것이 아니라, 사진 업로드를 통해 진행되는 웹앱 형식으로 고객들은 UX적 불편함을 느낄 수 있다.

◇ OPPORTUNITIES

□ 경쟁사 화해 및 잼페이스와 같은 서비스들은 배타적인 UAE 진출에 있어 어려움이 있어 경쟁상대가 없는 시장이다.

□ 유명세에 비해 공급이 적은 K-Beauty는 타 유명 브랜드에 비해 가격이 저렴하고 우수한 성능을 가지고 있어 양극화되어 있는 시장인 중동 코스메틱 시장에서 Middle-Price 포지션으로 선점이 가능하다.

□ 피부 타입에 의거한 화장품 추천 서비스가 전무한 새로운 시장을 개척한다는 것에 의의가 있다.

□ UAE뿐만 아니라 독자적인 데이터를 쌓으면, 추가적인 플랫폼 비즈니스로 성장 가능하며 타 중동 국가(걸프 국가들)로 진입이 쉬워진다.

□ UAE YAS-Mall에 오프라인 매장 및 자체 공급망을 보유한 산학협력업체의 마케팅적 도움을 받아 서비스 성숙도를 빠른 시간에 올릴 수 있다.

◇ THREATS

□ 타 코스메틱 대기업 브랜드가 진입할 경우, 서비스 자체에 특별한 기술적 장점이 없어 진입장벽이 높지 않다.

□ 단순한 유행으로 서비스의 트래픽이 감소할 경우, 시장에서 서비스를 유지하기 어렵다.

개발과제의 기대효과

기술적 기대효과

◇ 사용자는 16가지로 쉽게 분류된 피부 타입 정보를 이용해 본인의 피부에 맞는 제품을 선택할 수 있고 트러블을 유발할 수 있는 제품을 피할 수 있다.

◇ 사용자는 화장품의 성분에 대한 정보를 단순 사진 첨부를 통해 쉽게 확인할 수 있을 뿐 아니라 추천, 비추천 피부 타입에 대한 정보를 알 수 있다.

경제적, 사회적 기대 및 파급효과

◇ 피부 타입 인지도 향상으로 인한 전반적 피부 개선

사람에 대한 첫인상은 대개 3초면 결정된다고 한다. 3초의 결정 과정 속에서 깨끗한 피부는 첫인상에 매우 큰 영향을 미친다. 하지만 피부는 매우 민감하기 때문에 쉽게 트러블이 생길 뿐 아니라 피부 관리를 위해 드는 비용과 노력이 만만치 않다.

피부 트러블을 개선하기 위한 기본적인 방법은 본인의 피부 타입에 맞는 화장품을 사용하는 것이다. 본 개발 과제는 사용자들이 본인의 피부 타입을 쉽게 알 수 있도록 하기 때문에 사용자는 이에 맞는 화장품을 쉽게 찾을 수 있고 트러블의 발생 정도를 낮출 수 있다. 따라서 사용자들의 전반적인 피부 상태를 개선할 수 있다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ 조민재(팀장) 기획(담당), 디자인(담당)

◇ 이명재 기획, 프론트엔드(담당), 백엔드(담당)

◇ 이상민 기획, 프론트엔드(담당), 백엔드(담당)

◇ 최석휘 기획, 백엔드, 딥러닝(담당)

설계

설계사양

제품의 요구사항

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

포스터

관련사업비 내역서

완료작품의 평가

향후계획

• 어려웠던 내용들

◇ OCR 기능에 대한 정확도 문제

기존에 사용했던 모델은 이미지 내 텍스트를 추출해서 데이터를 인식하는 구조였다. 그러나 해당 방식은 이미지의 해상도나, 화장품 내 텍스트가 많으면 많을수록 정확도가 낮아지는 경향이 있다. 따라서 가지고 있는 데이터의 이미지를 학습하는 모델을 따로 만들어야 한다.

◇ 그래프 데이터를 이용한 인공지능 모델 구축

기존 추천 시스템 모델들은 Matrix Factorization(행렬 분해) 방식을 이용해 특징들을 벡터화 시킨 뒤 모델 훈련을 진행했다. 이에 그래프 데이터 구조를 이용해 훈련을 진행하고자 했으나, 그래프 구조를 이용한 추천 모듈이 상용화되어 있지 않아 keras 라이브러리를 이용해 만드는데 어려움이 있었다.

• 차후 구현할 내용

◇ 캐릭터 디자인 완성

◇ OCR 학습 모델의 정확도 문제 해결

◇ 실 서비스를 이용한 데이터 누적과 이를 이용한 추천 시스템 성능 개선

◇ 유저/산학 피드백에 따른 UI/UX 플로우 개선