15년째 달걀초밥

프로젝트 개요

기술개발 과제

국문 : 중동 기반 피부 타입과 K-뷰티 스킨케어 매칭 서비스

영문 : K-Skin Type Matching Service for UAE Market

과제 팀명

15년째 달걀초밥

지도교수

황*수 교수님

개발기간

2023년 3월 ~ 2023년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20159200** 조*재(팀장)

서울시립대학교 컴퓨터과학부 20179200** 이*재

서울시립대학교 컴퓨터과학부 20189200** 이*민

서울시립대학교 컴퓨터과학부 20189200** 최*휘

서론

개발 과제의 개요

개발 과제 요약

◇ 중동 시장을 타깃으로 한 K-스킨케어 매칭 서비스

◇ 바우만 테스트를 활용해 16가지로 분류된 피부 타입 정보 제공

◇ 본인의 피부 타입에 맞는 화장품 매칭 서비스와 맞지 않는 화장품에 대한 인지 서비스

◇ CF(Collaborative Filtering) 원리를 이용한 사용자 친화적 화장품 추천 서비스

◇ OCR(Optical Character Recognition) 기술을 이용한 화장품 매칭 서비스

개발 과제의 배경

◇ 낮은 피부 타입 인지 수준

커머스 플랫폼 Shopify의 22년 조사에 따르면, 전 세계의 뷰티 산업계에서 $100 B가 소비되고 있으며, 유럽 사람들의 화장품에 대한 23년 예상 소비액은 $24.5 B로 예상하고 있다. 이는 전 세계적으로 화장품 산업이 증가하고 있음을 뒷받침한다. 반면 뷰티 마켓 기업인 Professional Beauty는 22년 기준, 63%의 미국 여성들이 본인들의 피부 타입에 대해 알지 못하고 있고 이로 인해 부적절한 화장품을 사용함으로써 피부에 손상을 가한 경험이 있다고 밝혔다. 이는 본인의 피부 타입에 대한 인지 수준이 빠르게 증가하고 있는 뷰티 시장의 속도를 따라가지 못하고 있음을 보인다. 해당 문제점을 해결하기 위해 MBTI와 같이 16가지 피부 타입 분류 정보를 제공하는 바우만 테스트를 이용하기로 계획했다. 바우만 테스트를 이용했을 때의 효과는 MBTI로 얻어진 효과로 예상할 수 있다. CMG(COLOSSUS MEDIA GROUP) 에이전시는 쉽고 분류된 정보를 통해 다른 사람들과 정보를 공유하며 본인의 타입과 강점, 장점들에 대한 인지 능력을 향상시킬 수 있다는 점이 MBTI의 긍정적 효과라고 밝혔다. 본 개발 과제 역시 바우만 테스트의 결과를 활용해 피부 타입에 대한 접근성을 높임으로써 피부 타입에 대한 인지 수준의 향상을 기대하고 있다.

◇ 성분 기반 화장품 매칭 서비스의 진입장벽 및 중동을 타겟팅한 서비스의 부재

한국의 유명한 화장품 플랫폼 서비스로는 ‘화해’가 있다. 하지만, 화해에서는 본인의 피부 타입에 대한 일정 수준 이상의 인지 능력을 요구하고 있다. 본인의 피부 타입이 어떠한지, 어떠한 성분이 필요할지를 고객이 알고 접근하기를 기대하고 있다. 그러나 17년 연합뉴스 기사에 따르면, 한국인의 60%가 본인의 피부가 민감성이라 평가했다고 밝혔다. 즉 본인의 피부 타입에 대해 막연히 민감성 타입이라고 판단하고 화해와 같은 앱에서 민감성 피부에 맞는 화장품을 구매하고 있는 상황인 것이다. 본 개발 과제는 중동 시장을 타깃으로 하기 때문에 중동 시장에 대한 화장품 플랫폼 서비스의 존재 유무도 확인할 필요가 있었다. 확인 결과 중동 시장에서는 성분을 기반으로 검색 가능한 화장품 플랫폼 서비스가 존재하지 않았고 화장품에 대한 검색 결과로만 화장품의 성분에 대한 정보를 얻을 수 있었다. 따라서 본 개발 과제를 통해 얻을 수 있는 효과는 기존 화해와 같은 필요 성분 인지에 대한 진입장벽을 낮추어줄 뿐 아니라 중동에서 활성화되어 있지 않은 피부 타입 기반 검색 플랫폼을 제공함으로써 더 쉽고 맞춤형의 정보를 전달할 수 있다는 점이다.

◇ 기존에 사용 중인 화장품에 대한 낮은 수준의 성분 인지 정도

시중에서 판매되고 있는 화장품에 대한 성분 정보는 보통 화장품의 포장 포장지에 기재되어 있다. 하지만 화장품을 사용하는 대부분의 소비자들은 화장품 용기를 별도로 보관하지 않는다. 따라서 화장품에 대한 성분 정보를 얻기 위해서는 소유하고 있는 화장품을 검색해야 한다. 하지만 이를 통해 얻은 성분 정보가 본인의 피부 타입과 어떤 연관관계가 있는지를 파악하는 것은 쉽지 않다. 본 개발 과제는 위와 같은 상황을 개선하기 위해 OCR 기술을 이용해 화장품에 대한 성분 정보를 쉽게 알 수 있도록 하는 것을 기대하고 있다. 그뿐만 아니라 바우만 테스트를 통한 피부 타입의 분류 정보를 이용해 소비자가 소유하고 있는 화장품의 성분이 본인의 피부 타입에 맞는지 혹은 맞지 않는지를 사진 첨부만으로 쉽게 확인할 수 있다.

개발 과제의 목표 및 내용

본 개발 과제는 중동 기반 피부 타입과 K-스킨케어 매칭 서비스를 구축하는 것을 목표로 하고 있다. 본 개발 과제의 목표를 달성하기 위해 아래와 같이 3가지 단계로 목표를 구체화하였다.

◇ 1) 바우만 테스트를 활용한 16가지 피부 타입 정보 제공 및 피부 타입별 화장품 매칭 기능 구축

바우만 테스트를 기반으로 본인의 피부 타입 정보를 확인할 수 있는 테스트 페이지를 제작한다. 소비자는 테스트 진행 후 16가지의 피부 타입 중 본인의 피부 타입에 대한 정보를 얻을 수 있다. 소비자는 별도의 성분 혹은 화장품에 대한 검색 없이도 본인의 피부 타입 정보를 기입할 경우 이에 매칭되는 화장품 제품들을 확인할 수 있다. 그뿐만 아니라 본인의 피부 타입이 피해야 할 성분 정보도 제공받음으로써 현재 사용 중인 화장품이 본인에게 맞지 않는지를 확인할 수 있다.

◇ 2) 소비자 데이터를 기반으로 한 추천 기능 구축

소비자는 본인의 피부 타입에 맞는 화장품들을 확인하더라도 그 종류가 적지 않으므로 특정 제품을 선택하기가 쉽지 않다. 소비자들의 선택의 폭을 줄여주기 위해, 비슷한 유형의 소비자들이 구매 및 클릭한 제품 데이터를 기반으로 소비자가 선호할 만한 제품들을 추천한다.

◇ 3) OCR 기술을 이용한 사진 기반 피부 타입-화장품 매칭 기능 구축

소비자들이 소유하고 있는 제품에 대한 사진을 첨부할 경우 해당 제품의 구성 성분 정보를 얻을 수 있다. 이때 해당 제품에 대한 성분이 특정 피부 타입에 효과적인지 와 유해한지를 확인할 수 있다.

이외에도 소비자가 구매할 의사가 있거나 관심이 있는 제품의 사진을 첨부할 경우 역시 화장품의 성분들에 대한 정보를 피부 타입과 연관 지어 얻을 수 있다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황

◇ 웹 서비스

2010년대 이후로 자바스크립트(JavaScript) 및 브라우저의 발전에 따라 웹 서비스 개발의 핵심 키워드는 클라이언트 사이드 렌더링(Client Side Rendering)과 싱글 페이지 애플리케이션(Single Page Application) 이었다. 그에 맞춰 React.js, Vue.js 및 Angular.js와 같은 프론트엔드에서의 수많은 라이브러리와 프레임워크들이 출시되었고, 현재까지도 활발히 버전 업데이트가 이루어지고 있을 정도로 하나의 생태계를 이루고 있다. 한편, 스마트폰의 발전과 함께 웹 서비스에 접속하는 디바이스가 데스크탑에서 모바일로 옮겨가면서 사용자에게 더 나은 경험을 제공하기 위한 고민이 지속되었고, 이를 배경으로 예전부터 존재했던 서버 사이드 렌더링(Server Side Rendering)과 프로그레시브 웹 앱(Progressive Web App)과 같은 키워드들이 다시 조명 받기 시작했다. 현재 서버 사이드 렌더링의 대표적인 프레임워크는 React.js를 기반으로 한 Next.js이다.자바스크립트가 중심인 프론트엔드와는 달리 백엔드에서는 자바(Java), 고(Go), 파이썬(Python) 등 다양한 프로그래밍 언어 및 런타임에서 개발이 이루어지고 있다. 자바스크립트로는 Node.js 기반의 Express나 Nest.js와 같은 프레임워크들이 대표적이다. 관계형 데이터베이스를 쉽게 접근하기 위해 ORM(Object Relational Model) 라이브러리들을 도입하기도 하는데 TypeORM, Sequelize, Prisma 등을 사용한다.

◇ 협업 필터링(Collaborative Filtering)

협업 필터링은 추천 시스템 중에서 현재까지 가장 우수한 성능을 나타낸다고 알려진 기법으로써, Goldberg et al.(1992)에 의해 그 개념이 처음으로 소개되었다. 협업 필터링은 크게 기억 기반 협업 필터링과 모델 기반 협업 필터링으로 나뉜다(Breese et al., 1998; Resnick et al., 1994). 기억 기반 협업 필터링은 앞서 설명한 방식으로써 사용자 간 유사도를 계산한 뒤 유사도가 높은 사용자가 선택한 아이템을 추천해 주는 방식이다. 협업 필터링 기술은 딥러닝 기술, 특히 그래프 신경망 기술과 연결 지어져 향상된 성능을 보였다. 2017년에 ACM에 기재된 NGCF[1](Neural Graph Collaborative Filtering) 논문은 기존 CF 기반 방식에 HOC(high-order connectivity)가 추가된 모델을 제안했다. HOC란 사용자와 아이템 간의 잠재되어 있는 관계 정보로, NGCF는 GNN(Graph Neural Network) 기술을 이용해 이를 구현했다.

◇ 광학 문자 인식(Optical Character Recognition)

초창기 광학 문자 인식 기술은 머신러닝 기반 문자의 특징 추출 기법과 모델을 결합하여 문자를 검출하고 인식하였다. 딥러닝 기반 OCR 모델인 문자 검출 모델, 문자 인식 모델, End-to-end 모델이 등장했다. 국외에서 상용화된 대표적인 문자 인식 서비스로는 Google사(미국)의 Vision API와 ABBYY사(러시아)의 Fine Reader가 있다. 국내 대표적인 서비스로 네이버 클라우드의 ClovaOCR이 있다. 이러한 서비스들은 openAPI이기에 누구나 쉽게 광학 문자 인식 기술을 활용할 수 있다.

• 특허조사 및 특허 전략 분석

◇ K-뷰티 수출 플랫폼 서비스 제공 시스템(출원번호: 1020210114519)[2]

해당 특허는 K-뷰티 수출 플랫폼 서비스 제공 시스템에 관한 것으로, 바이어의 의뢰에 의한 상품기획, 계약, 디자인, 샘플 제작, 양산품 제작 및 운송의 절차를 하나의 플랫폼 내에서 원스톱으로 진행할 수 있는 시스템을 제공한다.

◇ 카메라 기반 영상의 문자 인식 및 번역 방법(출원번호: 102009005726)[3]

해당 특허는 촬영된 문자 영상에서 인식할 영역을 사용자가 직접 선택해서 문자 인식을 수행하고 사용자가 선택한 문자 또는 단어를 연계된 사전 데이터와 연동 검색해서 그 번역 결과 정보를 화면에 표시하는 시스템을 제공한다.

◇ 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법(출원번호: 1020090068458)[4]

해당 특허는 휴대 단말의 카메라를 이용한 문자 인식처리 장치 및 방법을 제안했다.

• 기술 로드맵

◇ 웹 서비스

◇ 협업 필터링(Collaborative Filtering)

◇ 광학 문자 인식(Optical Character Recognition)

시장상황에 대한 분석

• 경쟁제품 조사 비교

경쟁 제품에 대한 비교를 위해 각 웹 또는 앱에 대한 설명을 참고했다. 단점에 대한 분석을 위해 최신 리뷰를 참고했다.

• 마케팅 전략 제시

본 개발 과제에 대한 SWOT 분석을 이용해 다음과 같은 마케팅 전략을 제안한다.

◇ STRENGTHS

□ 바우만 테스트를 이용한 맞춤형 추천 서비스는 고객의 피부 타입에 따른 적합한 제품 추천으로 서비스 만족도를 높일 수 있다.

□ 자신의 피부 타입을 정확히 알 수 있으며 트러블이 발생할 수 있는 성분을 피할 수 있다.

□ OCR 인식 기술을 통해, 곧바로 오프라인 매장에서 제품 검색을 통해 자신의 피부 타입에 맞는 화장품인지 판단 가능하다.

◇ WEAKNESSES

□ 유의미한 데이터가 축적되기 전에는 피부 타입에 따른 제품 추천 서비스의 모델은 정확하게 추천하기 힘들다.

□ OCR 인식 기술이 네이티브 앱에서 카메라로 구동되는 것이 아니라, 사진 업로드를 통해 진행되는 웹앱 형식으로 고객들은 UX적 불편함을 느낄 수 있다.

◇ OPPORTUNITIES

□ 경쟁사 화해 및 잼페이스와 같은 서비스들은 배타적인 UAE 진출에 있어 어려움이 있어 경쟁상대가 없는 시장이다.

□ 유명세에 비해 공급이 적은 K-Beauty는 타 유명 브랜드에 비해 가격이 저렴하고 우수한 성능을 가지고 있어 양극화되어 있는 시장인 중동 코스메틱 시장에서 Middle-Price 포지션으로 선점이 가능하다.

□ 피부 타입에 의거한 화장품 추천 서비스가 전무한 새로운 시장을 개척한다는 것에 의의가 있다.

□ UAE뿐만 아니라 독자적인 데이터를 쌓으면, 추가적인 플랫폼 비즈니스로 성장 가능하며 타 중동 국가(걸프 국가들)로 진입이 쉬워진다.

□ UAE YAS-Mall에 오프라인 매장 및 자체 공급망을 보유한 산학협력업체의 마케팅적 도움을 받아 서비스 성숙도를 빠른 시간에 올릴 수 있다.

◇ THREATS

□ 타 코스메틱 대기업 브랜드가 진입할 경우, 서비스 자체에 특별한 기술적 장점이 없어 진입장벽이 높지 않다.

□ 단순한 유행으로 서비스의 트래픽이 감소할 경우, 시장에서 서비스를 유지하기 어렵다.

개발과제의 기대효과

기술적 기대효과

◇ 사용자는 16가지로 쉽게 분류된 피부 타입 정보를 이용해 본인의 피부에 맞는 제품을 선택할 수 있고 트러블을 유발할 수 있는 제품을 피할 수 있다.

◇ 사용자는 화장품의 성분에 대한 정보를 단순 사진 첨부를 통해 쉽게 확인할 수 있을 뿐 아니라 추천, 비추천 피부 타입에 대한 정보를 알 수 있다.

경제적, 사회적 기대 및 파급효과

◇ 피부 타입 인지도 향상으로 인한 전반적 피부 개선

사람에 대한 첫인상은 대개 3초면 결정된다고 한다. 3초의 결정 과정 속에서 깨끗한 피부는 첫인상에 매우 큰 영향을 미친다. 하지만 피부는 매우 민감하기 때문에 쉽게 트러블이 생길 뿐 아니라 피부 관리를 위해 드는 비용과 노력이 만만치 않다.

피부 트러블을 개선하기 위한 기본적인 방법은 본인의 피부 타입에 맞는 화장품을 사용하는 것이다. 본 개발 과제는 사용자들이 본인의 피부 타입을 쉽게 알 수 있도록 하기 때문에 사용자는 이에 맞는 화장품을 쉽게 찾을 수 있고 트러블의 발생 정도를 낮출 수 있다. 따라서 사용자들의 전반적인 피부 상태를 개선할 수 있다.

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

◇ 조민재(팀장) 기획(담당), 디자인(담당)

◇ 이명재 기획, 프론트엔드(담당), 백엔드(담당)

◇ 이상민 기획, 프론트엔드(담당), 백엔드(담당)

◇ 최석휘 기획, 백엔드, 딥러닝(담당)

설계

설계사양

제품의 요구사항

설계 사양

1. 바우만 피부타입 테스트를 통한 피부타입 정보 제공

2. 피부타입에 맞는 화장품 리스트 제공

3. 자신의 피부타입과 어울리는 화장품 매칭

4. Google 기반 로그인

5. 화장품 리스트 필터링 제공

6. 화장품 찜하기 기능 제공

7. 자신과 비슷한 유형을 가진 사람들의 조회이력을 바탕으로 화장품 추천 시스템

8. OCR 기능을 이용한 사진 기반 화장품 정보 제공 서비스

9. 자신의 피부타입 공유 기능 제공

기능 구현을 위한 세부기술 선택사항 (디자인)

◇ 복숭아(DRPT) DRPT 유형인 당신은 여드름과 모공 없는 타고난 피부를 가지고 계시네요! 고운 피부결을 가지고 있으며, 염증 반응도 거의 없어 축복받은 피부라고 할 수 있어요. 하지만 건조하고 자외선에 취약하기 때문에, 이에 대한 관리가 필요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 풋사과(DRNW) DRNW 유형인 당신, 여드름이나 트러블에 강한 피부를 갖고 계시네요! 그러나 피부가 건조한 편이라 잔주름이 생기기 쉬운 타입이기 때문에 노화 방지를 위한 관리가 필요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 머스크멜론(DRPW) DRPW 유형인 당신은 피부의 민감도가 적어 자극에 강한 피부를 가지고 계시네요! 여드름이 거의 나지 않아 스트레스 받을 일이 적었을 거예요. 하지만 색소와 주름에 취약하기 때문에, 충분한 수분 관리와 자외선 차단이 필수적이에요. 몇 가지 솔루션들을 알아볼까요?

◇ 석류(DRNT) DRNT 유형인 당신, 깨끗한 피부결과 함께 피부 문제가 거의 없는 건강한 피부를 가지고 계시는군요! 하지만 평소에 살짝 건조함을 느끼셨을 수도 있어요. 각질 관리와 수분 관리를 받아준다면 큰 도움이 된답니다. 몇 가지 솔루션들을 알아볼까요?

◇ 라즈베리(DSPT) DSPT 유형인 당신, (주름이 적은?) 피부를 가지고 계시네요! 그러나 평소에 염증이 잘 생기지 않으셨나요? 이 유형은 염증이 쉽게 일어날 수 있고, 탄력이 부족하기 때문에 평소에 보습관리를 해주는 것이 매우 중요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 바나나(DSPW) DSPW 유형인 당신, 계절과 환경 별로 특별한 관리가 필요한 피부를 갖고 있어요. 이 유형은 민감한 편이고 건조함을 잘 느끼기 때문에 다른 타입보다 더 특별한 관리가 필요해요. 잘못된 관리를 하게 되면 피부가 더욱 안좋아질 수 있기 때문이죠. 건강한 피부를 만들기 위해, 몇 가지 솔루션들을 알아볼까요?

◇ 밤(DSNT) DSNT 유형인 당신, 다크스팟, 주름, 모공이 적은 피부 타입을 가지고 계시는군요? 그러나 적은 자극에도 피부가 붉어지고, 건조함이 쉽게 찾아올 수 있어요. 저자극 클렌징 제품을 사용하고, 오메가-3를 섭취하는 것이 이런 문제를 해결하는데 도움될 수 있어요. 몇 가지 솔루션들을 알아볼까요?

◇ 아보카도(DSNW) DSNW 유형인 당신, 다른 타입보다 균일한 피부 톤을 가지고 계시네요! 그러나 이 유형은 매일 컨디션이 달라지는 속건조 피부이기 때문에, 피부 상태를 예측하기 힘들어요. 이러한 민감한 피부는 보습제를 사용하는 것이 큰 도움이 될 수 있어요. 몇 가지 솔루션들을 알아볼까요?

◇ 망고(ORPT) ORPT 유형인 당신, 주름과 자극에 강한 스킨을 가지고 계시네요! 자극에 민감하게 반응하지 않는 건강한 지성피부 이에요. 하지만 피지 조절이 안돼서 여드름이 날 수 있기 때문에 평소에 자외선 차단제를 잘 발라주는게 중요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 파인애플(ORPW) ORPW 유형인 당신, 여드름이 쉽게 나지 않는 피부를 가지고 계시는군요? 하지만 모공이 넓고, 피부가 균일하지 않은 편이기 때문에 자외선 차단제를 매일 사용하는 것이 중요해요! 노화 방지를 위한 관리도 필요하고요. 몇 가지 솔루션들을 알아볼까요?

◇ 오렌지(ORNW) ORNW 유형인 당신, 여드름이 쉽게 발생하지 않는 피부를 가지고 계시는군요! 튼튼한 피부라서 자극에 둔감한 편이에요. 하지만 잔주름이 쉽게 생길 수 있기 때문에 관리가 필요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 샤인머스캣(ORNT) ORNT 유형인 당신, 건강하고 광채나는 피부를 가지고 계시는군요? 나이에 비해 피부가 탄력있고 잔주름도 적은 편이에요. 하지만 모공이 크고 블랙헤드가 생길 가능성이 높기 때문에, 모공 관리가 필요해요. 몇 가지 솔루션들을 알아볼까요?

◇ 무화과(OSPT) OSPT 유형인 당신, 주름이 쉽게 생기지 않는 피부를 가지고 계시네요! 하지만 피지, 색소 침착이 발생하기 쉬운 타입이에요. 민감성 제품을 사용하고, 오일 베이스 제품들은 피하는게 도움이 될 수 있어요. 몇 가지 솔루션들을 알아볼까요?

◇ 서양배(OSPW) OSPW 유형인 당신, 세심한 관리가 필요한 피부를 갖고 있어요. 이 유형은 여드름, 색소, 주름이 발생하기 쉬운 피부 타입이기 때문에 다른 타입보다 더 전문적인 관리가 필요해요. 잘못된 관리를 하게 되면 피부가 더욱 안좋아질 수 있기 때문이죠. 건강한 피부를 만들기 위해, 몇 가지 솔루션들을 알아볼까요?

◇ 토마토(OSNT) OSNT 유형인 당신, 나이에 비해 탄력있고 잔주름도 많지 않은 피부를 가지고 계시네요! 나이가 들수록 오히려 관리가 쉬운 타입이에요. 그러나 이 유형은 염증으로 붉은기가 얼굴에 보일 수 있는데, 저자극의 수분 제품으로 관리해주시는 것이 도움될 수 있어요. 몇 가지 솔루션들을 알아볼까요?

◇ 체리(OSNW) OSNW 유형인 당신, 햇빛에 잘 타지 않는 피부를 가지고 계시는군요? 이 유형은 색소 침착에 강한 피부이에요. 그러나 주름이 생기기 쉽기 때문에 노화 방지를 위한 관리가 필요해요. 몇 가지 솔루션들을 알아볼까요?

각 캐릭터 디자인은 캡스톤 이후에도 계속해서 진행 중이므로, 지금까지 나온 디자인에 대해서만 첨부하였다.

개념설계안

◇ 바우만 테스트를 이용한 사용자의 피부타입 인지 과정

1. 사용자는 [표 1]의 전반적인 과정을 통해 바우만 테스트를 진행하며 본인의 피부타입에 대한 정보를 얻을 수 있다.

2. 사용자는 [단계 1]에서 보이는 예시와 같이 4가지 파트인 SEBUM(피지), SENSITIVITY(민감도), PIGMENTATION(색소), WRINKLE(주름) 각각 11, 18, 11, 21 개의 각 질문지에 답한다.

3. 모든 질문지에 답변을 마치면, [단계 2]에서 보이는 예시와 같이 답변마다 정해진 점수를 각 파트별로 누적한다.

4. 각 피부 타입별 점수를 기준으로 [단계 3]과 같이 4가지 피부타입 요소를 결정한다. 해당 점수의 기준은 레슬리 바우만 박사의 ‘The SkinType Solution’책에서 제시하는 점수를 기준으로 한다. 최종적으로 사용자는 4가지 파트를 조합하여 [그림 1]과 같은 16가지 피부타입 중 본인의 피부타입에 대한 정보를 얻게 된다.

◇ 피부타입에 기반한 화장품 매칭

1. 바우만 테스트를 통해 사용자는 16가지 피부타입 중 본인의 피부타입을 인지한다.

2. 화장품 매칭은 대한피부과의사회의 발표 자료(표 2)와 식품의약품안전처의 고시안(그림 2)을 기반으로, 화장품의 성분을 이용하여 피부타입 적합 여부를 판별한다.

3. 모든 화장품 성분이 특정 피부타입에 적합하면 사용자에게 화장품을 매칭한다. 단, 하나라도 특정 피부타입에 적합하지 않으면 사용자에게 화장품을 매칭하지 않는다.

4. 따라서 사용자는 본인의 피부타입으로 자신에게 맞는 제품을 확인할 수 있다.

<예시>

① 사용자는 [그림 2]와 같이 OSPT 피부타입이다.

② 지성 피부타입(O)과 민감성 피부타입(S)에 좋은 티타늄옥사이드가 포함된 제품 A와 지성 피부타입(O)에 좋은 성분인 멘톨이 포함된 제품 B를 추천해줄 수 있다.

③ 이때 멘톨 성분은 민감성 피부타입(S)에는 주의가 필요한 성분이므로 매칭 대상에서 제외한다. 즉, 사용자의 피부타입에 대해 한 개 이상 주의해야 하는 성분이 있는 경우 매칭 대상에서 제외한다.

이론적 계산 및 시뮬레이션

◇ 소비자의 조회이력을 이용한 추천 시스템(협업 필터링)

가. 그래프 학습 모델 기반의 협업 필터링

협업 필터링(Collaborative Filtering)은 유사한 조회이력을 가진 두 사용자가 동일한 제품을 조회할 가능성이 높다는 가정에 기반한 추천 메커니즘이다. 협업 필터링 기술은 그래프 학습 기술과 더해지며 사용자와 아이템으로 구성된 이분 그래프 구조에 대한 잠재적인 연결 정보를 얻을 수 있게 되었고 이로 인해 추천의 성능이 발전되었다. 그래프 학습에 이용될 이분 그래프는 하기와 같은 구조를 가지며 사용자와 화장품을 노드로 갖고, 화장품에 대한 사용자의 조회이력이 간선이 된다. 간선은 중복되지 않고 방향성이 존재하지 않는다.

나. 그래프 학습 모델의 유효성 확인

데이터셋으로 이용되었던 이분 그래프가 [표 3]과 같고 이를 통해 학습된 모델이 생성한 특징 행렬이 [표 4]와 같을 때 각 행렬에서 두 명의 사용자들에 대한 벡터를 각각 가져와 피어슨 상관계수를 계산한다. 각 행렬에서 선점된 벡터 간의 상관계수의 유사도가 80% 이상으로 일치한다면 그래프 학습 모델의 특징 벡터 학습이 유효하게 진행되었다고 판단할 수 있다.

다. 화장품 추천

상기와 같이 얻어진 행렬에 대해 사용자와 화장품 노드를 분리한 뒤 각 행렬에 대한 행렬곱을 통해 [표 5]와 같은 행렬을 얻는다. 이에 대해 사용자별 화장품의 임베딩 값을 정렬시킨 뒤 K개만큼 추출해 제공함으로써 추천 리스트를 생성한다.

◇ 사용자와 아이템의 메타 데이터를 이용한 추천 시스템(컨텐츠 기반)

가. 사용 배경

이론적으로 협업 필터링 기반의 추천 시스템이 컨텐츠 기반의 추천 시스템보다 높은 성능을 보임을 증명되었다. 하지만 협업 필터링 기반 추천 시스템은 사용자의 구매(조회) 기록이 존재해야하며 데이터가 풍부할수록 더 높은 정확도를 보인다. 그러나 본 개발 과제를 진행함에 있어 조회 기록이 없는 초기 사용자들(cold starter)에 대한 추천이 불가하다는 문제 상황에 직면했다. 따라서 이 문제를 해결하기 위해 기존 협업 필터링 기반 추천 방식에 더해 컨텐츠 기반의 추천 방식을 추가하는 것을 기획하게 되었다.

나. 사용 배경

컨텐츠 기반의 추천 시스템은 특정 사용자의 선호를 추천할 때, 다른 사용자 정보를 요구하지 않는다. 한 아이템에 대한 한 사용자의 선호 정보가 존재할 때, 해당 아이템은, 아이템 자체에 대한 프로파일을 이용해 해당 아이템에 대한 선호를 보인 유저의 프로파일을 구성한다. 본 개발 과제에 컨텐츠 기반의 추천 시스템을 적용하는 방법은 다음과 같다. 화장품(아이템)은 특정 유저에 의해 조회된다. 이때 조회 정보는 사용자에 대한 프로파일을 구축하고 기존 아이템이 소유하고 있던 프로파일과의 유사도를 비교하여 사용자에게 제품을 추천하게 된다.

상세설계 내용

• 소프트웨어 설계

• 데이터베이스 설계 (ERD)

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

관련사업비 내역서

완료작품의 평가

향후계획

• 어려웠던 내용들

◇ OCR 기능에 대한 정확도 문제

기존에 사용했던 모델은 이미지 내 텍스트를 추출해서 데이터를 인식하는 구조였다. 그러나 해당 방식은 이미지의 해상도나, 화장품 내 텍스트가 많으면 많을수록 정확도가 낮아지는 경향이 있다. 따라서 가지고 있는 데이터의 이미지를 학습하는 모델을 따로 만들어야 한다.

◇ 그래프 데이터를 이용한 인공지능 모델 구축

기존 추천 시스템 모델들은 Matrix Factorization(행렬 분해) 방식을 이용해 특징들을 벡터화 시킨 뒤 모델 훈련을 진행했다. 이에 그래프 데이터 구조를 이용해 훈련을 진행하고자 했으나, 그래프 구조를 이용한 추천 모듈이 상용화되어 있지 않아 keras 라이브러리를 이용해 만드는데 어려움이 있었다.

• 산학협력 피드백

• 차후 구현할 내용

◇ 캐릭터 디자인 완성

◇ OCR 학습 모델의 정확도 문제 해결

◇ 실 서비스를 이용한 데이터 누적과 이를 이용한 추천 시스템 성능 개선

◇ 유저/산학 피드백에 따른 UI/UX 플로우 개선