풀스택큐트리

프로젝트 개요

기술개발 과제

국문 : 이미지 분석을 통한 고양이 감정 및 행동 기반 일기장 자동 생성 앱 프로젝트

영문 : App project that automatically generates diary based on cat emotion and behavior through image analysis

과제 팀명

풀스택큐트리

지도교수

황혜수 교수님

개발기간

2021년 3월 ~ 2021년 6월 (총 4개월)

구성원 소개

서울시립대학교 컴퓨터과학부 20169200** 이**(팀장)

서울시립대학교 컴퓨터과학부 2016XXX0** 노**

서울시립대학교 컴퓨터과학부 2016XXX0** 도**

서울시립대학교 컴퓨터과학부 2016XXX0** 최**

서울시립대학교 컴퓨터과학부 2015XXX0** 황**

서론

개발 과제의 개요

개발 과제 요약

• 고양이 일기장 플랫폼을 iOS, Android 앱으로 제공합니다.
• 최신 컴퓨터 비전 딥러닝 기술로 고양이의 행동 및 감정 패턴 이미지를 분석하여 글을 생성하여 마치 고양이가 일기장을 쓴 것 같은 경험을 제공합니다.
• 고양이마다 챗봇을 제작하여 유저에게 즐거움을 제공합니다.

개발 과제의 배경

• 저희의 이미지의 고양이의 행동 및 감정 분석은 저희만의 독창적 기술입니다. 특히 학습용 데이터를 따로 구하지 않아도 된다는 점에서 학습 비용을 절감합니다.

개발 과제의 목표 및 내용

• 초 저비용으로 인공지능 API 및 서버를 설계합니다.
• 고양이 감정 분석 기술과 챗봇 기술을 제공합니다.
• 무중단 배포를 통한 안정적인 서비스를 운영합니다.
• 크로스 플랫폼 웹앱을 제공합니다.

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

• 전 세계적인 기술현황
  • CLIP : Learning Transferable Visual Models From Natural Language Supervision 은 Open AI 에서 만든 혁신적인 인공지능 모델입니다. 기존에는 지도학습으로 이미지에 대한 라벨 정보를 학습을 할 수가 있었는데 CLIP은 이미지에서 추출한 피처 정보와 텍스트에서 얻은 피처 정보 사이의 유사도를 계산하는 것을 학습합니다. 따라서 처음 본 라벨의 정보가 입력으로 들어와도 CLIP은 Zero-shot classifier를 통해 이미지의 정보를 분류할 수가 있습니다.
  • Transformer : 챗봇을 생성하기 위해 사용합니다. 트랜스포머(Transformer)는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델입니다. 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델입니다. 이 모델은 인코더-디코더 구조를 설계하였음에도 성능이 RNN보다 우수하다는 특징을 갖고있습니다. 이는 Hidden State정보를 RNN 바로 직전의 벡터만 고려하지만 Transformer는 전체 Conext의 정보를 고려하기 때문입니다.
  • Jenkins : 젠킨스(Jenkins)는 소프트웨어 개발 시 지속적 통합 서비스를 제공하는 툴입니다. 젠킨스를 통해 빌드 자동화가 가능합니다. 또한 소프트웨어 빌드 현황에 대한 대쉬보드를 제공하여 여러가지 배포 작업의 상황을 모니터링 할 수 있습니다. 이를 통해 프로젝트 진행의 효율성을 높일 수 있습니다.
  • AWS : 현재의 예산으로 On-premise의 서버를 구성하는 것은 불가능하며 최근 대부분의 기업들이 사용하고 있는 클라우드 서버를 이용함으로써 예산을 감축합니다. 서비스의 규모에 맞게 서버의 성능을 결정지을 수 있는 장점을 갖고 있으며 Scale up/out시에도 유연하게 처리가 가능하며 무엇보다 서버를 구성함에 있어 네트워크, 보안 등을 관리함에 있어 On-premise보다 훨씬 간편하게 관리가 가능합니다.
• 특허조사 및 특허 전략 분석

Open AI CLIP은 MIT License를 따르고 있어 영리적 목적으로 사용가능합니다.

• 기술 로드맵

내용

시장상황에 대한 분석

• 경쟁제품 조사 비교

기존 경쟁 제품들에 있어서 동물 감정 분석이란 음성으로 분석을 시도하는데 저희는 이미지 기반으로 동물들의 감정 분석이 가능합니다.

• 마케팅 전략 제시
  • 마케팅 전략은 Customer Driven Marketing Strategy를 사용합니다.
  • Customer Driven Marketing Strategy은 타겟 마켓을 식별하기 위해 마케팅을 하면서 그들의 요구에 지속적으로 대응하는 것입니다. 이러한 마케팅 전략은 고객을 유지하고 고객과 강력한 관계를 구축하는데 도움이 됩니다. 고양이 관련 동아리 운영진의 요구에 지속적으로 대응하면서 끈끈한 관계를 유지할 예정입니다.
  • 이후 서비스 안정화가 된 이후 서비스의 확대가 가능하면 서울시립대 이외에도 다른 서울 주요 대학을 대상으로 서비스를 확대할 예정입니다.
  • Tensorflow KR 등 커뮤니티에 관심을 환기시키면서 저희 어플리케이션의 가치를 키워나갈 것입니다. 그 후 Naver D2나 스타트업처럼 확장을 고려할 것입니다.

개발과제의 기대효과

기술적 기대효과

• 고양이 감정 분석 기술과 챗봇 기술을 제공합니다.
• 초 저비용으로 인공지능 API 및 서버를 서비스합니다.
• 무중단 배포를 통한 안정적인 서비스를 운영합니다.
• 크로스 플랫폼 웹앱을 제공합니다.

경제적, 사회적 기대 및 파급효과

• 고양이 페르소나를 제공하여 코로나 시국으로 인하여 외로움을 많이 타는 현대인들에게 힐링 효과를 줍니다.

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

• 최형진 - 냥중일기 UI/UX, 크로스 플랫폼 앱 설계 및 구현, Play 스토어 출시
• 이승현 - 고양이 일기장 생성 인공지능 제작, 챗봇 제작
• 황제홍 - AWS EC2, RDS를 사용한 배포환경 구축 및 관리, API Server 구현(User)
• 도형림 - 데이터베이스 설계 및 구축, API Server 구현(Cat, Follow)
• 노원석 - API Server 구현(Diary), 분산 비동기 작업 처리, 빌드 및 배포 자동화

설계

설계사양

제품의 요구사항

내용

설계 사양

내용

개념설계안

내용

이론적 계산 및 시뮬레이션

내용

상세설계 내용

내용

고양이 일기장 사진 제출

올리고자 하는 사진을 선택 후 Drag, pinch and zoom으로 간단한 편집을 합니다. 해당 일기장에 원하는 해시태그를 추가합니다 고양이 . 이름이나 특징 상황에 , 대한 묘사를 추천합니다. 업로드 후 고양이가 일기장을 다 쓰고 게시하면 알림이 옵니다.

고양이 챗봇

하단 Navigation bar의 세번째 탭 (고양이 아이콘) 을 터치하면 아래와 같이 챗봇 목록이 나온다. 하나를 선택하여 챗봇 대화를 할 수 있다.

포스터

내용

관련사업비 내역서

내용

완료작품의 평가

내용

향후계획

앱스토어 출시 - 현재 플레이스토어를 통해 안드로이드 앱으로 배포 및 출시한 상태입니다. iOS에 맞는 설정 및 빌드 후, 앱스토어에 출시할 예정입니다.

메인페이지 무한스크롤 도입 - 현재 일기장 리스트를 서버로부터 요청할 때, 모든 일기장을 불러오고 있습니다. 저장된 일기장이 많아질수록 문제가 생길 것 입니다. 따라서, 무한스크롤을 도입해서 유저가 원한 만큼의 일기장만 받아올 수 있도록 수정할 예정입니다.

다양한 유저 반응 추가 - 일기장에 대한 유저의 반응은 좋아요 기능, 단 하나밖에 없습니다. 좀더 다양한 커뮤니케이션이 가능하도록 일기장 댓글 기능을 추가할 예정입니다.

고양이 판별기 추가 - 만약 고양이 사진이 아닌 사진을 무분별하게 업로드하는 것을 방지하기 위해서 고양이 사진을 감지하는 인공지능을 도입할 예정입니다.

챗봇 고양이 추가 - 챗봇 고양이 종류는 상담 고양이와 무야호 고양이, 단 2종류로, 사용자가 고양이 챗봇 기능을 즐기기에는 한없이 부족합니다. 따라서, 유저가 저희 앱을 더 재미있게 즐길 수 있도록 하기 위해서 다양한 종류의 고양이 챗봇을 제공할 예정입니다.

특허 출원 내용

내용