종량제
cdc wiki
프로젝트 개요
기술개발 과제
국문 : 생활 폐기물 배출 정보 제공 어플
영문 : Recycling
과제 팀명
종량제
지도교수
안상현 교수님
개발기간
2021년 3월 ~ 2021년 6월 (총 4개월)
구성원 소개
서울시립대학교 컴퓨터과학부 20149200** 신*동(팀장)
서울시립대학교 컴퓨터과학부 20169200** 정*찬
서울시립대학교 컴퓨터과학부 20189200** 박*현
서울시립대학교 컴퓨터과학부 20189200** 방*
서론
개발 과제의 개요
개발 과제 요약
일상생활 중 배출되는 생활 폐기물의 배출 방법을 안내하는 앱
- 생활 폐기물 사진 분석 후 배출 방법 제안
- - 카메라를 통해 물체를 인식시킴으로써 분리배출 정보를 얻을 수 있는 간편한 기능을 제공
- 커뮤니티 기능 (질문 게시판)
- - 해당 어플 기능만으로 제공되지 않는 정보에 대해 사용자들 간에 질문을 할 수 있다.
- 사진 분석 카테고리에 포함되지 않는 폐기물을 챗봇 기능을 통해 배출 방법 제안
- - 사진 분석 기능만으로 모든 분리배출 품목의 분류가 기술적으로 불가능할 것이라고 판단하여 이러한 배출 품목에 한하여 사용자의 인지 능력의 도움을 받아 최종적으로 배출 방법을 선별할 수 있도록 하는 챗봇 기능을 제공
개발 과제의 배경 및 효과
- 정확한 분리수거의 중요성
- 국내에서 버려지는 쓰레기 종량제 봉투 속 50% 이상의 폐기물이 재활용품으로 분리 배출 할 수 있는 자원이다. (재활용품 분리배출 가이드라인 _ 2018 ) 재활용품으로 선별되지 않은 물건은 일반쓰레기로 배출되기 때문에 재활용 정확도를 높일 필요가 있다.
- 분리배출의 어려움
- 재활용품과 일반쓰레기의 경계가 모호한 물건들이 많다. 이러한 물건들의 분리수거 가능여부를 알기 위해서는 물건마다 분리수거 규정을 자세히 찾아보아야 하는 불편함이 있다.
- 코로나 19 사태 영향으로 생활 폐기물의 사용량이 급증하였다. 일반 가정에서 환경 보호를 위해 재활용에 동참하는 분위기는 형성되고 있지만, 실제로 재활용 비율은 절반에 못 미치는 것으로 드러났다. 따라서 분리배출 이후 재활용률을 높일 수 있는 대책 마련에 힘써야 한다는 목소리가 나오고 있다.
- 위와 같은 상황에 맞춰, 1인 가구를 포함한 일반 가정에서 개인이 핸드폰을 이용하여 재활용품의 분리배출 방법을 손쉽게 얻을 수 있도록 하는 어플의 개발을 진행한다. 각 가정에서 재활용 비율을 증가시키고 이는 최종적으로 국민 전체 재활용 비율의 상승으로 이어져 이를 통해 긍정적인 경제적 효과와 환경적 효과를 얻고자 한다.
개발 과제의 목표와 내용
- 현재 시행중인 ‘재활용품 분리수거제도’를 개인 가정 단위에서 적극 시행할 수 있도록 환경부에서 제공하는 ‘재활용품 분리배출 가이드라인’을 어플리케이션의 기능을 통해 제공함으로써 재활용 실천을 돕는다.
- 상업적 목적보다는 분리배출 정보 제공을 통한 공익적 목적과 교육적 목적에 중점을 둔다. 그 중에서도 교육적 목적에 더 큰 가치를 두어 앱 사용자들이 기능을 이용하며 분리배출 방법을 학습하고, 최종적으로는 관련 지식들을 이용해 손쉽게 분리배출을 할 수 있도록 도와준다.
- 핵심 기능인 재활용품 사진 분석 기능을 통해 카메라로 배출 품목을 인식하여 각각 품목의 배출 방법을 선별하고 기술적으로 자동 분류가 어려울 경우 챗봇 기능을 통해 사용자의 인지 능력의 도움을 받아 최종적으로 배출 방법을 결정할 수 있는 기능을 구현한다.
- 게시판 기능을 구현하여 사용자들끼리 소통할 수 있도록 지원한다.
개발과제의 기술적 기대효과
- 다양한 재활용품을 여러 개의 클래스로 나누어 딥러닝 학습시켰다. 최근 환경 보호에 대한 관심이 커지고 있다. 딥러닝 분야 중 물체 인식은 많은 관심과 발전을 이루고 있는 분야이다. 이에따라, 다양한 주제의 딥러닝 오픈 데이터 셋이 많아지고 있다. 하지만 이 중 생활 쓰레기에 대한 오픈 이미지 데이터는 거의 없다. 일부 공개된 쓰레기 데이터는 해외 제품에 대한 이미지 데이터로 대한민국에서 배출되는 쓰레기 이미지 데이터로 적합하지 않다. 따라서 본 개발 과제의 생활 폐기물 딥러닝 학습을 위한 다양한 폐기물 이미지를 수집 및 라벨링 하였다. 폐기물 AI 인식에 대한 한 논문에서는 정확한 시스템을 구축하기 위해서는 크고 지속적으로 증가하는 데이터 소스가 있어야 한다고 말하였다. 따라서 본 프로젝트에서 수집된 이미지는 공공데이터로써 사용되어 이 데이터 및 학습된 모델을 다양한 분야에 적용시킬 수 있다. 적용시킬 수 있는 예로는 쓰레기 무단투기 적발 시스템 등이 있다.
개발과제의 경제적 및 사회적 파급효과
- 국내에서 버려지는 쓰레기 종량제 봉투 속 50% 이상의 폐기물이 재활용품으로 분리 배출할 수 있는 자원이다. (재활용품 분리배출 가이드라인 _ 2018 ) 대한민국은 에너지 원료를 수입하는 국가로 자원 재활용의 중요성이 크다. 해당 개발 과제를 통해 사람들의 쓰레기 분리 배출을 도움으로써 분리 배출 자원이 일반 쓰레기로 배출되는 비율을 감소시킬 수 있을 것이다. 이와 함께 분리배출이 잘 이루어지면 연간 3천억 원 상당의 종량제 봉투 구매 비용을 절약할 수 있다고 한다. 이처럼 개발과제를 통해 자원을 아낌으로써 경제적인 이득을 볼 수 있고, 환경 보호라는 사회적으로 긍정적인 효과를 기대할 수 있다
관련 기술의 현황
관련 기술의 현황 및 분석(State of art)
- 영상 처리 기술을 이용한 재활용 분리기
- 머신러닝을 이용하여 생활 폐기물을 자동으로 분류한다. 분리수거함에 머신러닝 기능을 탑재한 것이다. 머신러닝으로는 정확도가 낮아 이를 개선하기 위하여 무게센서를 추가하였다.
- Classification of Trash for Recyclability Status (Mindy Yang, Gary Thung)
- 폐기물을 다양한 재활용 범주로 분류하는 것은 머신러닝과 컴퓨터 비전 알고리즘을 통해 가능하다고 설명한다. 가장 큰 문제점은 다양한 가능한 데이터의 필요성이며, 보다 정확한 시스템을 구축하기 위해서는 크고 지속적으로 증가하는 데이터 소스가 있어야한다고 설명한다.
- AI 재활용 플랫폼을 ‘오스카(Oscar)’
- 머신 러닝과 컴퓨터 비전을 이용하여 재활용 안내. Cardboard, glass, metal, paper, plastic에 대한 생활 폐기물을 자동으로 분류한다. 데이터 셋을 공개하지 않았다. 분리수거함에 AI기능을 추가한 것으로 사업의 규모가 큰 만큼 고성능의 미니컴퓨터를 필요로 한다. 컴퓨터과학종합설계 프로젝트에서는 개인이 쉽게 접근 및 사용할 수 있도록 안드로이드 앱을 사용하며, 카메라 외의 별도의 센서를 사용하지 않는다.
- 심층 신경망 기반의 생활폐기물 자동 분류 (남준영 외 5명)
- 학습 생활폐기물을 자동으로 분류하는 시스템으로 생활 폐기물 이미지를 VGG-19 모델로 학습하였고, 20 개의 클래스에 대해서 86.1%의 정확도를 보였다. 하지만 해당 논문에서 나눈 클래스 20여개는 bad frame, game machine 등 대형 폐기물이다. 해당 논문을 통해 많은 수의 클래스도 물체인식이 가능할 것이라는 가능성을 확인하였다. 컴퓨터과학종합설계 프로젝트에서는 분리수거가 불가능한 대형 폐기물이 아닌 분리수거 해당 물품(플라스틱, 캔, 종이 등)의 물체 인식 학습 및 분리 배출 안내를 한다.
- Computer Vision 개요
- - Classification
- 이미지가 NN에 입력되면, 모델 네트워크를 통해 여러 개의 class로 분류될 확률 값을 표시합니다.
- Object Detection
- 단일 이미지에서 다수의 Class가 존재한다고 가정한 후 Classification task를 수행합니다. 이때 각 사물에 대한 영역 추정, 즉 Bounding box regression 과정이 추가되어, 출력 결과에 클래스와 확률 뿐만 아니라 해당 클래스가 있으리라고 추정되는 영역 또한 overlay 형태 혹은 좌표로 출력하게 됩니다.
- Segmentation
- 객체의 위치를 표시하는 것은 Bounding Box와 비슷하지만, boundary box가 설정되면, 그 box에서 높은 dense를 가지는 pixel에 집중하여 사물의 테두리까지 더 정밀하게 식별할 수 있습니다. 같은 클래스를 동일하게 표시하는 Semantic segmentation과 클래스가 같더라도 객체를 다르게 설정하는 Instance segmentation등이 존재합니다.
- Object detector type
- One-stage object detector
- 영역 탐지와 분류가 동시에 일어나는 방법론을 의미합니다. Yolo, ssd 등의 모델들이 이에 해당되며, 상대적으로 빠르지만 two-stage OD에 비해 더 부정확하다는 특징을 가지고 있습니다.
- Two-stage object detector
- 탐색 영역을 찾는 task와 해당 영역을 class 별로 분류하는 detection 두 가지 과정이 순차적으로 수행되는 방법론을 의미합니다. R-CNN 계열의 모델들이 이에 해당되며, 비교적 느리지만 더 정확하다는 특징을 가지고 있습니다.
기술 로드맵
AI 객체인식 변천사
◇ Fast R-CNN
- CNN 특징 추출부터 classification, bounding box regression까지 하나의 모델에서 학습시킴으로써 기존의 R-CNN의 속도저하 문제와 multi-stage pipelines으로 인해 모델을 빠르게 학습시키지 못한 문제를 해결한 모델이다.
◇ Mask R-CNN
- Segmentation 모델이다. Faster R-CNN에서 각각의 RoI에 대해 segmentation mask를 예측하는 branch를 추가한 기술이다. 이 branch는 각각의 RoI에 대해 FCN이 적용된 것으로 기존에 클래스 분류와 bounding box regression를 위한 Faster R-CNN의 branch와 병렬적으로 동작한다.
◇ YOLOv4
- One-stage object detection의 대표적인 예로서, 단일 GPU에서의 학습 및 배포가 가능한 것이 특징입니다.이중 yolov4는 기존 yolov3 에 Bag of Freebies(전처리와 학습 전략에 있어서의 여러 신기술 적용)와 Bag ofSpecials(후처리와 구조와 관련된 모듈에 있어서의 여러 신기술 적용)가 추가되고, 여기에 backbone이 CSPNet으로 바뀐 버전으로, 정확도와 속도가 비약적으로 개선된 모델입니다.
◇ CSPNet
- 기존 layer가 하나의 블록을 통해 다음으로 넘어가는데 반해, CSPNET은 입력을 두개의 부분으로 나누어, 하나는 연산에 참여시키지 않고 뒤에서 합쳐주는 방식을 기반으로 gradient flow를 나눠줘서 정확도 손실을 줄여주는 역할을 합니다. 이러한 구조를 기존에 있던 resnet이나 DenseNet 등에 적용시킬 수 있으며, Yolov4가 제안한 CSPDarkNet53은 기존의 CSPResNEXT50 혹은 EfficientNet-B3에 비해 더 많은 파라미터와 FLOP 수를 가짐에도 불구하고 더 높은 속도를 가지고 있다는 장점이 있습니다.
저희 종량제 팀은 경량화와 적은 연산 부담을 위해 YOLO 모델을 선택하였습니다.
특허조사
- 자동 분리수거 시스템 ( 출원번호 : 1020190026455, 출원일자 : 2019.03.07 )
- 인공지능 기술을 활용한 관광지 쓰레기 분리수거 안내 방법 및 시스템 ( 출원번호 : 1020190126985 출원일자 : 2019.10.14 )
- 자동으로 분리수거가 가능한 쓰레기통( 출원번호 : 1020190080840, 출원일자 : 2019.07.04 )
위에서 조사한 특허 기술들은 기계적인 센서(소리센서, 무게센서, 금속인식 센서)들을 이용하여 쓰레기를 분류한다.
일부 특허는 인공지능을 이용하여 쓰레기를 학습한 뒤 자동으로 분류한다는 기능이 존재한다. 하지만 이 기능의 존재에 대한 언급만 했을 뿐 SW적인 구체적인 설명이나 기술적 특허 내용은 기재되어 있지 않았다. 또한 위 특허 기술들은 각각의 특허마다 별도의 맞춤 분리수거함을 제작해야 한다.
본 개발과제에서는 집 밖에 설치되는 분리수거장을 개선하는 것이 아닌 개개인이 집에서 손쉽게 분리수거를 올바르게 실천할 수 있도록 돕고자 한다.
이를 위하여 분리수거 안내 앱을 개발하여 사용자가 핸드폰의 카메라로 촬영한 사진을 분석한 뒤 분리수거 방법을 안내하고자 한다.
관련 시장에 대한 분석
경쟁제품 조사 비교
| 내 손안의 분리배출 | 오스카 | |
|
| |
| 형태 | 어플리케이션 | 하드웨어 station (AI 분리수거함) |
| AI 물체 인식 기능 | X | O |
| 배출 방법 검색 기능 | O | X |
| 특징 | 어플리케이션 형태로 누구나 손 쉽게 이용 가능하다.
올바른 분리배출을 돕는다. 분리 배출 정보만 나열되어 있어 개인의 판단을 통해 분리 배출을 행해야 한다. |
사진 분석 기술을 통해 내부적으로 자체 분류를 진행하여 배출 방법을 제안한다.
사용자의 추가적인 정보 처리 및 판단이 필요 없다. 집 외부에 설치되는 분리수거함 형태로 일반 개인이 편하게 사용하기 어렵다 |
위의 경쟁 제품들의 기능과 장/단점을 분석함으로써 ‘일반 가정에서 편하게 분리 배출할 수 있도록 돕는다’는 개발과제의 목적을 달성하기 위한 개발과제의 기술과 기능을 결정하였다. 먼저, 누구나 쉽게 가정에서 분리배출을 안내 받을 수 있도록 안드로이드 앱을 플랫폼으로 사용하였다. 개인이 좀 더 편하게 분리 배출을 실천할 수 있도록 AI 기능을 통해 내부적으로 자체 분류를 진행하여 배출 방법을 제안한다. 사진 분석 완성도가 위 경쟁 제품보다 부족할 위험성이 있어 이를 보완하기 위해 챗봇을 통하여 품목검색 기능을 추가하였다.
마케팅 전략
개발과제의 기대효과
기술적 기대효과
내용
경제적, 사회적 기대 및 파급효과
내용
기술개발 일정 및 추진체계
개발 일정
내용
구성원 및 추진체계
내용
설계
사용자 요구사항
| 번호 | 요구사항 | D or W | 비고 |
| R1 | 촬영한 물체의 정보를 확인할 수 있다 | D | |
| R2 | 이미지 분석 결과에 알맞은 분리 배출 방법을 제시한다 | D | 기존에 정의한 재활용품 대분류와 더불어 사용빈도가 높은 일부 품목에 대해서 분석 후 배출 방법을 제안 |
| R3 | 게시판을 통해 사용자들이 사진과 글을 게시할 수 있다 | D | |
| R4 | 게시글에 댓글을 작성할 수 있다 | D | |
| R5 | 사진 분석이 어려운 물건은 챗봇 기능을 통해 배출 방법을 찾을 수 있도록 한다 | D | |
| R6 | 물건의 이름을 검색하여 배출 방법을 찾을 수 있도록 한다. | D | |
| R7 | 사용자에게 사진 업로드와 주석 추가 기능을 제공하여 사진 분석과 챗봇 기능으로도 분류가 되지 않는 폐기물에 대한 추가적인 정보를 받는다 | W | 종이팩/종이컵, 종이류, 금속캔, 고철류, 비닐류, 스티로폼, 페트병, 플라스틱 용기류, 유리병 |
사용자 요구사항 만족을 위한 기능 정의 및 기능별 정량목표
- F1: 입력받은 사진에서 객체 정보를 추출 및 인식한다.
- F2: 인식한 사진에 대한 대분류를 진행한 후, 분류에 맞는 분리수거방법을 제공한다.
- F3: 챗봇을 통해 재활용품 분류를 선택하면 해당 분류에 따른 배출방법 정보를 빠르고 정확하게 제공한다.
- F4: 재활용품 품목 검색 기능을 구현한다.
- F5: 검색한 재활용품 품목 각각의 배출방법을 챗봇 기능으로 제공한다.
- F6: 게시글 작성 기능을 구현한다
- F7: 작성된 게시글에 댓글을 작성하는 기능을 구현한다
기능 구현을 위한 세부기술 선택사항
섬네일을 만드는 중 오류 발생: convert: Image width exceeds user limit in IHDR `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Image height exceeds user limit in IHDR `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Invalid IHDR data `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ error/png.c/MagickPNGErrorHandler/1646.
convert: corrupt image `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ error/png.c/ReadPNGImage/4095.
convert: no images defined `/tmp/transform_d57fa43e34b8.png' @ error/convert.c/ConvertImageCommand/3210.
Error code: 1
convert: Image height exceeds user limit in IHDR `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Invalid IHDR data `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ error/png.c/MagickPNGErrorHandler/1646.
convert: corrupt image `/var/www/capstone/cdc/images/5/5a/종량제_네이버_CLOVA_챗봇.png' @ error/png.c/ReadPNGImage/4095.
convert: no images defined `/tmp/transform_d57fa43e34b8.png' @ error/convert.c/ConvertImageCommand/3210.
Error code: 1
섬네일을 만드는 중 오류 발생: convert: Image width exceeds user limit in IHDR `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Image height exceeds user limit in IHDR `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Invalid IHDR data `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ error/png.c/MagickPNGErrorHandler/1646.
convert: corrupt image `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ error/png.c/ReadPNGImage/4095.
convert: no images defined `/tmp/transform_296453d56b70.png' @ error/convert.c/ConvertImageCommand/3210.
Error code: 1
convert: Image height exceeds user limit in IHDR `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Invalid IHDR data `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ error/png.c/MagickPNGErrorHandler/1646.
convert: corrupt image `/var/www/capstone/cdc/images/8/8e/종량제_Kochat.png' @ error/png.c/ReadPNGImage/4095.
convert: no images defined `/tmp/transform_296453d56b70.png' @ error/convert.c/ConvertImageCommand/3210.
Error code: 1
시스템 설계
사진인식 설계
하드웨어 설계
소프트웨어 설계
결과 및 평가
완료 작품의 소개
프로토타입 사진 혹은 작동 장면
내용
포스터
내용
관련사업비 내역서
내용
완료작품의 평가
내용
향후계획
내용
특허 출원 내용
내용
