정답을알려줘

프로젝트 개요

기술개발 과제

국문 : CCTV 기능이 탑재된 딥러닝을 이용한 사람 이미지 인식 자동문

영문 : Automatic door for Human image recognition using Deep learning equipped with CCTV function

과제 팀명

정답을 알려줘

지도교수

김현식 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 신소재공학과 20204500** 강*원(팀장)

서울시립대학교 신소재공학과 20184500** 강*동

서울시립대학교 신소재공학과 20184500** 김*우

서울시립대학교 신소재공학과 20204500** 전*원

서울시립대학교 신소재공학과 20188900** 이*록

서론

개발 과제의 개요

개발 과제 요약

1. 과제 요약

모든 것의 자동화가 이루어지는 요즈음 여전히 자동문은 키가 작은 아이에게는 큰 벽에 불과한 현 상황에서 자동문이 키가 작은 아이도 감지할 수 있도록 '사람 인식 자동문'을 설계하였다.
TensorFlow Lite를 이용하여 사람 자체를 인식하고, 일정 범위만 감지하는 센서 대신 사람 전체 모습을 담을 수 있는 카메라를 사용하여 자동문의 사람 인식 범위를 넓히고자 하였다.
카메라의 위치와 각도에 따라 사람을 인식하는 정확성이 달라지기 때문에 사람 인식 정확도를 위해 카메라의 위치 및 각도와 관련된 실험을 진행하고 가장 최적의 위치를 찾아 자동문에 카메라를 부착하였다.
 빛이 없는 밤에도 사람을 인식하여 자동문이 작동하기 위해 카메라 중에서도 야간 투시 기능을 가진 적외선 카메라를 사용함으로써 밤과 낮에 상관없이 자동문이 사람을 인식하여 열릴 수 있도록 하였음.
또한, 자동문을 열리게 할 때 사용되는 객체 인식 카메라가 CCTV 기능도 하도록 하여 효율적인 전력 활용을 하고자 하였다.

개발 과제의 배경

2. 배경

기존에 자동문 센서로 사용하는 적외선 센서의 경우에는 일정 범위에 사람이 들어오게 되면 빛이 차단됨을 감지하고 이에 따라 자동문이 열리는 식으로 진행되었다. 그러나 이렇게 되면 사각지대가 발생한다. 특히 키가 작은 어린아이의 경우에는 자동문 감지 범위 내에 들어오지 못해서 손을 위로 올리거나 그 방법을 몰라 자동문을 쉽게 빠져나가지 못하는 상황이 발생하였다. 이러한 문제점을 해결하고자 어린아이도 쉽게 지나갈 수 있는 자동문을 설계하였다.

개발 과제의 목표 및 내용

3. 목표

당연히 기존에 지나갈 수 있는 사람은 사람으로 인식하여 자동문이 열릴 수 있도록 한다.
여기에 추가로 키에 상관없이 카메라에 사람의 전체 이미지만 담길 수 있다면 사람으로 인식하여 자동문이 열릴 수 있도록 하고, 정확도를 거의 100%에 달하도록 하는 것이 목표이다.

4. 내용

◇ 적외선 센서가 아닌 TensorFlow Lite를 통한 객체 인식을 이용하여, 사람임을 인식하면 자동문을 개방한다. 
◇ 카메라를 사용하게 되면 키가 작은 어린아이도 인식될 수 있도록 감지 범위를 늘리고, 늘어난 감지 범위에서 사람만을 인식하여 자동문을 작동시킨다.
◇ 카메라를 설치하였을 경우, 사람이 인식되는 각도 및 이상적인 작동 범위를 찾아야 한다.
◇ 사람 이미지 인식 후, 서보 모터가 연결된 아두이노에 신호를 보내어 문이 자동으로 열리도록 하는 코드 제작 및 구현 과정을 거쳐야 한다.
◇ 사람이 있는 위치에 카메라가 있도록 하여 CCTV 기능을 할 수 있도록 한다. 이를 위해 시각 표시와 녹화 기능을 추가해야 한다.

두 번째 아이디어로는 자동문의 메커니즘이다. 기존 자동문 같은 경우에는 빛 차단을 감지한 적외선 센서에 의해서 자동문이 열리고 닫히는 메커니즘이었다. 그러나 본 설계에서는 카메라를 이용해 사람임을 인지하면 자동문이 열리도록 하는 메커니즘이다. 또한, CCTV 역할을 해야 하므로 문과 가까이 있는 사람만 찍을 수 있는 위치에 부착되었는지 평가한다.

세 번째 아이디어로는 사람 인식 메커니즘이다. 기존 자동문은 사람일 경우, 또한 사람이 아니어도 빛이 차단됨을 느끼기만 하면 센서에 의해서 자동문이 열리는 개념이었다. 그러나 본 설계에서는 TensorFlow Lite를 사용하여 딥 러닝을 통해 사람임을 인식하면 문이 열리도록 하였다.

1. 자동문의 감지부.

본 설계인 ‘사람 인식 자동문’의 전체 모식도는 그림1에서 보이는 바와 같다.

그림 9. 사람 인식 자동문 모형화.

외관의 경우 일반 자동문과 동일한 구조를 볼 수 있다. 그러나 기존의 자동문은 적외선 센서나 초음파 센서를 이용하여 물체를 인식했다면, 해당 사람 인식 자동문의 경우는 카메라를 통해 사람을 인식한다.
이때 기존과 다른 점은, 적외선 센서의 감지 범위 한계로 어린아이가 자동문을 쉽게 통과하지 못하는 문제를 해결할 수 있다. 본 설계는 카메라에 사람의 모습 전체를 담을 수 있도록 하고, 그 모습 속에서 사람의 이미지를 추출하여, 아두이노 또는 Raspberry Pi를 통해 자동문에 달린 서보모터를 제어하여 자동문이 작동하도록 설계하였다. 사람과 사람이 아닌 것을 구별하여 사람일 경우에만 자동문이 열릴 수 있도록 설계하였다. 카메라는 일반 적외선 센서를 이용한 자동문의 센서와 같은 위치에 설치한다. 이때, 사람의 전신이 관찰되어야 하므로 카메라의 각도는 30~40도 기울여 사람의 전체적인 모습이 보일 수 있도록 한다. 또한, CCTV 역할을 해야 하므로 문과 가까운 사람만이 찍힐 수 있는 각도로 카메라 위치를 설정한다.

2. 자동문 메커니즘

그림 10. 자동문 모식도와 알고리즘

자동문의 작동 메커니즘을 간략하게 표현하면 카메라를 통해 받아들인 ‘사람’이라는 정보가 모터를 작동시켜 문을 여닫는 것이다. 본 아이디어에서는 기존의 센서와 달리 딥 러닝 기술을 사용하여 자동문 이용자의 이미지를 추출한다. 추출된 이미지에서 이 정보를 이용하여 동물 등 사람이 아닌 것을 막도록 한다. 또한, CCTV 기능도 가능하도록 녹화와 시각 표시를 가능하게 한다.

3. TensorFlow Lite 기반 딥 러닝

그림 11. TensorFlow 딥 러닝 적용 [3].

TensorFlow는 머신 러닝과 딥 러닝을 위한 오픈소스 프레임워크로, 사람 인식에 사용할 수 있다. TensorFlow에서 제공되는 다양한 물체 감지 모델을 사용하여 카메라에서 촬영되는 영상 속 사람을 인지해 자동문이 열리게 만들 수 있다. 하지만 모델을 저장하고 연산을 처리할 수 있는 기기가 필요한데, TensorFlow Lite는 Raspberry Pi와 같은 임베디드 기기에서 사용할 수 있다. 감지 모듈을 로드하고 연결된 카메라로부터 영상을 받아와 모듈에 입력하고 결과를 받아 사람이 어디 위치에 있는지, 신뢰도가 어느 정도인지를 얻을 수 있다. 일정 이상의 신뢰도에서 서보모터가 작동하게 하여 문을 열게 만든다. TensorFlow는 더 복잡한 신경망 구조를 활용할 수 있고 선행 학습된 모델을 쉽게 사용할 수 있다. 이를 위해 TensorFlow는 신경망의 구조와 파라미터를 결정하고, 데이터를 전처리하고, 모델을 학습하고, 성능을 평가하고, 최적화하는 과정이 필요하다.

이론적 계산 및 시뮬레이션

(1) 서보모터 구매 기준.

그림 12. 서보모터 MG995 [4].

본 팀이 구매했던 서보모터는 MG 995 제품으로 정지 상태 최대 토크는 4.8 V일 때, 9.4 kgf cm 그리고 6V일 때, 11kgf cm이다. 실제 구동을 할 때, 약 5V 정도의 전압을 주어서 약 9.666 kgf cm만큼의 토크를 가졌을 것이다. 또한, 이는 우리가 문으로 사용했던 아크릴판 하나의 무게는 (40cm * 80cm * 0.3cm * 1.14g/cm^3) = 1094.4g = 1.0944kg 이므로 충분한 토크라고 판단하여 선택하고 구매하였다.

(2) 객체 인식 Raspberry Pi 코드

기본적으로, Raspberry Pi OS를 이용하나, 해당 Raspberry Pi에서 Python 모듈을 설치하여 Python 코드를 실행함으로써 객체 인식을 할 수 있도록 진행하였다. 아두이노에 신호를 줄 수 있도록 import serial를 통해 serial 모듈을, import cv2를 이용하여 카메라 사용, 더 원활한 구동을 위해 import threading, 시간 및 연산을 위해 time 및 numpy 모듈을 import 한다. VideoStream 클래스를 설정하여, 카메라 인식 및 모니터에 해당 캠의 모습을 볼 수 있도록 한다.

그림 13. 코드 관련 설명.

우선, 이미 학습되어있는 데이터인 coco dataset을 이용하였다.

그림 14. 코드 관련 설명.

해당 행들은 프레임을 얻어서, 모델에 맞게 크기를 조정하는 코드이다.

그림 15. 코드 관련 설명.

그림 15와 같이, 객체 인식에 대한 box와 class, 신뢰도를 알려주기 위한 코드이다.

그림 16. 코드 관련 설명.

이때, 객체 인식 자동문은 ‘person’ class만을 취급하기 때문에, class[i]=’person’ 코드를 이용하여, 사람을 인식하였을 때 신뢰도를 설정하여, 해당 값 이상의 값을 도출되면 box 좌표를 얻어 그리게 된다. 이후, 사람이 감지되었을 때, 신호를 줄 수 있게 한다. 단 그림 11과 같은 경우 여러 객체가 인식되어 있는데, 사람만 인식하되, 자동문은 가까운 물체만을 인식해야 하므로, 해당 자동문은 카메라를 이용하여, 해당 캠에서 y좌표의 아래에서 1/3부분을 지날 때, 신호가 갈 수 있도록 한다.

그림 17. 코드 관련 설명.

이렇게 사람이 인식되었을 때 아두이노로 ‘o’ 신호를, 인식되지 않았을 때 ‘c’ 신호를 보내도록 하였다. 또한, 해당 자동문은 CCTV 기능을 추가하였는데,

그림 18. 코드 관련 설명.

의 코드를 통해 현재 날짜 설정을,

그림 19. 코드 관련 설명.

을 통해 녹화할 비디오라이터 설정을 한다.

그림 20. 코드 관련 설명.

행 순서대로, 현재 시각을 가져오고, 문자열로 변환, 해당 캠 녹화, 파일 저장이다. 이로써 저장되는 녹화본들을 통해 CCTV 기능을 수행할 수 있다.

(3) 시뮬레이션

문이 열리고 닫히는 것과 관련된 코드에 대한 설명이다. (2)에서 사람이 인식되었을 때 ‘o’의 신호를, 인식되지 않았을 때 ‘c’의 신호를 받게 된다. 이때, 카메라에 사람의 형상이 순간적으로 인식되지 않거나, 카메라상의 오류 등으로 인해 객체 인식이 중단될 가능성이 있으므로 o 신호의 개수와 c 신호의 개수로 자동문을 제어한다. 기본적으로 서보모터를 작동할 수 있도록 Raspberry Pi와의 통신이 가능하도록 Serial.begin(9600);을, 이후 서보모터를 연결하여, 초기 세팅인 servo.write(90);을 통해 서보모터가 정지되어있는 상태로 시작하게 된다. 신호를 받았을 때, 자동문이 전부 닫혀있는 상태를 door == 0으로 지정하였으며, 이때 ‘o’ 신호를 받으면, 받아들인 o 신호의 개수를 세는 open_count() 함수를 이용하고, 해당 카운트가 3이 넘어가면 문이 열리도록 한다. 3이 넘어가지 않으면, close_count()를 통해 c 신호를 수집하고, 일단 서보모터의 동작을 정지시키기 위해 servo.write(90); 을 사용한다. 이후 o 카운트가 3이 넘어 문이 다 열린 시점을 door == 10으로 지정하였고, 이때 유사하게 c 신호를 받아, c 개수가 40에 따라 문이 닫히도록 할 수 있게 구현하였다. 또한, 자동문은 닫히는 도중에도 열려야 하므로, 문이 닫히는 도중, o의 신호를 2개 이상 받는다면 문이 다시 열리도록 한다.

그림 21. 코드 관련 설명.

이것은 open_count()에 대한 def라고 볼 수 있다. close_count() 또한 똑같이 작성했다. 닫힐 때는 servo.write(0); 을 통해 문을 닫도록 한다. 이때 delay()를 이용하여 서보모터가 해당 시간만큼 닫히도록 할 수 있게 한다. 이때 door - -; 을 이용하면 door에 대한 값을 10에서 0까지 낮출 수 있다. 열릴 때는 servo.write(180);을 통해 문을 열도록 한다. 다만 위에서 같이, 자동문이 닫히는 도중 열리게 된다면 delay(500*(10-door));을 통해 문이 닫힐 때마다 door 값이 내려가는데, 도중에 열리게 될 때 닫힌 만큼 다시 열리도록 할 수 있게 한다.

(4) 마찰력

높은 마찰력은 자동문의 문을 움직이는데 더 많은 에너지를 소모하게 만든다. 마찰력의 공식은 F=μN으로 마찰계수와 수직항력의 곱으로 표현된다. 여기서 마찰력은 면적과 관계없이 수직항력에 비례하는데, 동일한 무게를 가진 물체의 마찰력은 마찰계수에 비례한다는 의미이다. 아크릴의 마찰계수는 0.83이며, PLA는 0.38~0.52의 값을 가진다. 따라서 바닥과 맞닿는 부분에 PLA 소재의 부착물을 사용한다면, 마찰력의 감소로 인해 더 적은 에너지를 사용해서 문을 움직일 수 있을 것이다.

상세설계 내용

◇ 자동문 하단부

(1) 움직이는 문 마찰력 감소 커버.

아크릴판 문의 부드러운 이동을 위해 움직이는 문 아래에 마찰력을 감소시킬 수 있는 커버를 달아 문과 바닥 사이의 마찰력을 줄였다.

그림 22. 문 아랫부분.

그림 23. 양쪽 모두 마찰력 방지를 위한 부분을 단 모습.

(2) 아크릴 문 마찰력 감소 커버.

아크릴판 문 아래에 마찰력 감소를 위해 낮은 마찰계수를 가진 PLA 소재를 활용하여 3D 프린팅을 진행하였다. 아래와 같이 직경 4mm의 구멍을 통해 나사로 고정할 수 있다.

그림 24. 마찰력 감소 커버 모습.

◇ 자동문 전체 골격부

그림 25. 자동문 전체 모습.

자동문의 전체적인 모습은 위의 그림과 같다. 먼저 본 설계의 자동문은 ‘편개형 자동문’으로 한 쪽문은 고정되어 있고, 다른 한 쪽문만 움직이는 형태이다. 문 하나의 가로*세로 정확한 치수는 40cm*80cm이고, 전체적인 골격 자체의 가로*세로 정확한 치수는 74cm*94cm로 설계 및 제작하였다. 그러나 이렇게 되면 실제 사람이 지나갈 수 있는 자동문은 아니기에 카메라의 위치는 2m 위치에 설치하여 시뮬레이션을 진행하였다.

◇ 자동문 구동부

(1) 피니언 기어와 랙 기어.

자동문이 열릴 수 있도록 하는 구동부에는 피니언 기어와 랙 기어를 사용하였다. 각각의 물품은 3D 프린팅을 이용하여 제작하였다. 문 하나의 가로 길이가 40cm로, 랙 기어의 총 길이를 36cm로 하여 사람이 지나가는 데 지장이 없을 정도 만큼 문이 열리도록 설계하였다. 또한, 아크릴판 하나 전체를 움직여야 하므로 피니언 기어와 랙 기어가 너무 작지 않을 정도의 크기로 제작하여 문이 수월하게 열릴 수 있도록 설계 및 제작하였다.

그림 26. 높이 7mm 피니언 기어.

그림 27. 높이 8mm 랙 기어.

그림 28. 위 CAD 도안을 사용하여 3D 프린팅 결과물 모습.

그림 29. 랙 기어를 움직이는 자동문에 부착한 모습.

(1) 모터

자동문의 구동을 위해서 모터 중에서도 서보모터 MG995 제품을 사용하였다. MG995의 크기는 40.7*42.9*19.7 mm의 작은 크기로 문에 부착하였을 때, 크게 튀어나오지 않아 선택하게 되었다. 또한, 정지 상태 최대 토크가 4.8V에 9.04 kgf cm로 본 설계의 아크릴판 하나의 무게를 충분히 움직일 수 있어서 MG995의 사용을 선택하였다.

그림 30. 서보모터에 피니언 기어를 부착한 모습.

그림 와 같이 서보모터에 피니언 기어를 부착하고, 서보모터를 자동문 고정대 위에 부착한 후에, 피니언 기어가 랙 기어 위에서 돌아가면서 자동문이 열리고 닫힐 수 있도록 설계하였다.

◇ 자동문 안정성을 위한 부품

(1) 자동문 상단부 고정대 설치

그림 31. 자동문 상단부 고정대 모습.

자동문의 한쪽 문은 고정되어 있지만 열리는 문은 고정되어 있지 않기 때문에 쉽게 흔들릴 수 있다. 따라서 자동문이 흔들리지 않고 안정성 있게 움직이게 하려고 상단부에 홈 형식으로 자동문이 움직일 수 있는 길을 만들어 자동문이 다른 곳으로 이탈하지 않고 움직일 수 있도록 설계 및 제작하였다.

(2) 모터 고정 부분.

모터가 움직이지 않고 고정되어서 모터의 머리 부분만 움직일 수 있게 하려고 자동문 하단부에 모터가 들어갈 수 있는 작은 홈을 파서 모터를 고정했다. 홈의 가로*세로 정확한 치수는 4.2cm*1.8cm로 설계 및 제작하였다.

그림 32. 모터 고정을 위한 홈.

또한, 서보 모터를 홈에 끼운 후에, 홈과 완전히 하나가 될 수 있도록 모터 고정 지지대를 3D 프린팅을 이용해 제작하였다.

정답을알려줘

목차

프로젝트 개요

기술개발 과제

과제 팀명

지도교수

개발기간

구성원 소개

서론

개발 과제의 개요

개발 과제 요약

개발 과제의 배경

개발 과제의 목표 및 내용

관련 기술의 현황

관련 기술의 현황 및 분석(State of art)

시장상황에 대한 분석

개발과제의 기대효과

기술적 기대효과

경제적, 사회적 기대 및 파급효과

기술개발 일정 및 추진체계

개발 일정

구성원 및 추진체계

설계

설계사양

제품의 요구사항

설계 사양

개념설계안

이론적 계산 및 시뮬레이션

상세설계 내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

관련사업비 내역서

완료작품의 평가

향후계획

특허 출원 내용

둘러보기 메뉴

검색