신발정리해조 - 자동 수납 신발장 - 편집 역사

EmSys2025B: /* 제어부 및 회로 구현 */

2023-06-20T12:44:12Z

‎제어부 및 회로 구현

EmSys2025B: /* 개발 일정 */

2023-06-20T12:41:39Z

‎개발 일정

EmSys2025B: /* 제어부 및 회로 구현 */

2023-06-20T12:05:18Z

‎제어부 및 회로 구현

2023년 6월 20일 (화) 11:41에 EmSys2025B님의 편집

2023-06-20T11:41:13Z

EmSys2025B: /* 역할 분담 */

2023-06-20T11:40:03Z

‎역할 분담

2023년 6월 20일 (화) 11:22에 EmSys2025B님의 편집

2023-06-20T11:22:50Z

EmSys2025B: /* 프로젝트 평가 */

2023-06-20T11:00:56Z

‎프로젝트 평가

EmSys2025B: /* 데이터베이스 */

2023-06-20T10:50:31Z

‎데이터베이스

EmSys2025B: /* 데이터베이스 */

2023-06-20T10:45:56Z

‎데이터베이스

EmSys2025B: /* 신발 종류 구분 */

2023-06-20T10:41:49Z

‎신발 종류 구분

@@ 110번째 줄: / 110번째 줄: @@
 ===제어부 및 회로 구현===
 ====회로도 구현====
-[[파일:디바이스 회로도.JPG|500픽셀|섬네일|왼쪽|디바이스 회로도]]<br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/>
+[[파일:디바이스 회로도.JPG|500픽셀|섬네일|가운데|디바이스 회로도]]
 위 사진은 전원은 생략한 아두이노 회로도이다. 모터드라이버는 사진과 실제가 약간 다르나 사용하는 핀의 역할은 모두 동일하다. 각 센서의 역할은 다음과 같다.<br/>
 아두이노 나노는 각 센서들에서 물리적인 신호를 감지하고 이에 맞는 동작을 수행하기 위한 하드웨어 제어 신호를 모터 드라이버로 송신한다. 아두이노는 라즈베리파이와 시리얼 통신을 하기 때문에 물리적 상황을 라즈베리파이 또한 알 수 있게 하였다. 수납부 적외선 센서는 사용자가 신발을 넣는 행위를 인지하기 위하여 사용된다. 출납부 적외선 센서는 사용자가 출납위치에서 신발을 빼는 행위를 인지하기 위해 사용된다. 네오픽셀 LED는 수납 시나리오가 진행될 때, 신발 종류와 색상 구분을 할 사진이 밝게 나오게 하기 위해 사용된다. 스피커는 신발이 한 짝만 들어가거나, 제대로 신발이 발판 위에 위치하지 않았을 때 사용자에게 경고음을 보내기 위해 사용된다. 모터 드라이버의 경우 PUL과 DIR이 아두이노 디지털 핀에 연결되어 있다. 아두이노는 PUL 핀의 ON/OFF 주기를 조절하여 모터의 속도와 바퀴수를 제어한다. 또한 DIR 핀의 ON/OFF를 설정하여 모터가 움직일 방향을 결정한다. 다이오드 센서는 모터를 정확히 원하는 만큼 돌리기 위해 사용된다. 자세한 설명은 아래에서 하도록 한다.<br/>
 ====모터부-모터동작방식====
-[[파일:모터 동작방식.JPG|500픽셀|섬네일|왼쪽|모터_동작방식]]<br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/>
+[[파일:모터 동작방식.JPG|500픽셀|섬네일|가운데|모터_동작방식]]
 수납/출납 발판 위치를 사용자가 넣고 빼기 쉬운 위치에 정확하게 맞추기 위하여 스텝모터를 정확한 수치만큼 돌려야 한다. 이를 구현하기 위해 각 발판이 연결된 체인에 검은색 테이프를 붙이 고 해당 테이프가 다이오드 센서에 인식될 때까지 스텝모터가 동작하도록 하였다.  발판 사이의 거리를 한 칸이라 할 때, 필요에 따라 한 칸 또는 두 칸을 돌려야 한다. 만약 검은 테이프를 인식할 때까지만 모터를 돌리도록 할 경우, 두 칸을 가야할 때 한 칸만 갈 수가 있다. 이와 같은 상황을 방지하기 위해 한 칸을 가야 하는 경우 0.5칸을 우선적으로 돌리고, 다음 검은 테이프가 인식될 때까지 모터가 돌도록 하였다. 두 칸을 가야할 경우 1.5칸을 우선적으로 돌리고, 다음 검은 테이프가 인식될 때까지 모터를 돌리도록 동작을 제어하였다.<br/>

@@ 69번째 줄: / 69번째 줄: @@
 ===개발 일정===
-[[파일:신발장_역할분담.JPG|634픽셀|섬네일|가운데|개발 일정표]]<br/>
+[[파일:신발장_역할분담.JPG|624픽셀|섬네일|가운데|개발 일정표]]<br/>
 ==구현 내용==

@@ 117번째 줄: / 117번째 줄: @@
 [[파일:모터 동작방식.JPG|500픽셀|섬네일|왼쪽|모터_동작방식]]<br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/><br/>
 수납/출납 발판 위치를 사용자가 넣고 빼기 쉬운 위치에 정확하게 맞추기 위하여 스텝모터를 정확한 수치만큼 돌려야 한다. 이를 구현하기 위해 각 발판이 연결된 체인에 검은색 테이프를 붙이 고 해당 테이프가 다이오드 센서에 인식될 때까지 스텝모터가 동작하도록 하였다.  발판 사이의 거리를 한 칸이라 할 때, 필요에 따라 한 칸 또는 두 칸을 돌려야 한다. 만약 검은 테이프를 인식할 때까지만 모터를 돌리도록 할 경우, 두 칸을 가야할 때 한 칸만 갈 수가 있다. 이와 같은 상황을 방지하기 위해 한 칸을 가야 하는 경우 0.5칸을 우선적으로 돌리고, 다음 검은 테이프가 인식될 때까지 모터가 돌도록 하였다. 두 칸을 가야할 경우 1.5칸을 우선적으로 돌리고, 다음 검은 테이프가 인식될 때까지 모터를 돌리도록 동작을 제어하였다.<br/>
 ===소프트웨어 설계 및 구현===

@@ 69번째 줄: / 69번째 줄: @@
 ===개발 일정===
-[[파일:신발장_역할분담.JPG|634픽셀|섬네일|왼쪽|개발 일정표]]
+[[파일:신발장_역할분담.JPG|634픽셀|섬네일|가운데|개발 일정표]]<br/>
 ==구현 내용==

@@ 54번째 줄: / 54번째 줄: @@
 사용자는 사용을 원하는 신발을 어플 내에서 출납 버튼을 눌러 출납을 요청하면 파이어베이스에서 신발에 해당하는 문서 이름으로 필드가 변경되고, 라즈베리파이는 그 필드값을 불러와 해당 신발의 발판 정보를 데이터베이스에서 검색하여 가져온다. 라즈베리파이에서 계산한 출납부까지 도달하기 위한 모터 회전각을 아두이노가 전달받아 모터를 돌려 요청한 신발을 출납부에 위치시킨다. 사용자가 신발을 꺼내면 센서가 이를 감지하고, 수납부에 위치한 발판이 비었는지 판별하고 비어있지 않으면 빈 발판을 제공하기 위해 모터가 계산한 회전각만큼 회전한다.
-==역할 분담==
+==역할분담 및 개발일정==
 ==구현 내용==

@@ 293번째 줄: / 293번째 줄: @@
 ==프로젝트 평가==
-===평가항목===
+===평가항목 및 결과===
 {| class="wikitable" style="text-align:center;"
 |-
 ! 평가 항목
 ! 평가 방법
-! style="text-align:left;" | 적용 기준
+! 적용 기준
 ! 개발 목표치
 ! 비중
 ! 달성도
 |-
 | 발판 위치<br />정확성
 | 10회씩 수납을 수행하며 발판 위치의<br />허용 오차 범위가 1cm 이내에 <br />위치하는지 여부를 카운트
-| style="text-align:left;" | Accuracy
+| Accuracy
 | 90% 이상
 | 35%
 | 100%
 |-
 | 신속성
 | 10회의 출납 과정을 통해 사용자가 <br />APP에서 신발을 고른 후 신발이<br />출납부에 위치할 때까지 걸린 시간
-| style="text-align:left;" | Time
+| Time
 | 10회 평균<br />5sec 이내
 | 20%
 | 100%
 |-
 | 신발 개수<br />감지 정확도
 | 정상인 경우, 이상이 있는 경우<br />각각 10회 측정하여<br />제대로 판단하는지 카운트
-| style="text-align:left;" | Accuracy
+| Accuracy
 | 90% 이상
 | 20%
 | 100%
 |-
 | 신발 종류<br />파악 정확도
 | 20개의 신발 수납 과정에서 <br />신발 종류 및 색상을 모두 정확히<br />판단하는지 카운트
-| style="text-align:left;" | Accuracy
+| Accuracy
 | 85% 이상
 | 15%
 | 80%
 |-
 | APP 연동성
 | 수납/출납 후 신발 정보가 APP에<br />정확히 갱신되는지 수납/출납 각각<br />10회 진행하여 카운트
-| style="text-align:left;" | Accuracy
+| Accuracy
 | 90% 이상
 | 10%
 | 100%
 |}
 ==느낀점==

@@ 229번째 줄: / 229번째 줄: @@
 | 출납 요청을 보낼 때 사용, <br />출납이 완료되기까지 앱의 동작을 막기 위함
 |-
-| Sign_question
+| rowspan="3" | Sign_question
 | Sign_new
 | 새로운 신발을 인식했을 때 RPi에서<br />사용자 응답을 기다리기 위해 사용
 |}
 'signal’ collection은 앱과 Rpi가 데이터를 주고 받기 위해서 사용된다. 해당 collection의 'from_app_to_RPi’ document에는 4가지 field가 있다. ‘request’ field는 앱에서 Rpi로 출납 요청을 보내기 위해 사용된다. 앱에서 출납 버튼을 누르면 해당 field 값이 ‘false’에서 ‘true’로 바뀌고 Rpi가 이를 읽어 출납 시나리오를 진행하는 방식이다. ‘DocName’ field는 사용자가 앱에서 선택한 신발(문서이름)을 저장하게 된다. Rpi는 해당 field를 읽어 사용자가 어떤 신발을 출납하려 하는지 알 수 있게 된다. ‘fcm_token’ field는 사용자 기기에 푸시알림인 FCM(Firebase Cloud Messaging)을 보내기 위해 사용된다. Rpi에서 앱으로 푸시알림을 보내기 위해서는 사용자 기기(스마트폰)에 생성되는 token 정보를 알아야 한다. 앱이 실행되면 ‘fcm_token’ field의 값을 생성된 token 값으로 변경하고 Rpi가 이를 읽고 앱으로 FCM을 보낼 수 있게 된다.<br/>
-‘signal’ collection에 ‘sign_question’ document에는 'sign_new'field가 있는데, 평소에는 ‘No’로 저장되어 있다가 FCM에 대한 사용자의 응답을 저장한다. FCM은 classification의 결과가 새로운 신발로 인식했을 때 보내지게 되는데 사용자는 이 신발이 정말 새로운 신발인지, 아니면 기존에 있던 신발인지를 선택하게 된다. 이에 대한 응답에 따라 ‘sign_new’에는 ‘yes’ 또는 ‘exist’이라는 값이 저장되게 된다.  만약 사용자가 기존 신발이라고 선택했을 경우, 신발 리스트에서 어떤 신발이었는지 다시 선택하게 되는데, 이 결과가 ‘which_shoe’ field에 저장되고 Rpi는 해당 field를 읽어 이에 대한 수납 처리를 진행할 수 있도록 한다.
+‘signal’ collection에 ‘sign_question’ document에는 2가지 field가 있다. ‘sign_new’라는 field는 평소에는 ‘No’로 저장되어 있다가 FCM에 대한 사용자의 응답을 저장한다. FCM은 classification의 결과가 새로운 신발로 인식했을 때 보내지게 되는데 사용자는 이 신발이 정말 새로운 신발인지, 아니면 기존에 있던 신발인지를 선택하게 된다. 이에 대한 응답에 따라 ‘sign_new’에는 ‘yes’ 또는 ‘exist’이라는 값이 저장되게 된다. 만약 사용자가 기존 신발이라고 선택했을 경우, 신발 리스트에서 어떤 신발이었는지 다시 선택하게 되는데, 이 결과가 ‘which_shoe’ field에 저장되고 Rpi는 해당 field를 읽어 이에 대한 수납 처리를 진행할 수 있도록 한다.
 [[파일:Firebase storage.JPG|800픽셀|섬네일|가운데|Firebase Storage에 저장된 신발 사진의 모습]]<br/>
 Firestore Database에는 이미지를 업로드할 수 없기에, storage에 이미지를 저장하고 Firestore Database에는 이미지의 주소를 저장한다.

@@ 107번째 줄: / 107번째 줄: @@
 =====신발 종류 구분=====
-이번 프로젝트에서 여러 개의 신발 종류를 구분해내야 하므로 class가 여러 개인 Multi-class classification을 수행한다. 데이터셋으로는 kaggle의 shoe dataset을 사용하였고, 학습에 방해가 될 것으로 예상되는 이미지를 선별하는 작업을 수작업으로 진행하였다. 선별한 데이터셋을 train:valid:test = 6:2:2로 나누고, 베이스라인 모델로는 3층의 CNN 모델을 사용했다. 구두, 슬리퍼, 운동화 3종류의 신발들을 딥러닝 서버에서 학습시키고, 라즈베리파이에서 어떤 종류의 신발인지 추론한다. 실제 환경에서 촬영한 사진을 사용하여 transfer learning을 진행할 예정이다. 성능은 다음과 같다
+이번 프로젝트에서 여러 개의 신발 종류를 구분해내야 하므로 class가 여러 개인 Multi-class classification을 수행한다. 데이터셋으로는 kaggle의 [https://www.kaggle.com/datasets/aryashah2k/large-shoe-dataset-ut-zappos50k Large Shoe Dataset]의 /ut-zap50k-images 폴더 내의 이미지를 활용하여 우리가 분류하고자 하는 구두, 스니커즈, 슬리퍼로 다시 나누었다. 구두의 경우 /Shoes의 Loafers, Oxfords 폴더에서, 스니커즈의 경우 /Shoes의 /Sneakers and Athletic Shoes 폴더에서, 슬리퍼의 경우 /Sandals의 Flat 폴더와 /Slippers의 Slipper Flats 폴더에서 이미지를 가져왔다.
 =====신발 색상 구분=====