01분반 4조 42좋은4조

프로젝트 개요

기술개발 과제

국문 : 객체탐지 AI를 활용한 하수관로 내부 결함 모니터링 시스템

과제 팀명

42좋은4조

지도교수

오희경 교수님

개발기간

2023년 9월 ~ 2023년 12월 (총 4개월)

구성원 소개

서울시립대학교 환경공학부 2018890021 김재준(팀장)

서울시립대학교 환경공학부 2018890022 김창현

서울시립대학교 환경공학부 2022890037 신현서

서울시립대학교 환경공학부 2020890071 최서현

서론

개발 과제의 개요

개발 과제 요약

하수관로 이미지를 학습한 AI를 통해 하수관 파손, 이상을 실시간으로 탐지하여 하수관로를 효율적으로 관리한다.

개발 과제의 배경

하수관로와 같은 지하시설은 토굴과 매설작업을 수반하기 때문에 설치하는 비용 뿐만 아니라 이를 정비하기 위해서는 많은 비용과 시간이 소요된다. 또한 하수관로 정비를 위해서는 매설지역의 상부에 설치된 시설물을 이동하거나 해당 지역의 교통을 통제하는 등 여러 가지 시민불편을 초래한다. 기존 하수관로 관리의 한계점은 다음과 같다.

 하수관로 결함 항목 하수관로 관리에 있어 평가하는 항목들이 CCTV 조사자료 결과를 바탕으로 이루어지지 못하고 뉴질랜드의 매뉴얼(NZWWA, 2006)의 결함항목과 상태등급 산정 방법을 준용하여 활용하고 있다. 이는 한국에서 주로 발생하는 하수관로 결함을 중심으로 살펴볼 필요가 있다.

 정비 계획 수립 하수관로 정비 계획이 수립되기 위해서는 해당 관로에 어떤 문제가 있는지 우선 파악되어야 한다. 그러나 이를 위해서는 전수조사를 하거나 이상현상이 발생한 이후 수립할 수 있다. 하수관로 이상으로 인한 주민 피해를 최소화하고 사전에 예방이 가능하도록 자동화를 통한 모니터링 시스템 구축이 필요하다.

 육안 판독 CCTV 조사 시에는 기록된 화면을 육안으로 판독하는 문제가 있다. 육안 판독으로 인하여 일관되지 못한 관리로 중대한 사안과 결함을 찾아내지 못할 가능성이 있어 개선이 필요하다.

 점수화, 등급 분류 하수관로의 관리를 위해 조사된 이상 사항을 점수화, 등급에 따라 분류하는 과정을 거친다. 이 과정 역시 일일이 판단해야 하는 번거로움이 있어 많은 양의 결함을 찾아 분석하기에 부적절하다.

 CCTV 조사의 활용도 CCTV 조사 결과는 하수관로 이외의 용도로 사용되지 않는다. 국내에서는 하수관로 이미지 데이터를 모아 활용한 사례가 적고 미비하나, 이를 데이터베이스화 하여 지속적으로 관리한다면 추후 문제를 찾고 적절한 해결책을 찾는 사례로 모을 수 있다. 또한, 이번 프로젝트에서 제작하는 AI 모델의 경우 다량의 데이터를 학습할수록 성능이 높아지는 특성이 있으므로 CCTV 조사 결과를 누적하여 관리할 필요성이 대두된다.

따라서 AI 기반의 자동 탐지 모델은 하수관 이상 탐색 시 투입되는 자원과 노력을 줄임으로써 하수관로를 효율적으로 관리할 수 있다.

개발 과제의 목표 및 내용

 목표

• AI를 통해 하수관로에서 특정 위험요소(파손/파열/이음매 문제 등)을 찾아내고 이를 모니터링 하는 시스템으로 확장 • 하수관로의 이상을 탐지하는 과정에서, 하수관로 관리 발전을 위한 개선 방안과 아이디어 등 2차 개발 과제를 발굴

 내용

• 평가 요소 재설정 한국 사회의 하수의 특성과 하수 처리장 등의 요소를 고려하여 평가 요소를 재구성한다. 해외 사례 기반과 CCTV 조사 없이 수립된 결함 항목을 개선하여 보다 한국 사회에 적합한 평가 항목들로 정확한 진단을 도모한다.

• 객체 탐지 AI 모델 개발 하수관로 관리는 관 내부 CCTV 영상촬영용 로봇을 활용해 손상부위를 촬영하기 때문에, 영상을 프레임별로 나누어 하수관로 이미지 데이터 확보한다. 이 이미지 데이터를 바탕으로 하수관 파손 데이터의 파손 위치와 파손 정보를 파악하고 boundary box를 설정하여 객체 탐지를 진행한다. 모델은 손상과 파손에 대해 심각성에 대해 분류하여 등급을 나누어 위험 정도가 높은 부분을 알려주도록 한다.

• 아두이노를 이용한 프로토타입 제작 하수관로 순상분류 모델(알고리즘)개발에 그치지 않고, 개발한 모델을 아두이노 회로에 직접 입력, 적용하여 프로토타입을 제작한다. 제작한 프로토타입을 기반으로 실제 하수관로에 적용하거나 하수관로와 유사한 상태를 설정하여 성능을 시험하고 평가한다.

개발과제의 기대효과

기술적 기대효과

- 조사의 자동화로 전수조사를 통한 하수관로 이상 사전 탐지 및 관리 - GPS 와 연동하여 하수관 관망도에서 파손 정보 추가 - 하수관로 이미지 데이터 수집의 자동화, 데이터베이스화를 통한 다양한 활용 가능성 확보

경제적, 사회적 기대 및 파급효과

- 국내 하수관거 특성에 맞는 기준 수립 및 탐지 가능 - 조사과정 일원화로 인건비 절감 가능 - 정확한 진단, 탐지를 통한 주민 피해 최소화

기술개발 일정 및 추진체계

개발 일정

내용

구성원 및 추진체계

내용

설계

설계사양

제품의 요구사항

 현 제품의 문제점

• 하수관로 관리를 위해 평가하는 항목들이 CCTV 조사자료 결과를 바탕으로 이루어지지 못하고 뉴질랜드의 매뉴얼(NZWWA, 2006)의 결함항목과 상태등급 산정 방법을 준용하여 활용하고 있다. • 현재 하수관로 정비 계획 수립을 위해 관로의 결함이 파악되어야 하는데 이를 위해서는 전수조사를 하거나 문제상황이 발생한 이후에만 인지할 수 있다. • CCTV 조사 시 기록된 화면을 육안으로 판독해야 하기 때문에 주관적이고 일관되지 못한 관리로 중대한 사안과 결함을 찾아내지 못할 가능성이 있다. 점수화, 등급화 과정에서도 육안 판독을 거쳐야 하기 때문에 많은 양의 결함을 분석하기에 부적절하다. • 국내에서는 하수관로 이미지 데이터를 모아 활용한 사례가 적고 미비하다.

 요구사항

번호 요 구 사 항 D or W 비고 1 수집된 데이터가 목적에 적합한지 여부 D 20% 2 하수관로를 파악할 수 있는 화질을 지닌 CCTV D 15% 3 위치를 파악할 수 있도록 하는 GPS 탑재 D 15% 4 모델의 구간별 이상 탐지 D 25% 5 전 구간 이상 종합을 통한 등급 분류 W 25%

개념설계안

- 하수관로 상태판정 매뉴얼 수립 과정 하수관로 상태판정은 두 가지 과정을 통해서 이루어진다. 1단계는 단위구간 상태판정으로 지정된 관로에 어떤 이상 사항들이 있는지 탐색하는 과정이다. 2단계는 조사구간 상태판정으로 지정된 조사 구간의 모든 관로들의 1단계 평가 수행 후 최종 점수를 합산하여 관로마다 우선순위와 시급도, 중증도를 매기는 과정이다. 이번 연구에서도 AI 개발에 앞서 하수관로 상태판정을 위한 매뉴얼에 대해 조사하고 이를 발전시킨 매뉴얼을 수립하였다. 환경부에서 2017년 6월 고시한 하수관로 맨홀조사 상태등급 판단기준 표준 메뉴얼을 참고하여 보다 구체적으로 변경하였다. 이때, 한국 하수관로에 적합하도록 기준을 보완할 수 있도록 우리나라 하수도관 파손의 주요 유형에 대한 통계 수치를 토대로 주요 사항에 대해 분류 체계를 세분화하였다.

- 국내 하수도관 파손 주요 유형 통계 수치

기초형식 및 뒤채움재 종류별 강성관용 하수관거의 안전율(국립공주대학교 건설환경공학부 이관호, 김성겸, 2019)에서 연구된 하수도관 파손 주요 유형을 정리하였다. 가장 많은 유형은 이음부 불량이 38%로 높았고 다음으로 연결관 돌출 및 접합 불량 30%, 관내 퇴적 12%, 관의 파손 및 균열 10%, 기타 10%임을 확인할 수 있었다. 이런 연구 결과를 토대로 하수관거 이상 탐지 시 해당 사항들이 보안될 수 있도록 등급을 구체적을 세분화하여 매뉴얼을 수정하였다.

기존의 단위구간 상태 판정 매뉴얼은 크게 균열, 표면손상, 라이닝 결함, 좌굴, 변형, 파손, 붕괴, 영구 장애물, 천공, 연결관, 이음부, 침하 등의 항목으로 나뉘어져 있다. 각 항목들에는 코드가 지정되어 있으며 심각도에 따라 대/중/소의 3단계로 구분하여 점수를 부여한다.

이 기준을 토대로 이음부의 단차, 이탈 2가지 항목, 연결관의 돌출 및 접합 2가지 항목, 균열의 길이, 원주 2가지 항목, 파손 총 8가지 항목을 여러 등급으로 구체화하여 나누었다. 결합등급 설명을 토대로 나누었으며 점수는 기존 점수에서 최댓값, 최소값은 유지한 채 스케일을 조정하여 평균값을 새로운 등급의 점수로 지정하였다.

이처럼 세부적으로 나눈 항목 구분하는 AI를 개발하여 구체적으로 진단할 수 있도록 이번 설계를 기획하고자 한다.

조사구간(맨홀 대 맨홀)의 상태등급 평균값은 조사구간내 각 ‘단위구간’별 상 태등급 점수의 총 합을 단위구간의 개소로 나눠준 값이다.

소프트웨어 흐름

 입력

하수관로의 결함, 이상 등을 탐지하는 것이 AI의 주 목적이므로 입력 값으로 사용되는 것은 하수관로 CCTV 조사의 이미지 데이터이다. 이번 프로젝트에서는 ㈜태성에스엔아이에서 수집한 하수관로 내부이미지와 파손 위치에 대한 데이터를 활용한다.

 데이터 전처리

수집한 데이터를 토대로 AI 제작과 분석에 들어가기 전 전처리를 통해 데이터의 규격을 일치시키고 noise와 outlier 등 모델 구축과 성능 저해 요인을 제거한다. 이미지 데이터 전처리를 위해 python의 cv2 모듈을 사용하여 이미지의 크기와 선명도 등의 요인들을 일정하게 통일 시켰다. 이후, 각 데이터들에 라벨링을 통해 주어진 이미지에서 찾아낼 수 있는 하수관로 이상 요소와 문제를 표기하였다. 이때 라벨링에 사용되는 기준은 환경부에서 고시하고 개념 설계에서 구체화 시킨 1단계 단위구간 상태판정 매뉴얼이다. 모은 이미지를 확인하여 결합등급 기준에 부합하면 해당 결합등급으로 라벨링하여 저장하였다.

 데이터 분할

일반적으로 데이터 분할은 전체 데이터를 여러 개 집합으로 분할하고 그 중 일부는 모델의 훈련에 사용하고 나머지는 모델 성능 평가에 사용하는 방법이다. 데이터 분할은 전체 데이터를 아래의 3개 집합으로 분류하는 과정을 의미한다. - 훈련데이터: 개발한 모델을 훈련할 때 사용 - 검증 데이터: 개발한 모델의 최적의 하이퍼 파라미터를 찾을 때 사용 - 테스트 데이터: 최종 모델의 성능 평가에 사용

개발을 완료한 모델에 새로운 데이터를 입력했을 때 일반화된 성능을 나타내는지를 확인하는 가장 효율적인 방법은 데이터를 훈련 데이터(Training Dataset)와 실험 데이터로(Test Dataset) 분할하는 것이다. 여기서 훈련 데이터는 개발한 모델을 훈련할 때 사용하고, 실험 데이터는 성능을 평가할 때 사용된다. 성능 평가방법은 목적에 따라 MAE, F1-score 등 다양한 지표를 사용할 수 있다. 일반적으로 전체 데이터의 80%는 모델을 훈련할 때 사용하고 나머지 20%는 성능을 평가할 때 사용된다. 그러나 데이터 세트의 크기가 지나치게 크다면 실험 데이터의 비율을 낮게 설정할 수 있다. 실험 데이터를 사용하여 학습된 모델의 성능 평가를 통해 최적의 하이퍼 파라미터를 찾아도 최종 구축된 모델을 실제 서비스에 적용했을 때 성능이 예상보다 낮게 나타나는 경우가 존재한다. 이는 실험 데이터를 사용하여 모델의 성능을 평가했기 때문에 하이퍼 파라미터가 실험 데이터에 최적화된 모델을 구축했기 때문이다. 즉, 새로운 데이터가 입력되면 효과적인 성능을 나타내기 어렵다. 이와 같은 문제를 해결하는 방법은 훈련 데이터에서 별도로 검증 데이터를 분할하여 다양한 유형의 모델을 평가하고 그중에서 성능이 우수한 모델을 선택할 수 있다. 다시 말해, 훈련 데이터를 사용하여 다양한 파라미터를 설정한 모델을 구축하고 검증 데이터를 통해 구축된 여러 모델의 성능을 측정하여 가장 우수한 모델을 선택한다. 이러한 작업이 끝나면 검증 데이터를 포함한 전체 훈련 데이터를 사용하여 선택한 모델을 훈련하여 최종 모델을 구축한다. 마지막으로 실험 데이터를 사용하여 최종 훈련된 모델의 성능을 평가한다.

 사용 모델: YOLOv5

이번 프로젝트에서는 객체탐지를 위한 AI 모델로 YOLOv5를 선정하여 적용하였다. YOLOv5 는 입력된 이미지를 일정 분할로 그리드한 다음, 신경망을 통해 바운딩 박스와 클래스 예측을 생성하여 최종 감지 출력을 결정한다.

 모델 컴파일

Object Detection 성능 평가로 모델이 얼마나 객체 탐지를 성공적으로 수행했는가는 두 가지 측면에서 살펴볼 수 있다. 첫번째 부분은 얼마나 잘 탐지하는가에 대한 것이고, 두번째 부분은 얼마나 빠르게 탐지하는가에 대한 부분이다. 얼마나 잘 탐지하는가는 Accuracy의 측면으로, mAP로 흔히 평가한다. 얼마나 빠르게 탐지하는가는 inference time을 얼마나 단축시키는가의 측면으로, 모델의 효율성 등과 연관되며 이는 FPS로 흔히 평가한다. - mAP: mAP는 여러 알고리즘 간의 성능 비교가 가능한 알고리즘 성능 평가 지표이다. obejct detection에서는 하나의 객체(binary class)만을 탐지하는 것이 아닌, 여러 객체를 탐지하는 것이므로(multi-class) AP를 모든 class에 대해 계산할 필요가 있다. 이때 mAP는 AP를 class에 대해 average한 결과이다. 각 class 별로 AP를 계산하여 해당 class에 대해 Prediction 값의 정확도를 구한 후, 이를 모든 class에 대해 평균을 내어 해당 모델이 모든 클래스에 대해 어느 정도의 탐지 정확도를 기록하는지 판단할 수 있다.

 모델 학습

모델의 학습에는 인위적인 수치로 조정해야 하는 다양한 종류의 hyper parameter가 있으며 이번 연구에서도 Batch size, epoch 등의 하이퍼 파라미터를 변경하며 최적의 모델을 찾았다.

 모델을 통한 파손 종류/파손 등급 분류

하나의 관로에 대해 CCTV 조사를 실시한 후 AI 모델에 적용하면 해당 관로에서 탐지된 결함과 등급이 자동으로 축적된다.

 최종 등급 판정

축적된 결함과 등급을 종합하여 배정된 점수를 토대로 해당 관로의 최종 등급을 판정한다.

 파손 알림 및 데이터베이스화

최종적으로 실시간 적용 가능한 AI를 통해 파손에 대한 알림과 데이터베이스 누적으로 하수관로의 효율적 관리와 향후 발전 가능성 제안을 위한 초석을 마련한다.

소프트웨어 설명

내용

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

내용

미디어: 미디어1.mp4

미디어: 미디어2.mp4

포스터

내용

섬네일을 만드는 중 오류 발생: convert: Image width exceeds user limit in IHDR `/var/www/capstone/env/images/8/83/4_포스터.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Image height exceeds user limit in IHDR `/var/www/capstone/env/images/8/83/4_포스터.png' @ warning/png.c/MagickPNGWarningHandler/1672.
convert: Invalid IHDR data `/var/www/capstone/env/images/8/83/4_포스터.png' @ error/png.c/MagickPNGErrorHandler/1646.
convert: corrupt image `/var/www/capstone/env/images/8/83/4_포스터.png' @ error/png.c/ReadPNGImage/4095.
convert: no images defined `/tmp/transform_72c1c1d8ed64.png' @ error/convert.c/ConvertImageCommand/3210.

Error code: 1

완료작품의 평가

내용

향후계획

- AI 모델을 활용한 조사의 자동화로 전수조사를 통한 하수관로 이상 사전 탐지 및 관리

- 일정한 기준에 따라 학습된 AI를 활용하여 기복이 없는 정확한 이상 탐지와 인건비 절감

- 하수관로 이미지 데이터 수집의 자동화, 데이터베이스화를 통한 무궁한 활용 가능성 확보

- 모델 경량화를 통한 휴대용 기기에서도 적용 가능성 확보

특허 출원 내용

내용