水진조

프로젝트 개요

기술개발 과제

국문 : 머신러닝을 활용한 하수시설 종합 점검 및 모니터링 기술 개발

영문 : Automated Structural Monitoring on Sewerage System using Machine Learning

과제 팀명

水진조

지도교수

조*진 교수님

개발기간

2021년 3월 ~ 2021년 6월 (총 4개월)

구성원 소개

서울시립대학교 토목공학과 20188600** 이*민(팀장)

서울시립대학교 토목공학과 20158600** 곽*운

서울시립대학교 토목공학과 20158600** 진*민

서울시립대학교 토목공학과 20178600** 김*균

서울시립대학교 토목공학과 20188600** 강*구

서울시립대학교 토목공학과 20138600** 유*현

서론

개발 과제의 개요

◇ 데이터를 취득하기 위한 카메라
- 미국 시장조사 전문업체인 리포트링커(ReportLinker)에 따르면 전세계 인공지능(AI) 시장이 오는 2025년에는 2828억 달러(약 350조 8천억원) 규모로 시장이 형성될 것으로 예상
◇ 스마트 건설 기술 시장 동향
- 2016년 기준 BIM이 39.77억 달러, IoT가 30억 달러, 건설로봇이 1.8억 달러, 모듈화 건설이 1.33억 달러, 건설 드론이 1.49억 달러로 조사
◇ 하수도 정비 예산 동향
- 2019년 서울시 하수도 정비 예산 5,489억 원, 2018년 대비 1,527억 원 증가
◇ 사회성 분석
- 2021년 1월 시행된 하수도법 개정령으로 기술 진단 제도의 실효성 증대
- 지반 함몰 원인 84% 하수관 손상, 하수도관의 주기적 점검 및 관리의 필요

개발 과제 요약

◇ 데이터를 취득하기 위한 카메라, 적외선 센서가 탑재된 아두이노 기반 자율주행 RC차량 제작 
◇ 적외선 센서를 통해 거리를 측정하고 장애물 위치를 파악하여 주행경로를 예측하는 자율주행의 구현 후 주행시켜 하수시설 데이터 취득
◇ 하수시설로부터 취득한 2D 영상 학습 데이터와 1D 시계열 데이터를 딥러닝 모델에 학습시켜 하수관로 손상 탐지 모델 및 장치를 개발한다. 추가적으로 하수관로 내의 RC차량의 알고리즘을 개발시켜 하수관로의 손상탐지 자동화 모델의 개발을 목표로 한다.

개발 과제의 배경

◇ 하수도관의 주기적인 점검의 필요성

- 상수도 사고 인명피해 : 서울에서 2004년부터 2020년까지 상수도 관련 주요 사고가 310건 발생하고 사망자도 18명에 이른 것으로 파악됐다. 서울시 상수도사업본부에 따르면 해당 기간 상수도 관련 인명 사고가 16건 발생해 18명이 사망하고 9명이 부상당한 것으로 집계됐다. 주요 상수도 사고가 일어난 시설은 송·배수관로(75.0%)가 대부분을 차지했다. 사고 원인은 시설 노후화(26.0%), 자연현상(17.7%), 시공 불량(17.4%), 작업자 실수(16.1%) 등 순이었다.

- ‘하수도법 시행령’의 개정안으로 인한 기술진단 실효성의 증대 :　환경부(장관 조명래)는 기술진단전문기관 등록요건에 총유기탄소량 실험분석장비를 포함하는 등의 내용을 담은 '하수도법 시행령' 개정안이 11월 10일 국무회의에서 의결되어, 11월 17일 공포 후 시행된다고 10일 밝혔다. 이를 통해 공공하수도관리청(지자체)이 간이공공하수처리시설, 하수저류시설, 하수관로에 대한 기술진단을 하지 않은 경우 환경부가 과태료를 부과할 수 있는 근거를 마련했다. 공공하수도관리청이 5년마다 의무적으로 실시해야 하는 간이공공하수처리시설, 하수저류시설, 하수관로에 대한 기술진단을 하지 않는 경우, 이를 제재할 수 있는 근거가 없어 제도 운영에 한계가 있었으나 이번 개정을 통해 과태료를 부과할 수 있게 되어 기술진단 제도의 실효성을 높였다.

- 지반 함몰 : 최근 사회적 이슈로 도심지 지반함몰로 인한 인적 물적 피해 사례가 많이 발생하고 있다. 서울시 지반함몰 발생 원인 분석 자료를 참조하면, 하수관 손상으로 인한 지반 함몰이 전체 84%로 주요 원인으로 분석 되었다. 이로 인해 지반함몰 발생건수는 연평균 20%이상 증가하는 것을 확인할 수 있다. 따라서 ICT기반 기술을 적용하여 노후 하수관의 파손상태 및 관 외부 동공을 정밀하게 관측하고, 긴급 보수 또는 예방 유지보수를 통해 지반함몰 예방이 가능한 하수관 보수장비의 필요성이 대두되고 있다.

관련 기술의 현황

시장상황에 대한 분석

가. 기존/경쟁 기술/제품 조사 비교

◇ 실내진단드론을 활용한 하수관로의 암거(box)의 내부 균열 진단 ((주)에어센스)

에어센스는 실내용 충돌방지 드론 시스템으로 하수관로와 암거박스의 내부 균열 진단을 수행시켰다. 대부분의 드론은 프로펠러에 장애물 간섭이 생기면 곧바로 추락하거나 정상적인 비행이 불가능하다는 단점이 존재한다. 이런 단점을 보완하기 위하여 설계된 실내용 충돌방지 드론 시스템은 탄소 섬유로 이루어진 외부 케이지가 프로펠러를 보호해주기 때문에 장애물이 많고 사람이 접근하기 어려운 장소까지 근접 촬영하여 정밀 진단이 가능할 뿐만 아니라 장애물과 충돌하여도 추락하지 않고 안전하게 비행이 가능하도록 하였다. 기존 방식은 하수암거의 균열 점검을 수행하기 위해 사람이 직접 하수관 내부에 들어가서 점검을 진행했으며, 3명이 150m 구역을 점검하는데 약 45분이 소요되었다. 이러한 점검 방법은 많은 노동력이 필요하고 시간적 소비가 크기 때문에 현재까지의 점검 방법은 효율적이지 않았다. 작업의 수행 방법은 하수암거 내부로 드론을 투입해서 150m까지 균열 점검을 수행했다. 약 8분의 비행시간동안 150m를 직진 후 다시 되돌아왔으며(왕복 300m), 내부 시설물들의 상태를 시간소비를 적고 최소한의 노동력으로 균열 점검을 할 수 있었다. 그에 비해 본 연구에서 개발할 실내진단차량 Rollin은 ELIOS2와 달리 센서를 이용한 완전 자동화 시스템으로 별다른 조종 기술 없이도 하수도 점검이 가능하다. 또한 배터리 수명도 ELIOS2는 최대 10분이지만 Rollin은 1시간에 달해, 900m에 해당하는 거리를 점검 가능할 것으로 추정한다.

◇ 인공지능 분야의 시장성

구글, IBM, 페이스북, 아마존, 엔비디아, 인텔, 마이크로소프트, 시스코, Dell EMC, 휴렛 패커드, 레노버 등 많은 글로벌 기업들이 AI 제품 및 솔루션, 서비스 중심으로 시장을 가속시키고 있는 가운데 전세계 인공지능(AI) 시장이 오는 2025년에는 43.9 %의 연평균 성장률(CAGR)에 힘입어 2828억 달러(약 350조 8천억원) 규모로 시장이 형성될 것으로 예상된다. 이는 미국 시장조사 전문업체인 리포트링커(ReportLinker)가 22일(현지시간) 발표한 조사보고서에 따른 내용이다. 
이 중 딥러닝은 연평균 성장률 42.5 % 이상으로 성장해 2025 년까지 1,661억 달러(약 206조원)에 달할 것으로 전 세계 AI시장을 견인할 것으로 예상된다. 보고서에 따르면 미국은 41 %의 성장 모멘텀을 유지할 것이며, 유럽 내에서 독일은 11억 9천 달러(약 1조4천억원), 그리고 111억 달러(약 13조 8천억원) 이상의 수요는 유럽의 나머지 시장에서 일본의 경우 48억 달러(약 5조 9백억원)의 시장 규모에 이를 것으로 예상하고 있으며, 세계에서 두 번째로 큰 시장으로 새로운 게임 체인저인 중국은 향후 몇 년 동안 연평균 성장률 50 % 이상 성장할 수 있는 잠재력을 보여주고 야심찬 국가 AI로드맵으로 오는 2025년에는 655 억 달러(약 81조3천억원) 규모로 성장될 것으로 예상된다.

◇ 스마트 건설기술 시장 동향

4차 산업혁명 기술을 중심으로 다양한 글로벌 시장분석전문업체를 통해 시장규모를 추산해보면, 2016년 BIM이 39.77억 달러, IoT가 30억 달러, 건설로봇이 1.8억 달러, 모듈화 건설이 1.33억 달러, 건설 드론이 1.49억 달러로 조사되고 있다. 이러한 규모로 보면 약 100억 달러 정도의 규모를 가지고 있으며, 연평균 성장률은 12% 정도로 전망하고 있다. 그러나 스마트시티 시장이 약 2.2조원이고 이 중 스마트 인프라 시장이 약 13%를 차지하고 있는 것으로 파악되기에 스마트 건설기술의 시장규모는 약 2,000~3,000억 달러 수준에 이를 것으로 추정된다.

개발과제의 기대효과

기술적 기대효과

◇ 다양한 데이터(영상 및 신호 데이터)를 활용하여 정량적이고 객관적인 손상 탐지 분류 기술 개발
◇ 기존의 인력기반(검사 수행자자의 육안)으로 수행되는 정성적 유지·진단 프로세스 대비 정확성 증대
◇ 기존의 진단 방법(유선 RC카의 영상촬영장치) → 제안한 진단 기기(무선 아두이노 기반 데이터 수집 및 계측장치)를 활용하여 현장에서 발생하는 유선에서의 한계성 극복
◇ 제안한 진단기기는 자율주행 기술로 작동하여 하수관로에서 협잡물 등으로 인해 발생하는 주행 오작동 해결 및 작업 속도 극대화
◇ 현행 수행하는 진단 방법 중 영상으로 판별하는 진단 방법 외에 추가적인 다양한 신호 데이터들을 활용한 손상 탐지 방법으로 하수시설 손상 판별의 새로운 기준안 제시
◇ DB화를 통한 체계적인 데이터 관리와 처리 간소화
◇ 딥러닝을 적용한 손상 탐지 기술로 하수시설을 포함한 다양한 토목 분야에 적용 가능성 제시

경제적, 사회적 기대 및 파급효과

◇ 자율주행 무인기를 활용한 하수시설의 진단 방법으로 안전사고 및 인명피해 예방
◇ 기존의 하수시설 노후화 및 손상 진단에 수행되는 인력 및 비용 절감
◇ 현행 이루어지고있는 국내 인력기반 사회기반시설물 유지·진단 방법의 패러다임 전환

설계

설계사양

제품의 요구사항

개념설계안

가. 자율주행 탐사 차량 제작

<적외선 센서>

◇ 적외선 센서는 자율주행 구현을 위해 들어가는 센서로서, 차량 전면부에 설치하여 거리를 측정하고 장애물의 위치를 나타내는 좌표를 취득하기 위해 사용되는 센서이다. 
◇ 하수관로주행에 맞게 센서 데이터 취득 관련 코딩 작업을 통하여 어두운 하수관로의 환경에서 자율주행을 구현할 수 있게 한다.

◇ Night Vision Camera를 사용하지 않고, 일반 카메라로 촬영할 경우, 어두운 하수관로를밝히기 위해 조명을 사용하게 되는데, 이때 조명으로 인한 빛 번짐 등으로 인하여 촬영에 문제가 생길 가능성이 매우 크다.
◇ 이를 개선하기 위해 조명을 필요로 하지 않는 Night Vision Camera를 사용하여 이러한 문제점의 발생 가능성을 제거함으로써 높은 선명도의 데이터를 취득한다.

<스마트폰 카메라(측면부 탑재)>

◇ 주행이 올바르게 되고 있는지, 점검이 원활하게 이루어지는지 확인할 필요가 있기 때문에 전면부에 스마트폰 카메라를 설치하여 하수관로의 주행 상황을 점검자에게 전송하여 점검자가 실시간으로 각 진행 상황을 확인할 수 있게 한다.

<서보모터>

◇ 서보모터는 차량의 조향 및 후진 시 주행 영상 카메라의 방향 전환을 하는데 사용된다.
◇ 전륜 축에 서브모터를 장착하여 조향 기능을 수행한다.
◇ 적외선 센서로 얻은 데이터를 바탕으로 하여 차량의 주행 방향을 조정한다.
◇ 주행 영상의 전,후진 시 카메라 전환을 위한 추가 서보모터를 장착한다.

◇ 차량 제작 순서는 첫째로 차체를 이루는 재료로 충분한 동력을 갖는 차량을 제작한다.
◇ 제작된 차량에 자율 주행을 위해 사용되는 적외선 센서와 주행 상황을 점검자에게 실시간으로 전송하기 위한 전면부 카메라, 영상데이터 취득을 위한 측면부 카메라를 보드에 구축한다.
◇ 마지막으로 실제로 사용이 가능하도록 라즈베리 기반 시스템 환경을 구축한다.

첫째로, 무선,무인으로 작동되는 자율주행 탐사차량이 하수관로에 대한 영상 데이터를 Night Vision Camera로 취득한다. 영상 데이터를 취득하면서 추후에 어디에 손상이 발생되었는지 확인할 수 있도록 영상데이터의 위치좌표까지 수집한다. 수집한 영상데이터를 입력 데이터로 변환시키고, 손상 탐지 모델을 통과하여 손상을 탐지한다. 손상의 종류는 균열과 파손 두 가지 종류에 대해 탐지하고 그렇게 하수관로의 손상과 그 위치를 파악한다. 최종적으로, 수집한 정보들을 바탕으로 하수관로 손상 지도를 제작함으로써 하수시설을 종합적으로 점검하고 모니터링할 수 있는 기반을 마련한다.

나. 하수관로 손상탐지 모델 개발

◇ 딥러닝 영상 인식 모델에는 Image Segmentation Model과 Object Detection Model과 같이 두 가지 방법론으로 구분할 수 있다. Image Segmentation Model은 입력된 이미지에 대하여 객체를 분류하고자할 때 모든 픽셀에서 픽셀단위로 분류하는 방법이며, Object Detection Model은 박스형태로 객체와 위치를 탐지하는 방법이다. 본 과제에서 목표로 하는 것은 하수관로의 손상여부와 손상의 위치를 탐지하는 것이다. 따라서 균열과 손상의 형상에서 나타는 연속성을 고려하였을 때, Object Detection Model이 위 목표와 적합한 모델이라고 볼 수 있다.
◇ Object Detecion이란 입력 영상에서 영상 내에 존재하는 모든 카테고리에 대해 분류와 지역화를 수행한다. 분류는 Softmax와 같은 활성화 함수를 출력층에 삽입하여 대상이 어떤 객체인지 확률로서 판단하게 되며, 대상의 위치는 회귀를 통하여 위치 좌표를 산정하게 된다.
◇ Object Detecion을 구현하기 위해 다양한 노력이 이루어졌으며, 현재 총 45개의 방법론들이 존재한다. 이 중에서 사용성이 좋고, 탐지 정확도가 우수하며, 탐지 속도가 매우 빠른 편에 속하여 이 모델을 사용한 관련 페이퍼들이 총 284건으로 가장 많았던 모델인 Faster-RCNN 모델을 선정하였다. Object Detecion Model의 성능은 mAP 수치로 판단할 수 있게 되는데, PASCAL VOC 2007 Dataset에서의 mAP 측정 순위를 살펴봤을 때, 이 모델은 81.32%로 성능이 매우 우수한 편에 속한다.
◇ Faster-RCNN의 손상 탐지는 Fig.11과 같이 요약할 수 있다. 자율주행 탐사차량의 Night Vision Camera가 영상 데이터를 취득하고, 이 데이터를 인공지능 모델에 입력하여, 손상의 여부와 위치를 탐지하게 된다.
◇ 학습에 사용될 이미지를 구축하기 위해서 균열과 파손 각각 200장의 이미지에 대해서 다양한 데이터를 수집한다. 하수관로와 같은 환경은 빛이 들어오지 않는 매우 어두운 환경이다. 따라서 이를 극복하기 위해 자율주행 차량에 탑재한 Night Vision Camera를 통하여 손상 후보 데이터들을 취득한다. 이러한 데이터와 동일한 환경을 설정하기 위해 Night Vision Filtering을 거쳐 Night Vision Camera의 촬영 영상과 같은 영상으로 변환한다. 더하여, 이러한 영상처리 기반 인공지능 모델의 성능은 학습에 사용되는 학습 데이터의 양이 절대적인 영향을 미친다. 따라서 수집해놓은 균열과 파손 이미지 각각 200장에 대해서 Data Augmentation 기법을 수행한다. Data Augmentation이란 이미지의 좌우반전, 밝기변환, 뒤집기, 자르기 등을 통하여 학습데이터를 대량 확보하는 방법이다.
◇ 영상처리 딥러닝 모델에 사용되는 학습데이터는 동일한 이미지 크기를 가질 때 성능이 우수한 특징을 갖는다. 따라서 수집해놓은 이미지를 일괄적으로 조정하기 위하여 다음과 같은 코드를 개발하였다.
◇ 자율주행 차량에 탑재한 Night Vision Camera를 통하여 손상 후보 데이터들을 취득하고, 이러한 데이터와 동일한 환경을 설정하기 위해 Night Vision Filtering을 거쳐 Night Vision Camera의 촬영 영상과 같은 영상으로 일괄적으로 변환하는 Night Vision Filtering 코드를 개발하였다.
◇ Faster-RCNN 모델을 Matalb Software에서 구현하였다. 이 모델에 사용되는 네트워크는 resnet-50이 사용되었으며, 분류하고자 하는 클래스는 균열과 파손 2가지이다.
◇ 객체의 분류인 Classification에 사용되는 활성화 함수는 Softmax를 사용하였으며, 객체의 위치 좌표 산정 과정인 Localization에는 Box Coordinates를 추출하는 회귀기법이 사용되었다.

이론적 계산 및 시뮬레이션

[Object Detection의 성능을 확인하는 이론적 계산]

1)IoU (Intersection Over Union)

Object Detection에서 Bounding Box를 얼마나 잘 예측하였는지는 IoU라는 지표를 통해 측정하게 된다. IoU(Intersection Over Union)는 Object Detection, Segmentation 등에서 자주 사용되며, 영어 뜻 자체로 이해를 하면 “교집합/합집합” 이라는 뜻을 가지고 있다. 실제로 계산도 그러한 방식으로 이루어진다. Object Detection의 경우 모델이 예측한 결과와 GT, 두 Box 간의 교집합과 합집합을 통해 IoU를 측정한다.

2)Precision

주로 예측된 결과가 얼마나 정확한지를 나타내는데 사용이 되며 계산 식은 그림에 나와있는 것과 같이 True Positive(실제 Positive를 Positive로 잘 예측한 경우, 이하 TP)를 TP와 False Positive(실제 Negative를 Positive로 잘못 예측한 경우, 이하 FP)의 합으로 나눠줘서 계산을 하게 된다. 즉 Precision을 높이기 위해선 모델이 예측 Box를 신중하게 쳐서 FP를 줄여야 한다.

3)AP, mAP

Average Precision의 계산은 Recall을 0부터 0.1 단위로 증가시켜서 1까지(0, 0.1, 0.2, …, 1) 증가시킬 때 필연적으로 Precision이 감소하는데, 각 단위마다 Precision 값을 계산하여 평균을 내어 계산한다. 즉 11가지의 Recall 값에 따른 Precision 값들의 평균이 AP를 의미하며, 하나의 Class마다 하나의 AP 값을 계산할 수 있다. 이렇게 전체 Class에 대해 AP를 계산하여 평균을 낸 값이 바로 mean Average Precision, mAP 이다.