"1조"의 두 판 사이의 차이

2023년 6월 18일 (일) 06:39 기준 최신판

프로젝트 개요

기술개발 과제

국문 : 딥러닝 활용 이미지 데이터 기반 구조물 손상 다중 분류

영문 : Multi Class Classification of Infrastructure Defects Using Deep Learning Based on Image Data

과제 팀명

1조

지도교수

문영일 교수님

멘토교수

김선중 교수님

개발기간

2023년 3월 ~ 2019년 6월 (총 4개월)

구성원 소개

서울시립대학교 토목공학과 2020XXX0** 안**(팀장)

서울시립대학교 토목공학과 2020XXX0** 김**

서울시립대학교 토목공학과 2020XXX0** 박**

서울시립대학교 토목공학과 2020XXX0** 편**

서론

개발 과제의 개요

개발 과제 요약

1. 딥러닝 모델로 사진 속 손상 분류 및 라벨링

2. 민원인에게 손상에 대한 정보 제공

3. 처리 기관에 손상 종류 및 라벨링된 사진 전달

개발 과제의 배경

배경

1 현재 안전신문고 민원처리 과정

일상 속에서 안전 관련 문제를 발견한 국민은 안전신문고 웹과 앱을 통해 민원을 접수한다. 먼저 신고 유형(도로, 시설물 파손 및 고장/수질오염/교통위반 등) 7가지 중 하나를 선택하고, 관련 사진을 촬영하여 첨부한다. 다음으로 발생 지역을 지도상에서 선택한 후 민원 내용을 작성하고, 연락을 받기 위한 개인정보(이름, 이메일)를 입력하면 안전신문고로 민원이 접수된다.
접수된 민원은 안전신문고의 민원 분류 담당자에 의해 분류되고, 시스템을 통해 신고 지역별 처리 기관이 자동으로 지정되어 민원을 배정받는다. 처리 기관에서는 처리부서 및 담당자를 지정하여 민원을 처리한 후 처리 결과와 답변을 7일 이내로 안전신문고에 전달한다. 이후 민원인은 작성된 처리결과를 SMS를 통해 통보받아 앱, 웹을 통해 확인할 수 있다.

2 시민의 구조물 안전성 의문 제기

구조물의 손상은 1994년 성수대교, 1995년 삼풍백화점, 그리고 올해 있었던 정자교 붕괴사고처럼 심각한 사고로 이어질 수 있다. 이에 올해 서울역 센트럴자이 외벽 균열로 불안감을 느꼈던 주민들처럼 주위 구조물의 균열, 박리, 철근노출을 확인한 시민들은 구조물이 안전한가에 대한 의문과 불안감을 느끼게 된다.

3 안전신문고 업무 현황

2021년 안전신문고를 통해 들어온 안전신고 분야의 민원은 총 140만 건이다. 그중 도로, 시설 파손과 노후 교량 붕괴 위험 등 기반 시설 위험 신고는 총 34만 5천 건으로 월평균 약 28,785건이다. 안전신문고 신고처리 현황에서 확인한 연간 시설 관련(시설물의 균열, 처짐, 뒤틀림, 파손, 흘러내림 등) 신고 수는 2019년 39,713건, 2020년 59,342건, 2021년 116,973건, 2022년 128,681건으로 민원 수가 매년 증가하는 추세임을 확인할 수 있다.

문제점

1 정보 전달 내용 및 시기

시설물의 균열, 처짐, 파손 등과 관련된 시설 분야 민원은 그 상태에 따라 안전 문제로 이어질 수 있다. 하지만 현 상황에서 민원인은 안전신문고 처리 과정의 마지막 단계인 ‘처리결과 통보’에서 자신이 접수한 민원의 답변을 받아볼 수 있다. 민원을 접수하는 단계에서 안전 문제의 발생 원인과 심각 정도를 파악할 수 없으며 약 7일의 민원 처리 기간이 지난 후에도 Fig. 4와 같이 보수 내용과 결과 사진만을 전달받는다.

2 민원 분류 업무 가중

 안전신문고 홈페이지에 있는 홍보영상 ‘위험요소와 불법주정차를 척척 해결해주는 안전신문고’를 보면 안전신문고 민원 분류 업무를 하고 있는 공무원은 “저희들이 (신고를) 접수하고 분류하고 있는데 너무 바빠서 아침에 일찍 와서 하루 종일 이거만 하고 있습니다.”라고 말한다. 이처럼 안전신문고를 통해 접수된 신고는 행정안전부의 담당자가 직접 내용을 확인한 후 민원을 분류하여 시스템 상에서 자동 배정된 처리 기관에 이관하여 처리가 진행된다. 그 결과 시설물 균열, 처짐, 파손 등의 시설 분야 민원만으로 한정할 때에도 분류 담당자들은 연간 약 13만 건의 시설물 민원을 확인, 분류하는 작업을 거친다. 안전신문고를 통해 들어오는 민원이 매년 증가하는 상황에서 민원 분류 담당자의 업무 부담이 가중되고 있다.

3 사진상 손상 위치 확인

 민원인이 촬영한 사진은 촬영자마다 가까이서 찍은 근접 사진이 될 수도 멀리서 찍은 원거리 사진이 될 수도 있다. 앞서 언급한 홍보영상에서 공무원은 “신고된 사진을 자세히 보고 구분을 해줘야지 바로바로 처리가 될 수 있습니다.”라 인터뷰한다. 또한 다른 공무원은 “뭐가 파손됐으니까 어떻게 해달라 그렇게 신고를 해야 하는데 어떤 분들은 급하다 보니까 그냥 사진 1장만 찍고 (신고를 합니다.)”라고 말한다. 민원인이 제공한 사진은 사람에 의해 분류되고, 처리 기관에서 재확인되어 처리 업무가 진행된다. 분류 업무와 처리 업무에서 사진에 담긴 손상이 어떤 것인지, 그리고 어디에 위치하는지를 빠르게 파악하는 것이 중요하지만 현 처리 과정에서는 사람이 직접 눈으로 손상을 찾는다.

개발 과제의 목표 및 내용

목표

민원인이 신고 유형을 ‘도로, 시설물 파손 및 고장’으로 선택할 때, 우선 기존과 동일하게 안전신문고로 민원이 등록된다. 민원 분류 담당 업무자가 아닌 딥러닝 모델이 민원 사진을 입력 값으로 사진 속 시설물의 손상을 균열, 박리, 철근 노출 중 하나로 신속하게 분류한다. 이후 처리 기관에 시설물 손상의 종류와 민원인이 입력한 위치정보, 손상 사진을 전달한다. 이와 동시에 민원인의 이메일로 손상 종류에 따른 원인 및 발생 가능 피해 사항을 전송하며, 첨부된 매뉴얼을 통해 민원인은 자신이 접수한 민원 사진 속 손상의 안전성을 확인할 수 있다. 이 모든 과정이 자동화되어 안전 문제로 이어질 수 있는 시설 분야 민원을 신속하게 처리할 수 있게 된다.

활용 기술

사진의 손상을 4가지로 분류하는 CNN 분류 모델을 제작하는 과정에서 과적합을 방지하고 정확도를 높이기 위해 이미지 전처리를 통한 데이터셋을 구성하고, 전이학습 모델인 InceptionV3와 ResNet50를 실험에 사용한다. 하이퍼 파라미터의 시행착오(Trial-and-error) 방식과 자동화된 Optuna를 적용하여 실험을 진행해 최적의 모델을 구성하고자 한다.

설계 방향

민원인이 시설물의 손상 사진을 접수하면 딥러닝 모델은 사진 속 손상의 종류(균열, 박리, 철근노출, 우수)를 분류하며 손상을 라벨링한다. 분류된 정보는 처리 기관과 민원인에게 제공된다. 이때 민원인은 분류된 정보를 바탕으로 손상의 원인과 위험성을 확인할 수 있는 매뉴얼을 메일을 통해 제공받는다.

관련 기술의 현황

민원 처리 기술 현황

1 ‘빅데이터 정보화 전략계획 수립 및 데이터 분석 용역’ 사업

민원 데이터를 통해 기관별/ 분야별/ 특정 시점별 민원 발생량을 분석하여 사전에 민원을 예측하고 대비해 시민들의 불편을 줄이기 위해 추진된 사업이다. 분석 대상(민원 데이터, SNS)과 민원 데이터 속성(민원 제목, 민원 내용, 답변 내용, 접수일자, 민원 분류 등 총 7개 요소)을 설정하여 데이터를 정제한 후 사전 처리, 특성 추출을 진행, 민원분석 시스템을 구성하여 데이터를 분석했다. 이미지 분석으로 손상 분류 텍스트를 반환하여 민원 과정의 간소화를 목표로 하는 본 과제와 다르게 통계분석과 비정형 텍스트 분석을 기반으로 민원 예측을 목표로 했다는 점에서 차이가 있다.

2 ‘모바일을 활용한 지역 민원 처리 시스템 개발’ 연구

민원인이 앱(특정 마을 민원)으로 민원을 넣으면 앱은 민원 내용, 사진, 위치정보, 민원인의 핸드폰 번호를 서버로 전달하고 서버는 다양한 민원 데이터들을 데이터베이스로 저장하면서 관리한다. 이 민원 정보들로부터 관리자는 민원 처리 현황을 작성하게 되고, 서버를 통해 다시 해당 민원인에게 전달되며, 민원 데이터로부터 민원 맵이 구성되어 주민들과 행정기관은 마을의 민원을 파악할 수 있다. 현재 안전신문고의 시스템과 크게 다르지 않고, 민원 데이터들을 데이터베이스에 저장하여 작성된 처리 현황으로 마을 별 맵을 구성하여 신고자 외의 사람들도 확인할 수 있다는 장점이 있지만 데이터 분류와 처리 현황 작성을 사람이 맡아 본 과제와의 연관성은 적다.

3 '토픽 모델링을 활용한 교통경찰 민원 분석’ 연구

국민의 치안 수요를 탐색하고자 ‘교통경찰 관련 국민신문고 민원 데이터’를 대상으로 토픽 모델링 방법 중 하나인 잠재 디리클레 할당(Latent Dirichlet Allocation)을 통해 민원 데이터를 분석하여 토픽(ex. 개인형 이동장치)에 따른 높은 비중의 키워드(ex. 범칙금, 전기자전거, 개인)를 추출했다. 공공데이터와 민원 데이터를 사용했다는 점은 본 연구와 동일하지만, 텍스트 데이터를 사용한다는 점과 치안 수요 파악으로 정책과 교육 자료에서의 활용을 목표로 한다는 점이 다르다.

4 'Vision Transformer를 활용한 안전신문고 이미지 분류‘ 연구

Vision Transformer를 활용해 안전신문고의 신고 이미지를 유형별로 분류하는 연구로 시설물 분야의 손상(균열, 박리, 철근노출)을 분류하는 본 연구와 다르게 위험 유형을 도로, 보행자, 시설물로 나눠 많은 수의 민원을 처리할 수 있다는 강점을 지니지만 적은 데이터 수로 인해 사전 학습된 모델을 사용하였다는 한계점을 지니고 있다.

5 (중국) CNN 및 딥러닝 활용 건물 품질 민원 분류

 건설 산업 품질 관련 문제가 발생하여, 민원 텍스트 데이터를 기반으로 제작한 CNN 딥러닝 모델을 통해 건설 품질(누수, 균열, 파손) 민원을 분류하는 연구를 진행하였다. CNN 분류 모델이 민원 처리의 효율성을 향상시킬 수 있었지만, 정확도를 개선하기 위한 추가 연구로 전이 학습 및 분류 네트워크와 결합된 하이브리드 기법의 필요성을 제안하였다.

6 (인도) 민원 처리를 위한 AI 기술 활용 정보 관리 모델

 이미지 처리 및 데이터 마이닝 기법을 활용해 민원 이미지 등록하면 텍스트를 추출하여 전달 부서에 대한 데이터를 생성하는 연구를 진행하였다. 이미지 입력 시 텍스트를 반환한다는 점이 본 연구와 유사하지만, 이를 토목 분야에 접목시켜 차별성을 두고자 한다.

딥러닝 기술 현황

1 이미지 기반 손상 탐지(CNN) 모델

현장 손상 탐지의 단점을 극복하기 위해 여러 손상 탐지 기법들이 개발되었다. 특히 컴퓨터 비전과 딥러닝의 발전과 함께 이미지 기반 구조물 손상 탐지가 활발히 사용되고 있다(Lingxin et al., 2022). 이미지 기반 구조물 손상 탐지에 사용되는 CNN 딥러닝 모델은 특성 추출(Feature extraction)과 분류기(Classifier)로 이루어져 있어서 두 과정을 한 번에 진행할 수 있다는 장점이 있다. 학습 과정은 다음과 같다(Gu et al., 2018).

1) 이미지가 학습되는 과정에서 합성 곱이 진행되면서 특성들이 추출된다.

2) 추출된 이미지는 특성 지도를 통해 확인되며 분류를 위한 지표가 된다.

3) 분류기에서 사용자가 설정한 이미지의 class가 도출된다.

2 CNN 모델 활용 예시

Cha & Choi (2017)는 332장의 콘크리트 균열 이미지를 활용하여 발생한 손상을 외부 요인(빛, 그림자 등)의 영향을 줄이며 98.22%의 CNN 모델 정확도를 도출하였다. 그러나 박리, 부식 등의 손상을 탐지할 수 없어 추후 구조물 상태 점검을 위한 모델 개발을 제안하였다.
다음으로 Fan et al. (2019)은 40,000개의 RGB 도로 균열 이미지 데이터 셋을 이용하여 균열과 정상 상태로 분류하여 99.9%의 정확도를 얻었다. 이외의 다양한 CNN 모델 개발을 통한 손상을 분류하고 탐지하는 연구들이 활발히 이루어지고 있다(Sony et al., 2020).
여러 연구들을 통해 CNN 모델이 이미지 기반 구조물 손상 탐지에 사용되어 높은 정확도를 얻을 수 있음을 확인하였다. 그러나 대부분 한 가지의 손상 종류(균열, 박리, 철근 노출 등)의 이진 분류 문제(손상, 정상)를 해결하고 있기에 다중 분류 CNN 모델에 대한 문헌조사를 진행하였다. 먼저 Farooq et al.(2017)은 GoogLeNet, ResNet의 전이학습을 활용하여 MRI 사진을 통한 알츠하이머 환자의 3가지 상태를 구분하는데 CNN 모델이 다른 기법들에 비해 높은 정확도가 도출됨을 나타냈다. 다음으로 Murugan(2018)은 모델 구조를 발전시켜 사람, 말, 고양이, 개의 4가지 분류를 연구하여 높은 정확도를 보였다.

3 DeepLabV3+

DeepLabV3+는 Sementic segmentation의 기법으로써 인공지능이 이미지에 있는 객체를 픽셀 단위로 분류하는 것이다. Depthwise separable convolution과 Atrous convolution을 결합한 Atrous Separable convolution을 제안하였다(Chen et al., 2018). 컴퓨터 계산이 효율적이고 객체 탐지(Object detection)에 비해 일반적인 사용이 가능하다. 이미지 상에서 클래스를 구분하여 탐지할 수 있어 많은 연구 분야에서 사용된다. Fully Convolutional Networks, U-Net, Mask R-CNN 등의 기법들의 비해 우수한 성능을 가지고 있다(Guo et al., 2018).

4 DeepLabV3+ 활용 예시

Han et al. (2022)은 강구조물 표면의 손상에 대하여 DeepLabV3+와 YOLO V3 모델을 결합하여 손상 탐지의 정확도를 증가시켰다. 또한, 픽셀 수준의 손상 탐지를 진행하여 미세한 균열을 탐지하는데 성공하였다. 다음으로 Fu et al. (2021)은 교량에 발생한 균열을 DeepLabV3+ 모델 훈련을 통해 높은 mIoU 값을 도출하였다. 더불어, Dense-DeepLabV3+을 제안함으로써 기존의 모델뿐만 아니라 더 발전된 양상의 효과를 제시하였다.

시장상황에 대한 분석

1 안전신문고의 인력 및 예산

2019년 기준 행정안전부의 공무원 4~5명만이 안전신문고 관련 안전신고 접수 및 분류를 담당하는 업무에 투입되었다. 안전신문고 예산 역시 문제를 보이고 있는데 하나의 접수에 적어도 3번(접수 확인, 처리 기과 배정 안내, 처리 결과 통보, 처리 기간 연장, 추가 답변 등)의 문자를 발송해 주었으나 2022년부터 공공요금 예산 부족으로 접수 안내가 제외되었다. 이때 딥러닝 모델을 통해 안전신문고 분류 작업을 대체하면 해당 인력과 예산을 절감할 수 있게 된다.

2 구조물 손상 분류 필요 영역

구조물 손상 분류 모델을 제작하였을 때 안전신문고 민원 분류가 아닌 다른 사용처를 조사한 결과 다음과 같은 영역에서 활용 가능하다는 것을 확인하였다.
먼저 주변 신축 공사로 인한 건물 손상 파악에 도움을 줄 수 있다. 건축주와 시공사, 인접 건물 소유주는 주변 공사로 인해 건물이 손상되었을 경우 바닥의 침하, 균열 등의 하자의 발생과 피해 정도를 파악해야 한다. 여기서 손상 분류 모델을 통해 인근 공사 현장의 시공 행위로 건물에 발생한 피해를 사진 촬영이라는 방법으로 손상을 분류하여 정리할 수 있다.
다음으로 완공 및 시공 중인 구조물의 하자 파악에 사용될 수 있다. 구조물에서 균열이 발생하면 구조물의 품질이 저하되며, 물에 노출되어 있는 부분에서는 누수를 수반하고, 심한 경우에는 구조물의 붕괴사고로 이어질 수 있다. 하지만 콘크리트 구조물에 균열이 존재한다고 하여 위험한 것은 아니며, 손상의 크기와 위치, 원인 등에 따라 안전할 수도 있다. 이때 손상 분류 모델은 구조물에 발생한 하자를 신속하게 판단하여 전문가에게 사전 정보를 전달하고 구조물의 소유주에게 하자 관련 정보를 제공하는 보조 역할을 수행할 수 있다.

개발과제의 기대효과

시설 분야 민원 분류 업무를 딥러닝 모델이 대체하여 행정안전부 민원 분류 담당자의 업무 부담을 줄이고 인력 및 인력비를 절감할 수 있다. 동시에 빠른 분류 결과에 따른 신속한 대처로 시민의 안전을 확보할 수 있다. 또한 딥러닝 모델은 손상 위치의 라벨링을 진행하여 민원 처리 담당자가 사진상에서 손상 위치를 빠르게 판단할 수 있도록 돕는다. 민원 접수 과정에서 이미지 데이터가 누적되며 모델의 지속적인 업데이트가 가능하다. 새로 지정한 안전정보 제공 단계를 통해 민원인이 구조물의 손상별 원인 및 심각 정도를 민원 접수와 동시에 확인할 수 있어 안전성에 대한 의문과 불안감을 신속하게 해소할 수 있다.

기술개발 일정 및 추진체계

개발 일정

설계

설계사양

제품의 요구사항

설계 사양

개념설계안

상세설계 내용

1 Input

안전신문고를 통해 민원을 접수할 때 입력하는 정보인 민원 유형, 위치, 사진, 민원인 이메일을 입력 값으로 사용하며 예시는 Table 11과 같다. 이때 본 과제에서는 구조물의 손상 분류 모델을 목적으로 민원 유형이 “도로, 시설물 파손 및 고장”에 해당하는 경우로 한정한다.

2 CNN 분류모델

2.1 모델

특징을 추출하는 부분인 feature extraction은 전이학습 모델의 가중치들을 사용했으며 4개의 손상 종류를 구분하기 위한 fully connected layer는 마지막 layer에 ‘softmax’ 함수를 사용하여 다중 분류가 가능하도록 구성하였다. 과적합을 방지하기 위해 L2 Regularization과 Dropout을 배치하여 높은 정확도를 얻을 수 있게 구성하였다. 
학습 양상을 살펴보기 위해 학습용 데이터/검증용 데이터 = 90%/10%가 사용되었다. 같은 손상에 대해 여러 각도에서 찍은 경우가 존재하여 이미지 순서대로 학습에 사용될 시 과적합이 발생할 것으로 예상하여 무작위 입력될 수 있도록 설정하였다.

2.2 모델 학습

이미지 데이터를 활용한 딥러닝 구현을 위해서는 고성능 컴퓨터가 필요함에 따라 사양은 CPU: Intel(R) Xeon(R) Silver 4216, RAM: 128GB, GPU: RTX 3090, SSD: 1TB이다. Python 언어로 tensorflow 라이브러리를 사용하였으며, 코드는 Window 기반의 jupyter notebook에 작성되었다.

2.3 Trial-and-error

 데이터셋의 구성과 하이퍼 파라미터의 결정에 따른 정확도를 살펴보기 위해 결과들을 확인하며 다음 실험을 구성하였다. Loop 문을 활용하여 여러 조합을 이용하여 확인하면 더 많은 범위의 변수들을 다룰 수 있지만, 이미지 데이터 학습은 50,926장 기준 10회 반복 학습에 약 6시간 이상이 소요되어 경험 법칙에 따라 진행하였다.

3 DeepLabV3+

3.1 Case

손상 종류에 대한 각각의 모델을 제작해야 됨에 따라 손상 분류 모델을 학습시키기 위해 사용된 데이터셋에 비해 적은 양을 사용하였다. 본 프로젝트에서는 손상 종류 중 “균열”에 대한 모델을 제작하는 것을 목표로 하였다. 참고한 예제에 비해 훈련 데이터가 많지만 이미지 상에서 균열의 크기가 작은 경우가 대부분이라 데이터 증식을 적용하는 케이스를 만들어 비교하고자 했다. 데이터 증식 방법으로는 무작위로 뒤집거나, 밝기를 조절, 명암을 주는 방식의 코드를 작성하였다. 이에, 진행된 실험 케이스는 학습용 데이터 3,000장, 검증용 데이터 490장을 사용하여 하이퍼 파라미터를 바꾸며 진행하였다.

Case 2일 때 가장 높은 정확도를 보였으며, 각 케이스에 대한 모델에 학습에 사용되지 않은 이미지를 넣었을 때 나오는 mask 결과는 다음과 같다. 첫 번째 사진은 코드 상에서 전처리가 된 원본 이미지이며, 두 번째 사진은 균열에 대한 mask 라벨이다. 마지막 사진은 첫 번째 사진이 DeepLabV3+를 통과하여 만들어진 mask 정보를 원본 이미지 위에 오버레이 시킨 것이다.

Case 1, 2, 3 모두 맨눈으로 확인하였을 때 굵은 균열을 잘 탐지하는 모습을 나타내었다. 특히, Case 2의 경우 중심의 균열에서 뻗어 나간 얇은 가지 모양 또한 식별하여 mask로 표현하였다. 결과적으로 큰 위험성이 있는 균열 형태의 위치가 파악될 수 있는 수준의 모델이 개발되었다. 균열의 위치를 파악하기 위한 용도로 사용하기 위해 가장 좋은 성능을 보인 case 2의 하이퍼 파라미터를 가진 모델을 저장하였다.

4 정보 전달

4.1 처리 기관

현재 안전신문고에서는 민원 위치 데이터를 기반으로 시스템 상에서 자동으로 처리 기관을 배정한다. 딥러닝 모델이 분류한 손상의 종류를 민원 데이터에 추가하여 민원을 처리 기관에 신속하게 이관할 수 있다. 본 과제에서는 Fig. 16과 같이 처리 기관명(ex. 마포구청)의 엑셀 파일에 위치, 손상 종류, 사진을 저장하여 확인할 수 있도록 한다. 추가로 손상 종류가 균열일 경우 DeepLabV3+를 통한 손상 위치 라벨링 이미지를 제공한다.

4.2 민원인

민원인은 민원 접수 후 바로 이메일을 제공받을 수 있다. 이메일에 포함되는 내용은 1) 시설물의 손상 종류 및 원인, 2) 손상 종류별 손상 정도 판단 기준, 3) 발생 가능한 피해 사항이다. 추가로 첨부된 손상별 매뉴얼을 통해 시설물 안전성에 대한 의문과 불안감을 현 처리 기간인 7일보다 빠르게 해소할 수 있다.

5 Output Algorithm

5.1 입력 값 지정

앞서 언급한 것과 같이 알고리즘에 들어갈 input data는 손상 이미지, 위치 정보, 민원인 이메일이다. 결과가 도출되는지 실험하기 위한 이미지를 입력하기 위해 Fig. 18과 같이 민원 사진으로 쓰일 균열, 박리, 철근노출, 우수(손상 없음) 이미지를 촬영하여 구글 드라이브 image 폴더에 저장하였고 이는 모델 제작에 사용되지 않았다. 모델에 입력 값을 주기 위한 코드는 다음과 같으며 image_path는 이미지가 저장된 구글 드라이브 주소, source_location은 위치정보, source_email은 민원인의 이메일 주소이다.

이미지 위치 및 input data

image_path = "/content/drive/MyDrive/SOC/image/crack.jpg"

source_location = "서울특별시 동대문구 시립로 123"

source_email = "gus6376@naver.com"

5.2 CNN 분류 모델

CNN 분류 모델로 이미지 데이터에서 가장 균열, 박리, 철근노출, 우수 중 가장 확률이 높은 값을 추출한다. 앞선 image_path의 사진을 전처리 후 model로 저장된 CNN 손상 분류 모델을 통해 확률 값(output)으로 출력하여 가장 큰 값의 인덱스를 predicted_class_label에 저장한다.

5.3 DeepLabV3+

predicted_class_label에 저장된 값이 균열일 때 DeepLabV3+(model1)를 통해 이미지에 라벨링을 추가하여 crack_visualization.jpg로 저장한다.

5.4 이메일 전송

smtplib을 활용하여 민원인의 이메일로 손상 종류별 정보와 매뉴얼을 담은 이메일을 전송한다. CNN 분류 모델로 결정된 predicted_class_label마다 다른 이메일 내용(text)과 첨부파일(attachment)을 지정한다. 이때 손상 종류가 우수라면 매뉴얼을 첨부하지 않는다.

5.5 처리 기관 전달

처리 기관에 전달하기 위해 먼저 행정구역별 구청, 군청, 시청명을 파일명으로 하는 엑셀 파일을 사진과 같이 구글 드라이브에 저장하였다. nput data인 위치 정보를 바탕으로 선택한 처리 기관 엑셀 파일에 위치(source_location), 손상 종류(predicted_class_label), 이미지(균열의 경우 라벨링된 이미지)를 저장한다.

결과 및 평가

완료 작품의 소개

프로토타입 사진 혹은 작동 장면

포스터

개선 방향

DeepLabV3+를 사용한 모델 제작에 있어 현 프로젝트에서는 손상 종류 “균열”에 대해서만 진행하였다. 다른 손상 종류 또한 제시된 딥러닝 학습 과정을 바탕으로 개발할 수 있다. 또한, 훈련용 이미지 데이터셋을 더욱 정교하게 제작하거나 수량을 늘린다면 더욱 높은 정확도의 모델을 얻을 수 있다. 최종적으로 제작된 모델들을 조합하면 다양한 손상 종류에 대한 정보를 제공할 수 있는 알고리즘이 만들어진다.

@@ 1번째 줄: / 1번째 줄: @@
-<div>__TOC__</div>
 ==프로젝트 개요==
 === 기술개발 과제 ===
-국문 : 딥러닝을 이용한 콘크리트 공극 탐지 및 강도 측정 프로세스 구축
+''' 국문 : ''' 딥러닝 활용 이미지 데이터 기반 구조물 손상 다중 분류
-영문 : Process of Concrete void detection and strength measurement using deep learning
+''' 영문 : ''' Multi Class Classification of Infrastructure Defects Using Deep Learning Based on Image Data
 ===과제 팀명===
-공극을 찾아조
+조
 ===지도교수===
 문영일 교수님
+===멘토교수===
+김선중 교수님
 ===개발기간===
-년 3월 ~ 2022년 6월(총 4개월)
+년 3월 ~ 2019년 6월 (총 4개월)
 ===구성원 소개===
-서울시립대학교 토목공학과 20178600** 김*승(팀장)
+서울시립대학교 토목공학과 2020XXX0** 안**(팀장)
-서울시립대학교 토목공학과 20178600** 박*규
-서울시립대학교 토목공학과 20178600** 박*배
-서울시립대학교 토목공학과 20178600** 유*관
+서울시립대학교 토목공학과 2020XXX0** 김**
-서울시립대학교 토목공학과 20178600** 이*호
+서울시립대학교 토목공학과 2020XXX0** 박**
+서울시립대학교 토목공학과 2020XXX0** 편**
-서울시립대학교 토목공학과 20178600** 고*서
 ==서론==
 ===개발 과제의 개요===
 ====개발 과제 요약====
- ◇  토목분야에서 핵심재료인 콘크리트의 강도는 구조물의 안정성과 사용성 확보에 있어 매우 중요함. 따라서 콘크리트의 강도를 확인하는 것은 필수적인 과정임. 또한 기존 구조물의 콘크리트에 대해서도 지속적인 안전진단이 필요함.
+. 딥러닝 모델로 사진 속 손상 분류 및 라벨링
- ◇  콘크리트 강도측정방식은 크게 실험적 방법과 비파괴적 시험의 두 가지 방식으로 이루어져 왔음. 실험적 방법은 샘플링된 콘크리트에 대해 직접 압축력을 가해 압축강도를 실험하는 방식이 대표적이며, 비파괴적 방법은 표면을 타격하여 강도를 측정하는 반발경도법과 콘크리트를 통과하는 음파의 속도를 통해 강도를 측정하는 초음파법이 대표적임. 이러한 두 가지 방식 모두 콘크리트 미세구조를 직접적으로 반영하지 않고 물리적인 측정값을 도출해내 강도를 판단하는 방식임. 콘크리트 특성상 그 강도는 내부 미세구조가 결정하는데, 내부구조와 강도의 상관관계에 대한 학술적 연구는 많이 진행되어 왔지만 실무에서 강도를 측정할 때에 적용되진 못함.
- ◇  기존의 측정방식을 이용해 각각의 대상 콘크리트에 대해 반복적인 측정을 하게되면 비용적, 시간적 소모가 크며, 특히 구조물의 안전진단시 매 진단마다 긴 측정과정을 반복해야 함.
+. 민원인에게 손상에 대한 정보 제공
- ◇  최근 콘크리트분야에 X-ray 및 CT기법이 도입되며 활발한 연구가 진행되고 있음. 또한 머신러닝기술이 발전하여 CT기법과 연계된 연구들이 진행되고 있는 추세임. 하지만 실무에서의 강도측정은 여전히 이전의 방식들에 의해 이루어지고 있음. 따라서 CT기법과 머신러닝의 연계를 통해 자동화된 콘크리트 강도측정 프로세스를 구축하여 기존 측정방식의 비용적, 시간적 소모를 감소하고자 함.
+. 처리 기관에 손상 종류 및 라벨링된 사진 전달
 ====개발 과제의 배경====
-◇  구조물 축조 시에 콘크리트가 차지하는 비율이 압도적으로 높음
+====배경====
+현재 안전신문고 민원처리 과정
-◇  철근콘크리트 구조물 설계시 콘크리트의 극한 변형률(강도)을 기준으로 하여 설계하도록 되어있으며 이는 콘크리트의 강도가 증가할수록 더 경제적이고 더 안정적인 구조물 설계를 가능함을 뜻함
-[[파일:화면 캡처 2022-06-14 134312.png]]
-◇  광주 붕괴사고 이후, 건설업계 내부제보에 따르면 배합기준을 지키지 않은 콘크리트 사용으로 건축물의 불안전성 증가로 인한 붕괴
+  일상 속에서 안전 관련 문제를 발견한 국민은 안전신문고 웹과 앱을 통해 민원을 접수한다. 먼저 신고 유형(도로, 시설물 파손 및 고장/수질오염/교통위반 등) 7가지 중 하나를 선택하고, 관련 사진을 촬영하여 첨부한다. 다음으로 발생 지역을 지도상에서 선택한 후 민원 내용을 작성하고, 연락을 받기 위한 개인정보(이름, 이메일)를 입력하면 안전신문고로 민원이 접수된다.
+ 접수된 민원은 안전신문고의 민원 분류 담당자에 의해 분류되고, 시스템을 통해 신고 지역별 처리 기관이 자동으로 지정되어 민원을 배정받는다. 처리 기관에서는 처리부서 및 담당자를 지정하여 민원을 처리한 후 처리 결과와 답변을 7일 이내로 안전신문고에 전달한다. 이후 민원인은 작성된 처리결과를 SMS를 통해 통보받아 앱, 웹을 통해 확인할 수 있다.
-====개발 과제의 목표 및 내용====
+시민의 구조물 안전성 의문 제기
+ 구조물의 손상은 1994년 성수대교, 1995년 삼풍백화점, 그리고 올해 있었던 정자교 붕괴사고처럼 심각한 사고로 이어질 수 있다. 이에 올해 서울역 센트럴자이 외벽 균열로 불안감을 느꼈던 주민들처럼 주위 구조물의 균열, 박리, 철근노출을 확인한 시민들은 구조물이 안전한가에 대한 의문과 불안감을 느끼게 된다.
-===관련 기술의 현황===
+안전신문고 업무 현황
+년 안전신문고를 통해 들어온 안전신고 분야의 민원은 총 140만 건이다. 그중 도로, 시설 파손과 노후 교량 붕괴 위험 등 기반 시설 위험 신고는 총 34만 5천 건으로 월평균 약 28,785건이다. 안전신문고 신고처리 현황에서 확인한 연간 시설 관련(시설물의 균열, 처짐, 뒤틀림, 파손, 흘러내림 등) 신고 수는 2019년 39,713건, 2020년 59,342건, 2021년 116,973건, 2022년 128,681건으로 민원 수가 매년 증가하는 추세임을 확인할 수 있다.
-====기술 로드맵====
+====문제점====
- ◇  콘크리트의 비파괴 강도측정법에는 여러 가지가 있지만 최근들어 및 CT기법을 이용한 이미지 분석법이 활발히 연구되고 있다. 여러 가지 상으로 구성되어 있는 콘크리트의 특성상 콘크리트의 내부구조, 특히 그 중에서도 공극이 콘크리트의 강도에 큰 영향을 미치므로 이러한 콘크리트의 공간적, 구조적 특성을 파악하기 위한 방법으로 이미지를 이용한 기법들이 대두되었다. 더불어 CT기법과 현재사회에서 각광받고 있는 딥러닝의 연계를 통한 콘크리트 분석에 관한 연구가 활발히 진행되고 있고, 균열탐지 작업 등의 분야에서 그 활용성을 인정받고 있다.
+정보 전달 내용 및 시기
-  ◇  CT기법은 X-ray를 통해 3차원 대상의 단면을 생성하는 단층 촬영 기법이다. 대상에 손상을 가하지 않고 마이크로 단위의 픽셀 크기를 가진 단면 이미지를 얻을 수 있다는 장점 때문에 토목 및 여러 공학 분야의 기술 및 연구에 적용되고 있다.
+  시설물의 균열, 처짐, 파손 등과 관련된 시설 분야 민원은 그 상태에 따라 안전 문제로 이어질 수 있다. 하지만 현 상황에서 민원인은 안전신문고 처리 과정의 마지막 단계인 ‘처리결과 통보’에서 자신이 접수한 민원의 답변을 받아볼 수 있다. 민원을 접수하는 단계에서 안전 문제의 발생 원인과 심각 정도를 파악할 수 없으며 약 7일의 민원 처리 기간이 지난 후에도 Fig. 4와 같이 보수 내용과 결과 사진만을 전달받는다.
- ◇  딥러닝은 머신 러닝의 한 방법으로, 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 훈련하는 기술이다. 이미지처리와 음성 인식분야에서 두각을 드러내어 현대 산업에 연관되어 사용되고 있다. 토목분야에서도 교량, 교각의 균열을 탐지하는 기술에 사용되며, 콘크리트 재료적 분석에도 접목되어 활발한 연구가 진행되고 있다.
+민원 분류 업무 가중
+  안전신문고 홈페이지에 있는 홍보영상 ‘위험요소와 불법주정차를 척척 해결해주는 안전신문고’를 보면 안전신문고 민원 분류 업무를 하고 있는 공무원은 “저희들이 (신고를) 접수하고 분류하고 있는데 너무 바빠서 아침에 일찍 와서 하루 종일 이거만 하고 있습니다.”라고 말한다. 이처럼 안전신문고를 통해 접수된 신고는 행정안전부의 담당자가 직접 내용을 확인한 후 민원을 분류하여 시스템 상에서 자동 배정된 처리 기관에 이관하여 처리가 진행된다. 그 결과 시설물 균열, 처짐, 파손 등의 시설 분야 민원만으로 한정할 때에도 분류 담당자들은 연간 약 13만 건의 시설물 민원을 확인, 분류하는 작업을 거친다. 안전신문고를 통해 들어오는 민원이 매년 증가하는 상황에서 민원 분류 담당자의 업무 부담이 가중되고 있다.
-====특허 조사====
+사진상 손상 위치 확인
+  민원인이 촬영한 사진은 촬영자마다 가까이서 찍은 근접 사진이 될 수도 멀리서 찍은 원거리 사진이 될 수도 있다. 앞서 언급한 홍보영상에서 공무원은 “신고된 사진을 자세히 보고 구분을 해줘야지 바로바로 처리가 될 수 있습니다.”라 인터뷰한다. 또한 다른 공무원은 “뭐가 파손됐으니까 어떻게 해달라 그렇게 신고를 해야 하는데 어떤 분들은 급하다 보니까 그냥 사진 1장만 찍고 (신고를 합니다.)”라고 말한다. 민원인이 제공한 사진은 사람에 의해 분류되고, 처리 기관에서 재확인되어 처리 업무가 진행된다. 분류 업무와 처리 업무에서 사진에 담긴 손상이 어떤 것인지, 그리고 어디에 위치하는지를 빠르게 파악하는 것이 중요하지만 현 처리 과정에서는 사람이 직접 눈으로 손상을 찾는다.
-====특허 전략====
-===시장상황에 대한 분석===
+====개발 과제의 목표 및 내용====
-====경쟁제품 조사 비교====
+====목표====
- ◇  콘크리트 강도를 추정하는 비파괴 시험에는 반발경도법, 초음파속도법, 조합법, 충격반향기법, 충격공진법 등이 있으며, 이 중에서 반발경도법, 초음파속도법이 간편성을 인정받아 자주 사용되고 있음. 이러한 방법들은 직접적 실험에 의한 방법에 비해 편리하지만, 매번 시험 및 결과분석의 과정을 거쳐야하는 번거로움은 여전히 존재함.
-  ◇  최근, 컴퓨터 기술의 발달에 따라 시뮬레이션을 통한 해석적 강도추정 방법이 존재하기는 하지만 이러한 방식 또한 각각의 대상마다 일련의 과정을 반복해야 함. 따라서 자동화된 통합적 프로세스가 요구됨.
+  민원인이 신고 유형을 ‘도로, 시설물 파손 및 고장’으로 선택할 때, 우선 기존과 동일하게 안전신문고로 민원이 등록된다. 민원 분류 담당 업무자가 아닌 딥러닝 모델이 민원 사진을 입력 값으로 사진 속 시설물의 손상을 균열, 박리, 철근 노출 중 하나로 신속하게 분류한다. 이후 처리 기관에 시설물 손상의 종류와 민원인이 입력한 위치정보, 손상 사진을 전달한다. 이와 동시에 민원인의 이메일로 손상 종류에 따른 원인 및 발생 가능 피해 사항을 전송하며, 첨부된 매뉴얼을 통해 민원인은 자신이 접수한 민원 사진 속 손상의 안전성을 확인할 수 있다. 이 모든 과정이 자동화되어 안전 문제로 이어질 수 있는 시설 분야 민원을 신속하게 처리할 수 있게 된다.
-  ◇  노후건축물은 일반적으로 사용승인 후 30년 이상 지난 건축물을 의미하며, 노후건축물 비율은 2005년 29%, 2010년 34%, 2019년 37.8%로 계속 상승하는 추세임.
+====활용 기술====
+  사진의 손상을 4가지로 분류하는 CNN 분류 모델을 제작하는 과정에서 과적합을 방지하고 정확도를 높이기 위해 이미지 전처리를 통한 데이터셋을 구성하고, 전이학습 모델인 InceptionV3와 ResNet50를 실험에 사용한다. 하이퍼 파라미터의 시행착오(Trial-and-error) 방식과 자동화된 Optuna를 적용하여 실험을 진행해 최적의 모델을 구성하고자 한다.
- ◇  2019년 제정된 건축물관리법이 2020년 5월부터 시행되어 의무적으로 정기점검, 긴급점검 등을 시행하여야하며 특히 노후건축물은 모두 적용대상임
-  ◇  2019년 12월 말 기준 노후건축물 비율이 부산은 54.3%, 대구, 대전은 48.9% 전남은 48.2%이며 모두 건축물의 유지관리를 위해 정기적으로 점검해야하는 대상
+====설계 방향====
+  민원인이 시설물의 손상 사진을 접수하면 딥러닝 모델은 사진 속 손상의 종류(균열, 박리, 철근노출, 우수)를 분류하며 손상을 라벨링한다. 분류된 정보는 처리 기관과 민원인에게 제공된다. 이때 민원인은 분류된 정보를 바탕으로 손상의 원인과 위험성을 확인할 수 있는 매뉴얼을 메일을 통해 제공받는다.
-  ◇  시설물 유지관리시장 규모는 2007년 1조 8천억 수준에서 2016년 4조원 시장으로 성장, 시설물 점검과 진단 시장의 규모는 2007년 749억에서 2016년 2279억까지 성장했고 앞으로도 더 커질 전망임
+===관련 기술의 현황===
+====관련 기술의 현황 및 분석(State of art)====
+====민원 처리 기술 현황====
+‘빅데이터 정보화 전략계획 수립 및 데이터 분석 용역’ 사업
+  민원 데이터를 통해 기관별/ 분야별/ 특정 시점별 민원 발생량을 분석하여 사전에 민원을 예측하고 대비해 시민들의 불편을 줄이기 위해 추진된 사업이다. 분석 대상(민원 데이터, SNS)과 민원 데이터 속성(민원 제목, 민원 내용, 답변 내용, 접수일자, 민원 분류 등 총 7개 요소)을 설정하여 데이터를 정제한 후 사전 처리, 특성 추출을 진행, 민원분석 시스템을 구성하여 데이터를 분석했다. 이미지 분석으로 손상 분류 텍스트를 반환하여 민원 과정의 간소화를 목표로 하는 본 과제와 다르게 통계분석과 비정형 텍스트 분석을 기반으로 민원 예측을 목표로 했다는 점에서 차이가 있다.
-  ◇  따라서 정확하고 편리한 시설물 점검·진단 방법이 시설물 유지관리 및 점검·진단 시장에서 시장성을 확보할 것으로 예상됨
+‘모바일을 활용한 지역 민원 처리 시스템 개발’ 연구
+  민원인이 앱(특정 마을 민원)으로 민원을 넣으면 앱은 민원 내용, 사진, 위치정보, 민원인의 핸드폰 번호를 서버로 전달하고 서버는 다양한 민원 데이터들을 데이터베이스로 저장하면서 관리한다. 이 민원 정보들로부터 관리자는 민원 처리 현황을 작성하게 되고, 서버를 통해 다시 해당 민원인에게 전달되며, 민원 데이터로부터 민원 맵이 구성되어 주민들과 행정기관은 마을의 민원을 파악할 수 있다. 현재 안전신문고의 시스템과 크게 다르지 않고, 민원 데이터들을 데이터베이스에 저장하여 작성된 처리 현황으로 마을 별 맵을 구성하여 신고자 외의 사람들도 확인할 수 있다는 장점이 있지만 데이터 분류와 처리 현황 작성을 사람이 맡아 본 과제와의 연관성은 적다.
-  ◇  서울 용산구 상가 붕괴사고 (18년 6월), 강남구 대종빌딩 기둥 균열로 인한 퇴거조치(18년 12월), 광주 클럽 붕괴사고(19년 7월) 등 건축물의 안전에 대한 사회적 관심이 높아지는 추세임
+'토픽 모델링을 활용한 교통경찰 민원 분석’ 연구
+  국민의 치안 수요를 탐색하고자 ‘교통경찰 관련 국민신문고 민원 데이터’를 대상으로 토픽 모델링 방법 중 하나인 잠재 디리클레 할당(Latent Dirichlet Allocation)을 통해 민원 데이터를 분석하여 토픽(ex. 개인형 이동장치)에 따른 높은 비중의 키워드(ex. 범칙금, 전기자전거, 개인)를 추출했다. 공공데이터와 민원 데이터를 사용했다는 점은 본 연구와 동일하지만, 텍스트 데이터를 사용한다는 점과 치안 수요 파악으로 정책과 교육 자료에서의 활용을 목표로 한다는 점이 다르다.
-  ◇  일반적으로 교량이나 건축물 등 사회적 간접자본에 해당하는 구조물들은 국민들의 시간적, 공간적으로 이용률이 높으며 특히 구조물의 노화나 외력에 의한 균열들로 인하여 사고가 일어날시 인명, 재산 피해가 다른 사고에 비해 압도적으로 높음
+'Vision Transformer를 활용한 안전신문고 이미지 분류‘ 연구
+  Vision Transformer를 활용해 안전신문고의 신고 이미지를 유형별로 분류하는 연구로 시설물 분야의 손상(균열, 박리, 철근노출)을 분류하는 본 연구와 다르게 위험 유형을 도로, 보행자, 시설물로 나눠 많은 수의 민원을 처리할 수 있다는 강점을 지니지만 적은 데이터 수로 인해 사전 학습된 모델을 사용하였다는 한계점을 지니고 있다.
- ◇  결과적으로 이러한 구조물에 대한 안정성의 신뢰부재는 사회에 불안감 조성을 야기하므로 이를 해소 할 수 있는 정확하고 신속한 구조물 점검·진단은 사회성에 부합할 것으로 판단됨
+(중국) CNN 및 딥러닝 활용 건물 품질 민원 분류
+  건설 산업 품질 관련 문제가 발생하여, 민원 텍스트 데이터를 기반으로 제작한 CNN 딥러닝 모델을 통해 건설 품질(누수, 균열, 파손) 민원을 분류하는 연구를 진행하였다. CNN 분류 모델이 민원 처리의 효율성을 향상시킬 수 있었지만, 정확도를 개선하기 위한 추가 연구로 전이 학습 및 분류 네트워크와 결합된 하이브리드 기법의 필요성을 제안하였다.
-====마케팅 전략====
+(인도) 민원 처리를 위한 AI 기술 활용 정보 관리 모델
+  이미지 처리 및 데이터 마이닝 기법을 활용해 민원 이미지 등록하면 텍스트를 추출하여 전달 부서에 대한 데이터를 생성하는 연구를 진행하였다. 이미지 입력 시 텍스트를 반환한다는 점이 본 연구와 유사하지만, 이를 토목 분야에 접목시켜 차별성을 두고자 한다.
+====딥러닝 기술 현황====
+이미지 기반 손상 탐지(CNN) 모델
+ 현장 손상 탐지의 단점을 극복하기 위해 여러 손상 탐지 기법들이 개발되었다. 특히 컴퓨터 비전과 딥러닝의 발전과 함께 이미지 기반 구조물 손상 탐지가 활발히 사용되고 있다(Lingxin et al., 2022). 이미지 기반 구조물 손상 탐지에 사용되는 CNN 딥러닝 모델은 특성 추출(Feature extraction)과 분류기(Classifier)로 이루어져 있어서 두 과정을 한 번에 진행할 수 있다는 장점이 있다. 학습 과정은 다음과 같다(Gu et al., 2018).
+) 이미지가 학습되는 과정에서 합성 곱이 진행되면서 특성들이 추출된다.
-===개발과제의 기대효과===
+) 추출된 이미지는 특성 지도를 통해 확인되며 분류를 위한 지표가 된다.
-====기술적 기대효과====
-◇  CT기법과 딥러닝 기술의 연계를 통한 강도 측정의 통합적 프로세스를 구축하게 되면 CT기법을 통해 얻은 콘크리트 내부구조로부터 강도를 손쉽게 얻어 낼 수 있게 되어, 기존에 사용되던 비파괴적 강도측정법(초음파법, 반발경도법 등)에 비해 매 과정을 반복해야 하는 번거로움을 제거할 수 있음.
-◇  구축될 프로세스를 기존 구조물에 대한 안전진단에 적용할 뿐만 아니라, 새로운 콘크리트 시공시에도 적용하여 강도측정의 편리성 증진을 통해 최선의 배합을 손쉽게 선택할 수 있도록 함.
-====경제적, 사회적 기대 및 파급효과====
+) 분류기에서 사용자가 설정한 이미지의 class가 도출된다.
-◇  구조물 안전진단에 필수적으로 들어가는 과정을 축소 및 자동화 시켜 소모되는 인적, 비용적 자원을 저감할 수 있음.
-◇  통합적 프로세스를 통한 콘크리트 강도 측정으로 구조물 안정성 확보 및 유지관리의 용이성이 향상되어 사회적으로 높아지는 구조물 안전에 대한 우려의 해소를 기대할 수 있음.
-===기술개발 일정 및 추진체계===
+CNN 모델 활용 예시
+ Cha & Choi (2017)는 332장의 콘크리트 균열 이미지를 활용하여 발생한 손상을 외부 요인(빛, 그림자 등)의 영향을 줄이며 98.22%의 CNN 모델 정확도를 도출하였다. 그러나 박리, 부식 등의 손상을 탐지할 수 없어 추후 구조물 상태 점검을 위한 모델 개발을 제안하였다.
+ 다음으로 Fan et al. (2019)은 40,000개의 RGB 도로 균열 이미지 데이터 셋을 이용하여 균열과 정상 상태로 분류하여 99.9%의 정확도를 얻었다. 이외의 다양한 CNN 모델 개발을 통한 손상을 분류하고 탐지하는 연구들이 활발히 이루어지고 있다(Sony et al., 2020).
+ 여러 연구들을 통해 CNN 모델이 이미지 기반 구조물 손상 탐지에 사용되어 높은 정확도를 얻을 수 있음을 확인하였다. 그러나 대부분 한 가지의 손상 종류(균열, 박리, 철근 노출 등)의 이진 분류 문제(손상, 정상)를 해결하고 있기에 다중 분류 CNN 모델에 대한 문헌조사를 진행하였다. 먼저 Farooq et al.(2017)은 GoogLeNet, ResNet의 전이학습을 활용하여 MRI 사진을 통한 알츠하이머 환자의 3가지 상태를 구분하는데 CNN 모델이 다른 기법들에 비해 높은 정확도가 도출됨을 나타냈다. 다음으로 Murugan(2018)은 모델 구조를 발전시켜 사람, 말, 고양이, 개의 4가지 분류를 연구하여 높은 정확도를 보였다.
+DeepLabV3+
+ DeepLabV3+는 Sementic segmentation의 기법으로써 인공지능이 이미지에 있는 객체를 픽셀 단위로 분류하는 것이다. Depthwise separable convolution과 Atrous convolution을 결합한 Atrous Separable convolution을 제안하였다(Chen et al., 2018). 컴퓨터 계산이 효율적이고 객체 탐지(Object detection)에 비해 일반적인 사용이 가능하다. 이미지 상에서 클래스를 구분하여 탐지할 수 있어 많은 연구 분야에서 사용된다. Fully Convolutional Networks, U-Net, Mask R-CNN 등의 기법들의 비해 우수한 성능을 가지고 있다(Guo et al., 2018).
+DeepLabV3+ 활용 예시
+ Han et al. (2022)은 강구조물 표면의 손상에 대하여 DeepLabV3+와 YOLO V3 모델을 결합하여 손상 탐지의 정확도를 증가시켰다. 또한, 픽셀 수준의 손상 탐지를 진행하여 미세한 균열을 탐지하는데 성공하였다. 다음으로 Fu et al. (2021)은 교량에 발생한 균열을 DeepLabV3+ 모델 훈련을 통해 높은 mIoU 값을 도출하였다. 더불어, Dense-DeepLabV3+을 제안함으로써 기존의 모델뿐만 아니라 더 발전된 양상의 효과를 제시하였다.
+====시장상황에 대한 분석====
+안전신문고의 인력 및 예산
+년 기준 행정안전부의 공무원 4~5명만이 안전신문고 관련 안전신고 접수 및 분류를 담당하는 업무에 투입되었다. 안전신문고 예산 역시 문제를 보이고 있는데 하나의 접수에 적어도 3번(접수 확인, 처리 기과 배정 안내, 처리 결과 통보, 처리 기간 연장, 추가 답변 등)의 문자를 발송해 주었으나 2022년부터 공공요금 예산 부족으로 접수 안내가 제외되었다. 이때 딥러닝 모델을 통해 안전신문고 분류 작업을 대체하면 해당 인력과 예산을 절감할 수 있게 된다.
+구조물 손상 분류 필요 영역
+ 구조물 손상 분류 모델을 제작하였을 때 안전신문고 민원 분류가 아닌 다른 사용처를 조사한 결과 다음과 같은 영역에서 활용 가능하다는 것을 확인하였다.
+ 먼저 주변 신축 공사로 인한 건물 손상 파악에 도움을 줄 수 있다. 건축주와 시공사, 인접 건물 소유주는 주변 공사로 인해 건물이 손상되었을 경우 바닥의 침하, 균열 등의 하자의 발생과 피해 정도를 파악해야 한다. 여기서 손상 분류 모델을 통해 인근 공사 현장의 시공 행위로 건물에 발생한 피해를 사진 촬영이라는 방법으로 손상을 분류하여 정리할 수 있다.
+ 다음으로 완공 및 시공 중인 구조물의 하자 파악에 사용될 수 있다. 구조물에서 균열이 발생하면 구조물의 품질이 저하되며, 물에 노출되어 있는 부분에서는 누수를 수반하고, 심한 경우에는 구조물의 붕괴사고로 이어질 수 있다. 하지만 콘크리트 구조물에 균열이 존재한다고 하여 위험한 것은 아니며, 손상의 크기와 위치, 원인 등에 따라 안전할 수도 있다. 이때 손상 분류 모델은 구조물에 발생한 하자를 신속하게 판단하여 전문가에게 사전 정보를 전달하고 구조물의 소유주에게 하자 관련 정보를 제공하는 보조 역할을 수행할 수 있다.
+===개발과제의 기대효과===
+시설 분야 민원 분류 업무를 딥러닝 모델이 대체하여 행정안전부 민원 분류 담당자의 업무 부담을 줄이고 인력 및 인력비를 절감할 수 있다. 동시에 빠른 분류 결과에 따른 신속한 대처로 시민의 안전을 확보할 수 있다. 또한 딥러닝 모델은 손상 위치의 라벨링을 진행하여 민원 처리 담당자가 사진상에서 손상 위치를 빠르게 판단할 수 있도록 돕는다. 민원 접수 과정에서 이미지 데이터가 누적되며 모델의 지속적인 업데이트가 가능하다. 새로 지정한 안전정보 제공 단계를 통해 민원인이 구조물의 손상별 원인 및 심각 정도를 민원 접수와 동시에 확인할 수 있어 안전성에 대한 의문과 불안감을 신속하게 해소할 수 있다.
+===기술개발 일정 및 추진체계===
 ====개발 일정====
-[[파일:화면 캡처 2022-06-14 135426.png]]
+[[파일:202301개발일정.jpg]]
-====구성원 및 추진체계====
- ◇ 3월 - 데이터 자료 실험 및 수집 ( 김현승 유병관 고은서 )
-월~5월 - Deep Learning coding ( 이선호 고은서 박현배 )
-월~6월 - 코드 러닝 후 결과 값 해석 ( 박현배 박승규 이선호 )
-월 – 최종 보고서 작성 ( 박승규 김현승 유병관 )
 ==설계==
 ===설계사양===
 ====제품의 요구사항====
-[[파일:화면 캡처 2022-06-14 135455.png]]
+[[파일:202301요구사항.jpg]]
-====제품 평가내용====
 ====설계 사양====
+[[파일:202301설계사항.jpg]]
 ===개념설계안===
-< 콘크리트 내부구조 데이터 도출 >
+[[파일:202301개념설계안.jpg]]
-<콘크리트 내부 CT사진 확보>
+===상세설계 내용===
+Input
-[[파일:화면 캡처 2022-06-14 134359.png]]
+  안전신문고를 통해 민원을 접수할 때 입력하는 정보인 민원 유형, 위치, 사진, 민원인 이메일을 입력 값으로 사용하며 예시는 Table 11과 같다. 이때 본 과제에서는 구조물의 손상 분류 모델을 목적으로 민원 유형이 “도로, 시설물 파손 및 고장”에 해당하는 경우로 한정한다.
-< 콘크리트 내부 CT사진 예시 >
- ◇  콘크리트 내부에 대한 20000여장의 단면 CT사진을 확보함.
-<콘크리트 단면 CT사진 이진화>
-[[파일:화면 캡처 2022-06-14 134415.png]]
-< 이진화 된 CT사진 예시 >
-< 콘크리트의 해석적 강도 추정 >
-<콘크리트 모델링>
-[[파일:화면 캡처 2022-06-14 134555.png]]
-< 콘크리트 내부구조 데이터의 mesh화 예시 >
- ◇  콘크리트 CT사진으로부터 도출한 콘크리트 내부구조 데이터를 이용해 격자 형식의 콘크리트 모델 생성
-<강도 해석>
-[[파일:화면 캡처 2022-06-14 134444.png]]
-< 유한요소 해석 프로그램상의 균열 진행 모습 >
-[[파일:화면 캡처 2022-06-14 134646.png]]
-< 유한요소 해석을 통한 콘크리트 강도 계산 예시 >
- ◇  유한요소 수치해석 프로그램인 FEAP(Finite Element Analysis Program)을 이용해 대상 격자 구조에 대한 인장강도를 도출.
- ◇  얻어진 인장강도에서 상관관계식을 통해 원하는 값인 압축강도를 계산할 수 있음.
-< 콘크리트 강도측정 모델 구축 >
--학습모델 선정-
- ◇  딥러닝 모델에는 여러 가지 종류가 존재함
- ◇  딥러닝 모델 정확도가 높아지면 연산시간은 증가함
- ◇  가용 가능한 수치제원 내에서 최적의 모델인 RESNET50 모델 선정
-[[파일:화면 캡처 2022-06-14 134748.png]]
-<모델별 정확도와 연산속도 상관관계>
--모델 학습-
-[[파일:화면 캡처 2022-06-14 134633.png]]
-< 도식화 된 딥러닝 모델 학습 구조 예시 >
- ◇  선정될 모델에 CT사진의 데이터 셋과 최종 결과값인 강도의 데이터 셋을 학습함으로써 CT사진에서 강도로 직접 연결되는 콘크리트 강도 예측 모델 구축
-===이론적 계산 및 시뮬레이션===
- < 콘크리트 내부구조 데이터 도출 >
-  ◇ 26008장의 콘크리트 내부 구조 CT사진을 보유
- ◇ 위 사진들과 TensorFlow2를 이용하여 현재 콘크리트 내부구조 데이터화를 완료
- ◇ 또한 콘크리트 내부구조사진들을 해석하려면 콘크리트의 CT사진의 이진화가 필요하며, 이를 수행하는 스크립트를 작성하여 자료들을 이진화 완료
-[[파일:화면 캡처 2022-06-14 134710.png]]
-[[파일:화면 캡처 2022-06-14 134729.png]]
-< 콘크리트 단면 CT사진 이진화 Code (중간부 생략) >
-[[파일:화면 캡처 2022-06-14 134805.png]]
-< 이진화된 콘크리트 단면 CT 사진(좌)과 이진화 처리 전 CT 사진(우) >
-[[파일:화면 캡처 2022-06-14 134820.png]]
-< 2진화된 콘크리트의 요소 행렬 >
- < 콘크리트의 유한요소 해석을 위한 격자점 형성 및 분류파일 형성 >
-[[파일:화면 캡처 2022-06-14 134837.png]]
- < 콘크리트 강도 수치모의 >
- ◇ 본 연구에서 수행하고자 하는 것은 콘크리트 사진을 통해서 콘크리트 강도를 유추하는 것임
- ◇ 딥러닝 학습을 통해서 콘크리트 강도를 추정하려면 실제의 콘크리트 CT사진과 이와 연결되는 콘크리트 강도 정답값의 표본이 있어야함
- ◇ 수천에서 수만가지의 표본을 얻기 위해 실험을 반복하는 것은 현실적으로 어려우므로 유한요소해석을 통해서 얻은 콘크리트 강도값을 딥러닝 학습에 이용
- ◇ 수치모의 조건
- - 2차원 평면 가정
- - 0.1456* 0.1456(m^2) 정방형 구조체
- - 인장력을 가하여 인장파괴를 유도
- - 균열을 확인하여 인장파괴강도를 구함
- - 구한 인장강도로부터 압축강도를 구하게됨 ( 공식: 압축강도는 8~10인장강도)
- - 가운데 부분에서 파괴가 일어나도록 상하단부 5%는 변형이 없는 강체라고 가정
+CNN 분류모델
-  ◇ 재료의 물성치는 다음과 같음
+.1 모델
+  특징을 추출하는 부분인 feature extraction은 전이학습 모델의 가중치들을 사용했으며 4개의 손상 종류를 구분하기 위한 fully connected layer는 마지막 layer에 ‘softmax’ 함수를 사용하여 다중 분류가 가능하도록 구성하였다. 과적합을 방지하기 위해 L2 Regularization과 Dropout을 배치하여 높은 정확도를 얻을 수 있게 구성하였다.
+ 학습 양상을 살펴보기 위해 학습용 데이터/검증용 데이터 = 90%/10%가 사용되었다. 같은 손상에 대해 여러 각도에서 찍은 경우가 존재하여 이미지 순서대로 학습에 사용될 시 과적합이 발생할 것으로 예상하여 무작위 입력될 수 있도록 설정하였다.
-[[파일:화면 캡처 2022-06-14 134859.png]]
+.2 모델 학습
+ 이미지 데이터를 활용한 딥러닝 구현을 위해서는 고성능 컴퓨터가 필요함에 따라 사양은 CPU: Intel(R) Xeon(R) Silver 4216, RAM: 128GB, GPU: RTX 3090, SSD: 1TB이다. Python 언어로 tensorflow 라이브러리를 사용하였으며, 코드는 Window 기반의 jupyter notebook에 작성되었다.
-- 재료 1은 상하단부 5%를 제외한 부분의 콘크리트이며 재료 2는 상하단부 5%의 콘크리트이다.
+.3 Trial-and-error
-< 유한요소 해석을 위한 재료의 물성치 가정 >
+  데이터셋의 구성과 하이퍼 파라미터의 결정에 따른 정확도를 살펴보기 위해 결과들을 확인하며 다음 실험을 구성하였다. Loop 문을 활용하여 여러 조합을 이용하여 확인하면 더 많은 범위의 변수들을 다룰 수 있지만, 이미지 데이터 학습은 50,926장 기준 10회 반복 학습에 약 6시간 이상이 소요되어 경험 법칙에 따라 진행하였다.
- < 콘크리트 강도 측정을 위한 학습 모델 구축과정 >
+DeepLabV3+
-  ◇ 유한요소 해석을 통해 얻어낸 재료의 강도와 이진화를 거쳐 사전처리를 한 콘크리트 CT사진들을 입력데이터로 넣어서 딥러닝 모델을 구축
+.1 Case
+  손상 종류에 대한 각각의 모델을 제작해야 됨에 따라 손상 분류 모델을 학습시키기 위해 사용된 데이터셋에 비해 적은 양을 사용하였다. 본 프로젝트에서는 손상 종류 중 “균열”에 대한 모델을 제작하는 것을 목표로 하였다. 참고한 예제에 비해 훈련 데이터가 많지만 이미지 상에서 균열의 크기가 작은 경우가 대부분이라 데이터 증식을 적용하는 케이스를 만들어 비교하고자 했다. 데이터 증식 방법으로는 무작위로 뒤집거나, 밝기를 조절, 명암을 주는 방식의 코드를 작성하였다. 이에, 진행된 실험 케이스는 학습용 데이터 3,000장, 검증용 데이터 490장을 사용하여 하이퍼 파라미터를 바꾸며 진행하였다.
+[[파일:202301DeepLapCase.jpg]]
+ Case 2일 때 가장 높은 정확도를 보였으며, 각 케이스에 대한 모델에 학습에 사용되지 않은 이미지를 넣었을 때 나오는 mask 결과는 다음과 같다. 첫 번째 사진은 코드 상에서 전처리가 된 원본 이미지이며, 두 번째 사진은 균열에 대한 mask 라벨이다. 마지막 사진은 첫 번째 사진이 DeepLabV3+를 통과하여 만들어진 mask 정보를 원본 이미지 위에 오버레이 시킨 것이다.
+[[파일:202301DeepLapOverLay.jpg]]
+ Case 1, 2, 3 모두 맨눈으로 확인하였을 때 굵은 균열을 잘 탐지하는 모습을 나타내었다. 특히, Case 2의 경우 중심의 균열에서 뻗어 나간 얇은 가지 모양 또한 식별하여 mask로 표현하였다. 결과적으로 큰 위험성이 있는 균열 형태의 위치가 파악될 수 있는 수준의 모델이 개발되었다. 균열의 위치를 파악하기 위한 용도로 사용하기 위해 가장 좋은 성능을 보인 case 2의 하이퍼 파라미터를 가진 모델을 저장하였다.
- ◇ 본 연구에서는 26000여장의 사진중 20000장의 데이터를 이용해 딥러닝 학습을 시킨후 나머지 6000여장의 사진으로 검증을 실시할 예정임
+정보 전달
-  ◇ 문헌조사와 가용가능한 수치제원을 검토한 결과 본 연구에서 채택한 딥러닝 학습모델은 RESNET-50임
+.1 처리 기관
+  현재 안전신문고에서는 민원 위치 데이터를 기반으로 시스템 상에서 자동으로 처리 기관을 배정한다. 딥러닝 모델이 분류한 손상의 종류를 민원 데이터에 추가하여 민원을 처리 기관에 신속하게 이관할 수 있다. 본 과제에서는 Fig. 16과 같이 처리 기관명(ex. 마포구청)의 엑셀 파일에 위치, 손상 종류, 사진을 저장하여 확인할 수 있도록 한다. 추가로 손상 종류가 균열일 경우 DeepLabV3+를 통한 손상 위치 라벨링 이미지를 제공한다.
-  ◇ 딥러닝 코드는 다음과 같음
+.2 민원인
+  민원인은 민원 접수 후 바로 이메일을 제공받을 수 있다. 이메일에 포함되는 내용은 1) 시설물의 손상 종류 및 원인, 2) 손상 종류별 손상 정도 판단 기준, 3) 발생 가능한 피해 사항이다. 추가로 첨부된 손상별 매뉴얼을 통해 시설물 안전성에 대한 의문과 불안감을 현 처리 기간인 7일보다 빠르게 해소할 수 있다.
+[[파일:202301민원인이메일.jpg]]
-[[파일:화면 캡처 2022-06-14 134945.png]]
+Output Algorithm
-< CT사진과 강도의 학습을 위한 딥러닝 Code (중간부 생략) >
+.1 입력 값 지정
+ 앞서 언급한 것과 같이 알고리즘에 들어갈 input data는 손상 이미지, 위치 정보, 민원인 이메일이다. 결과가 도출되는지 실험하기 위한 이미지를 입력하기 위해 Fig. 18과 같이 민원 사진으로 쓰일 균열, 박리, 철근노출, 우수(손상 없음) 이미지를 촬영하여 구글 드라이브 image 폴더에 저장하였고 이는 모델 제작에 사용되지 않았다. 모델에 입력 값을 주기 위한 코드는 다음과 같으며 image_path는 이미지가 저장된 구글 드라이브 주소, source_location은 위치정보, source_email은 민원인의 이메일 주소이다.
-[[파일:화면 캡처 2022-06-14 135026.png]]
+이미지 위치 및 input data
+image_path = "/content/drive/MyDrive/SOC/image/crack.jpg"
+source_location = "서울특별시 동대문구 시립로 123"
-< 기보유데이터 활용 검증 및 실제 시공체 검증 >
+source_email = "gus6376@naver.com"
- ◇ 본 연구에서는 시간적, 자원적 한계로 일부 요소들에 대해서 단순화 하였으며 전처리가 완료된 자료들을 활용하였으므로 실제 콘크리트 배합을 통해서 확인해볼 필요가 있음
-  ◇ 본 연구에서는 26000여장의 사진 중 유한요소 해석을 마친 4000장의 데이터만을  학습 데이터 셋과 테스트 데이터 셋으로 분할하여 사용
+.2 CNN 분류 모델
+  CNN 분류 모델로 이미지 데이터에서 가장 균열, 박리, 철근노출, 우수 중 가장 확률이 높은 값을 추출한다. 앞선 image_path의 사진을 전처리 후 model로 저장된 CNN 손상 분류 모델을 통해 확률 값(output)으로 출력하여 가장 큰 값의 인덱스를 predicted_class_label에 저장한다.
-  ◇ 또한 실제 콘크리트 배합 후 본 설계의 모든 과정을 직접해봄으로서 실제 현장에서의 적용성을 검토해 볼 예정이었으나 시간적 한계로 시공체 제작 및 파괴시험과 CT촬영을 위한 시편 제작의 과정만 완료
+.3 DeepLabV3+
+  predicted_class_label에 저장된 값이 균열일 때 DeepLabV3+(model1)를 통해 이미지에 라벨링을 추가하여 crack_visualization.jpg로 저장한다.
-===상세설계 내용===
+.4 이메일 전송
-====조립도====
+ smtplib을 활용하여 민원인의 이메일로 손상 종류별 정보와 매뉴얼을 담은 이메일을 전송한다. CNN 분류 모델로 결정된 predicted_class_label마다 다른 이메일 내용(text)과 첨부파일(attachment)을 지정한다. 이때 손상 종류가 우수라면 매뉴얼을 첨부하지 않는다.
+.5 처리 기관 전달
+ 처리 기관에 전달하기 위해 먼저 행정구역별 구청, 군청, 시청명을 파일명으로 하는 엑셀 파일을 사진과 같이 구글 드라이브에 저장하였다. nput data인 위치 정보를 바탕으로 선택한 처리 기관 엑셀 파일에 위치(source_location), 손상 종류(predicted_class_label), 이미지(균열의 경우 라벨링된 이미지)를 저장한다.
-====부품도====
+[[파일:202301엑셀저.jpg]]
-====소프트웨어 설계====
-====자재소요서====
 ==결과 및 평가==
 ===완료 작품의 소개===
 ====프로토타입 사진 혹은 작동 장면====
+[[파일:Colab.jpg]]
+[[파일:202301결과.jpg]]
 ====포스터====
+[[파일:포스터01.jpg]]
 ===관련사업비 내역서===
+[[파일:202301사업비내역.jpg]]
+===개선 방향===
-===완료작품의 평가===
+DeepLabV3+를 사용한 모델 제작에 있어 현 프로젝트에서는 손상 종류 “균열”에 대해서만 진행하였다. 다른 손상 종류 또한 제시된 딥러닝 학습 과정을 바탕으로 개발할 수 있다. 또한, 훈련용 이미지 데이터셋을 더욱 정교하게 제작하거나 수량을 늘린다면 더욱 높은 정확도의 모델을 얻을 수 있다. 최종적으로 제작된 모델들을 조합하면 다양한 손상 종류에 대한 정보를 제공할 수 있는 알고리즘이 만들어진다.
-===향후계획===
-===특허 출원 내용===