1. 서 론
2. 딥러닝 분석 방법
2.1 CNN(Convolutional Neural Network)
2.2 YOLO(You Only Look Once)v5
2.3 해석 데이터
2.4 해석 방법
3. 터널 GPR 이미지 분석 결과
4. 결 론
1. 서 론
교통 시설로서 터널의 중요성은 지속적으로 증가하고 있다. 국토교통부의 2012년부터 2021년까지의 통계 조사에 따르면 터널의 개소는 약 131.0%, 터널의 연장은 약 113.4%, 일교통량은 약 22.9% 증가하였다(MOLIT, 2022). 다른 기반 시설과 마찬가지로, 터널은 내·외부의 환경적인 요인으로 시간이 경과하게 되면 성능저하가 발생하게 된다(Lee et al., 2022). 일본의 사사고 터널 천정판 붕괴사고(SBS, 2012)와 같은 노후터널의 성능저하로 인한 안전사고는 인명과 재산에 큰 피해를 주며, 이에 터널의 안전진단과 유지관리가 매우 중요한 사항이다.
터널은 지중에 건설되는 구조물이므로 육안으로 터널 강지보재의 위치 등의 확인이 불가능하다. 이에, 터널 유지관리시에는, 일반적으로 Fig. 1과 같은 GPR(Ground Penetrating Rader) 비파괴검사의 결과 이미지를 활용하여 강지보재 탐지를 수행한다.
GPR을 활용한 연구는 토목의 여러 분야에서 적용되고 있다(Go and Lee, 2021a; Go and Lee, 2021b; Park et al., 2013). 또한 합성곱 신경망을 활용한 GPR 데이터 해석 자동화에 관한 연구가 활발히 이루어지고 있다. 해외의 경우, 터널 라이닝의 요소들을 CNN(Convolutional Neural Network)을 사용하여 분석하는 연구에서(Qin et al., 2021), 합성곱 신경망을 기반으로 한 2단계 객체탐지 기법인 Mask R-CNN(He et al., 2017)을 활용하여 터널의 강지보재, 라이닝 내부공극, 콘크리트 라이닝 세가지 표적에 대해 96.02%, 91.17%, 95.45%의 정확도로 탐지해낸 성과를 보인 바 있다. 이외에도 CNN+Bi-LSTM 모델을 활용한 GPR B-Scan 이미지 분석(Özkaya et al., 2021), CNN을 활용한 3차원 GPR 데이터에서의 도로 포장 균열의 자동분류(Liang et al., 2022)등의 연구가 진행되었다. 국내의 경우, Faster R-CNN(Girshick, 2015)을 활용한 GPR 데이터에서 지하배관 위치추적(Ko and Kim, 2019), GPR 히트맵 이미지 데이터를 기반으로 CNN을 활용한 철근의 두께 예측(Park et al., 2019)등의 연구가 이루어졌다.
그러나 인공신경망을 통한 GPR 이미지 분석에 대한 연구는, 주로 지하배관, 도로 손상 등의 탐지에 집중되어 있으며, 강지보재 등의 터널 GPR 데이터를 분석한 사례는 해외와 국내 모두 제한적이다. 또한 GPR 이미지 분석에 대한 연구는 R-CNN 알고리즘을 기반으로 사례가 주를 이루며, 상대적으로 속도가 빠른 YOLO 알고리즘을 활용한 사례는 찾기 어렵다.
본 연구의 목적은, 합성곱 신경망을 기반으로 하는 1단계 객체인식 알고리즘 YOLOv5(You Only Look Once)를 활용하여, GPR 데이터를 바탕으로 한 터널 강지보재의 위치 탐지를 자동화하고, 그 성능을 분석하는 것에 있다.
2. 딥러닝 분석 방법
2.1 CNN(Convolutional Neural Network)
YOLO의 기반이 되는 CNN은 두뇌가 시각적 데이터를 처리하는 구조에 아이디어를 얻어 발전한 알고리즘이다. CNN은 이미지 데이터 처리에 특화된 알고리즘으로 Convolutional Layer와 Pooling Layer를 사용하여 이미지의 특징을 추출해내고 Fully Connected Layer을 사용하여 클래스의 분류를 하는 두가지 단계로 이루어져 있다(LeCun et al., 1998). Fig. 2는 CNN 알고리즘의 객체탐지 과정을 나타낸다(Seo, 2018).
2.2 YOLO(You Only Look Once)v5
CNN을 기반으로 발전한 1단계 객체인식 알고리즘인 YOLOv5는 기존의 YOLO 버전들과는 다른 CSPNet (Wang et al., 2020) Backbone을 사용하여 초당 처리하는 프레임 수(FPS)와 정확도(mAP)에서 뛰어난 성능을 보인다(Kim et al., 2021). YOLOv5 알고리즘을 통해 탐지하고자 하는 객체를 그리드 형태로 세분화하여 Fig. 3과 같이 전체 이미지에서 예측할 수 있다(Redmon et al., 2016). 본 알고리즘은 객체 검출의 개별적인 요소들을 단일 신경망으로 통합하여 객체를 빠르고 정확하게 탐지해낸다는 장점이 있다. YOLO는 Region을 정하고 객체를 분류하는 반복 작업이 필요한 R-CNN 기반의 객체 탐지 알고리즘에 비해 속도면에서 우수한 성능을 보인다.
2.3 해석 데이터
총 512개의 원본 GPR 이미지 데이터로만 구성된 데이터 세트와 원본 이미지에 데이터에 증식기법을 적용시킨 데이터 세트를 활용하여 해석을 진행하였다. 데이터 증식기법은 딥러닝 학습에서 사용하는 데이터 세트의 크기를 확장하여 모델의 일반화 성능을 향상시키고 과적합을 방지할 수 있도록 하는 기법이다(Gu et al., 2019). 증식기법을 적용한 데이터 세트는, 총 512개의 원본 이미지 데이터를 좌우 반전, 채도 조정, 밝기 조절을 통해 1536개의 추가 이미지를 생성하고, 원본 데이터를 포함하여, 총 2,048개의 이미지 데이터로 구성하였다.
터널 GPR 검사시에는, 이미지 데이터 내 포물선 형태인 강지보재의 특징점을 바탕으로 지보재 유무를 해석한다. GPR 이미지 데이터 내 강지보재의 특징점을 나타내는 위치를 라벨링하여 학습, 평가 데이터를 구성하였다.
2.4 해석 방법
원본 이미지 데이터(512개)와 증식 이미지 데이터(2,048개) 모두, 데이터 세트를 훈련 세트(Train set) 80%, 검증 세트(Validation set) 10%, 시험 세트(Test set) 10%의 비율로 분할하였다(Fig. 4). 과적합(Overfitting)으로 인한 모델의 성능저하를 방지하기 위해, 학습 시 훈련 오차(Train loss)가 감소할 때 검증 오차(Validation loss)가 증가하면 학습을 종료하도록 Early stopping 기능을 사용하였다.
학습된 모델의 예측 성능 정량적 평가는, 전체 강지보재와 탐지해 낸 지보재 숫자의 비율을 의미하는 민감도(Sensitivity), 탐지한 지보재의 개소 숫자 중 실제 지보재의 비율을 의미하는 정밀도(Precision)를 통해 수행하였다(Eqns. (1) and (2)). 이 때, TP(True positive)는 실제 강지보재를 강지보재로 탐지한 경우, FP(False positive)는 강지보재가 아닌 위치를 강지보재로 탐지한 경우이며, FN(False negative)는 강지보재가 존재하지만 탐지하지 못한 경우이다.
3. 터널 GPR 이미지 분석 결과
YOLO 알고리즘을 활용하여 터널 GPR 이미지 데이터 내 강지보재를 탐지하였다. Fig. 5는 데이터 증식 없이 원본 이미지 데이터 세트를 활용한 탐지 결과의 예시이다. 전반적으로, Fig. 5(a)에 보인 것처럼, GPR 이미지 상의 강지보재 위치를 높은 정확도로 탐지할 수 있는 것을 확인하였다. 일부 시험 데이터 세트에서는, 강지보재의 탐지가 누락되는 현상이 나타났으며, 본 예가 Fig. 5(b)에 나타나 있다. 예측 성능을 평가하기 위해 사용된 51개의 GPR 이미지에 강지보재로 판단되는 것은 총 531개소가 존재한다. 이 중, 실제 강지보재 위치를 탐지한 경우(TP, True positive)가 493개소, 강지보재가 아닌 위치를 강지보재로 탐지한 경우(FP, False positive)가 4개소, 강지보재의 위치를 탐지하지 못한 경우(FN, False negative)가 38개소로 나타났다. 이에 따라, 민감도(Sensitivity)와 정밀도(Precision)는 각각 92.82%와 99.19%로 나타났다. 데이터 증식 없이 수행한 GPR 이미지 해석에는 총 23분 32초의 시간이 소요되었다.
Fig. 6은 증식기법이 적용된 이미지 데이터 세트를 활용한 탐지 결과의 예시이다. Fig. 6(a)에 보인 바와 같이, GPR 이미지 상의 강지보재 위치를 높은 정확도로 탐지할 수 있는 것을 확인하였다. 일부 시험 데이터 세트에서는, 실제 강지보재 뿐만 아니라 강지보재의 특징을 나타내지 않는 점 또한 과잉 탐지하는 현상을 나타냈으며, 본 예가 Fig. 6(b)에 나타나 있다. 예측 성능을 평가하기 위해 사용된 531개소의 강지보재 중, 실제 강지보재 위치를 탐지한 경우(TP, True positive)가 529개소, 강지보재가 아닌 위치를 강지보재로 탐지한 경우(FP, False positive)가 2개소, 강지보재의 위치를 탐지하지 못한 경우(FN, False negative)가 33개소로 나타났다. 이에 따라, 민감도(Sensitivity)와 정밀도(Precision)는 99.62%와 94.12%로 나타났다. 데이터 증식을 적용하여 수행한 GPR 이미지 해석에는 총 37분 21초의 시간이 소요된다.
증식한 데이터를 사용한 모델은 원본 데이터 세트에 기반한 모델보다 정밀도는 다소 낮게 측정되나, 민감도(Sensitivity)가 상대적으로 높으며, 이에 따라 누락률(전체 강지보재와 탐지하지 못한 지보재 숫자의 비율)이 더 낮은 것으로 평가되었다. 증식한 데이터를 사용한 모델의 강지보재 누락율은 0.38%, 원본 데이터만을 활용한 모델의 강지보재 누락율은 7.18%로 나타났다. 따라서, 분석 자동화 측면에서는, 증식기법이 적용된 데이터 세트를 활용하는 것이 실용적일 것으로 판단된다.
또한 GPR 이미지 내 강지보재의 탐지 성능은 데이터의 라벨링 작업자의 숙련도에 영향을 받는 것으로 나타났다. 강지보재 위치를 과도하게 넓은 면적의 Bounding box로 라벨링하거나, 지보재 위치를 나타내는 부분의 특성을 반영하지 못할 정도의 작은 면적으로 라벨링하는 경우, 예측 성능이 현저하게 떨어지는 것을 확인하였다.
4. 결 론
본 연구에서는, 합성곱 신경망을 기반으로 하는 1단계 객체 인식 알고리즘 YOLOv5(You Only Look Once)를 활용하여, GPR 데이터를 바탕으로 한 터널 강지보재의 위치 탐지를 자동화하고, 그 성능을 분석하는 것에 목적이 있다. 원본 이미지 데이터는 총 512개이며 원본 이미지 데이터로 이루어진 데이터 세트와 원본 이미지 데이터와 증식기법이 적용된 이미지 데이터를 병합한 2,048개의 데이터로 이루어진 데이터 세트를 해석에 활용하였다.
(1) 데이터 증식 없이 원본 이미지 데이터 세트를 활용한 탐지의 경우. 전체 강지보재와 탐지해 낸 지보재 숫자의 비율을 의미하는 민감도(Sensitivity)가 92.82%, 탐지한 지보재의 개소 숫자 중 실제 지보재의 비율을 의미하는 정밀도(Precision)가 99.19%로 나타났다. 또한 해석에는 총 23분 32초의 시간이 소요되었다.
(2) 증식기법이 적용된 이미지 데이터 세트를 활용한 탐지의 경우, 민감도(Sensitivity)와 정밀도(Precision)는 99.62%와 94.12%로 나타났다. 또한 해석에는 총 37분 21초의 시간이 소요되었다.
(3) 증식한 데이터를 사용한 모델의 강지보재 누락율(전체 강지보재와 탐지하지 못한 지보재 숫자의 비율)은 0.38%, 원본 데이터만을 활용한 모델의 강지보재 누락율은 7.18%로 나타났다. 따라서, 분석 자동화 측면에서는, 증식기법이 적용된 데이터 세트를 활용하는 것이 더 실용적일 것으로 판단된다.
(4) GPR 이미지 내 강지보재의 탐지성능은 데이터 라벨링 작업자의 숙련도에 의해 영향을 받는다. 과도하게 넓은 면적의 라벨링 혹은 지보재의 특성을 나타내지 못할 정도의 미소한 면적을 라벨링 하는 경우 예측성능이 현저하게 떨어졌다.
YOLO 모델을 활용한 강지보재의 탐지는 전반적으로 우수한 성능을 보였으며, 이에 더 많은 수의 데이터 구축과 학습을 통해, YOLO 모델에 기반한 GPR 이미지 분석의 자동화, 실용화가 가능할 것으로 판단한다.
