1. 서 론

최근 국내외 포장도로 하부에 매설된 매설물의 노후화와 손상으로 공동 및 지반 함몰이 증가하고 있으며, 이로 인한 경제적 손실과 안정상의 위협이 발생하고 있다. 이와 같이 도로 하부의 이상 상태를 조기에 발견하는 것은 매우 중요한 과제이다(Han, 2018). Lee and Cho(2016)은 노후 관로에 의해 발생된 공동의 매커니즘을 파악하고자 하였고, Song et al.(2016)은 공동의 유무에 따른 공진 주파수 변화를 통해 특성을 분석하고자 하였다. 이처럼 발생된 문제를 사전에 파악하기 위해 비파괴 탐사 방법인 GPR 탐사, 탄성파 탐사 그리고 전기비저항 탐사 등이 적용되고 있지만, 기존에 공동 및 지반 함몰을 탐지하기 위해서는 도로 일부를 통제하거나, 차량 등에 부착해야 되는 한계가 있다(Jang et al., 2023; Jang and Yoon, 2024). 또한, 공동 및 지반 함몰이 발생된 지역을 보완하기 위해 그라우팅 공법이 사용되며 Han et al.(2019)과 Lee et al.(2020)은 그라우팅 공법에 활용되는 재료의 특성을 분석한 연구가 진행되었다.

기존의 문제점을 해소하기 위해 적외선을 활용한 연구가 진행되고 있다. Cho et al.(2016)은 적외선 카메라를 활용하여 탐지 가능성을 제시하였고, Kulkarni et al.(2022)은 적외선 카메라를 활용하여 포장도로 하부에 발생된 공동을 탐지하였다. 적외선을 활용한 방식은 도로를 통제하기 않고 드론 등에 부착을 통해 광역 범위를 탐지할 수 있어 초기 공동 형성 및 지반 함몰을 탐지하는데 매우 효과적이다(Kim et al., 2023).

하지만 적외선 측정 결과는 이미지로 획득이 가능하여 반드시 이미지 해석 방법이 동반되어야 한다. Lee et al.(2016)에서 제시된 광역지역의 온도 변화를 탐지하고 CNN 알고리즘에 적용하여 공동 탐지에 대한 신뢰성을 제시하였고, Hoai et al.(2019)는 싱크홀 탐지와 CNN 알고리즘을 결합하여 싱크홀이 발생하기 전 이를 파악하기 위한 방법을 제안하였다. 이와 같이 적외선으로 측정된 이미지 데이터를 이미지 분석에 특화된 convolution neural network(CNN) 알고리즘에 적용하였고, 분석의 신뢰도를 높이기 위해 RP 알고리즘에 적용하였다. RP 알고리즘에 적용하기 전 적외선 카메라로 측정된 이미지는 픽셀로 표현되고 각각의 픽셀은 온도 값을 의미하며 이를 RGB로 온도가 표현된다. 이처럼 수치 값으로 획득된 데이터를 CNN 알고리즘에 적용하기 위해 recurrence plot(RP) 알고리즘이 활용되고 있다. RP 알고리즘은 수치 데이터를 이미지로 전환할 수 있는 알고리즘으로 데이터의 특징을 시각적으로 이해할 수 있다. Liu et al.(2016)은 RP 알고리즘으로 유체의 변화특징을 이해하고자 하였고, Zhao et al.(2017)는 규칙성이 없는 데이터에 RP 알고리즘을 적용하여 매개 변수에 따른 특징을 이해하고자 하였다. 본 연구에서는 선행연구와 같이 위치에 따른 공동의 열적 특성을 분석하기 위해 적외선 카메라를 활용하였고, 측정한 수치 데이터에 RP 알고리즘을 적용하였다. RP 알고리즘을 통해 변환된 이미지는 CNN기법을 활용하여 적외선 특징을 분석하고자 하였다.

해당 연구에서는 적외선 카메라, RP 알고리즘 그리고 CNN 알고리즘에 대한 배경이론을 소개하였고, 공동 위치에 따른 적외선 변화를 측정할 수 있는 실험 방법에 대해 설명하였다. 공동 위치에 따른 열적 특성 변화 결과를 도시하였으며, RP 알고리즘을 적용하기 위한 4가지 방법도 소개하였다. 구축된 RP 이미지는 입력데이터로 활용하여 CNN 알고리즘에 적용하였으며, 최종적으로 수치 데이터와 RP 이미지의 정확도를 비교하여 신뢰성을 검증하였다.

2. 배경이론

2.1 적외선

모든 물체는 태양 열의 빛 에너지로 반사가 발생하고 반사된 파형은 다양한 크기의 파장 및 주파수를 보인다. 그 중 적외선은 파장의 길이가 0.7~1000um이고 주파수는 430THz~300GHz를 보이며, 물체의 온도와 밀접한 연관이 있다. 물체에서 방출하는 적외선 특징을 이해하는 것은 열적 거동과 연계해서 상태 변화를 추론할 수 있다. 푸리에 법칙은 이러한 거동의 이론적인 설명을 제공하며, 수식 (1)과 같이 단위시간(Δt) 당 온도 변화(ΔT)는 물체의 면적(A)와 열전도율(k)에 의존한다. 따라서 물체의 면적과 열원(q)이 일정할 경우 열전도율에 따라 온도가 변화하며, 이는 지반 내부 상태 변화를 유출할 수 있는 가능성을 시사한다.

2.2 Recurrence plot

Recurrence plot(RP)은 시계열 데이터의 거동을 시각적으로 이해할 수 있도록 변환하는 알고리즘으로 수치 데이터로 분포된 값을 이미지로 전환할 수 있는 특징이 있다. 해당 알고리즘은 각 시계열 데이터 간의 거리를 궤적으로 계산한 후 사용자가 원하는 픽셀수의 이미지로 재탄생 시킨다. 또한 RP는 시계열 데이터의 규칙적 및 비 규칙적인 특성을 이해할 수 있어 데이터 흐름을 쉽게 이해할 수 있다. 해당 연구에서도 시계열에 따라 변화하는 적외선 데이터의 특징 추출을 원활하게 수행하고 분류를 진행하기 위하여 RP 알고리즘을 적용하여 시각화를 수행하였다.

2.3 Convolutional Neural Network

RP 알고리즘으로 전환한 이미지 데이터가 적절하게 분류될 수 있도록 이미지 데이터 분석에 활용도가 높은 convolution neural network(CNN) 알고리즘을 적용하였다. CNN은 크게 2개의 역할을 수행하는 단계로 구성되며 1) 특징 추출 2) 분류 수행, 특징 추출에서는 convolution layer 및 pooling layer 로 구성된다. 분류 수행 단계에서는 activation function 으로 사용자의 목적에 맞게 이미지 분류를 수행하며, 학습 및 검증 데이터를 통해 최종적으로 신뢰성을 제공한다. 해당 연구에서는 현장에서 실험한 데이터의 특징 추출 및 분류를 수행하기 위하여 CNN 알고리즘을 적용하여 결과를 분석하였다.

3. 데이터 획득

3.1 실험 조건

해당 연구는 도로에서 반사된 적외선으로 동공 깊이를 확인할 수 있는지 판단하는 것으로, 이를 위해 Fig. 1과 같이 가로×세로×깊이가 400cm×50cm×40cm 인 대상 부지를 설정하였다. 공동은 PVC pipe를 이용하였으며, 상부, 중부 그리고 하부인 깊이 0cm, 13cm 그리고 25cm에 인위적으로 매설하였다. 대상 매질 상부에는 콘크리트 블록(두께: 5cm)을 설치하여 도로와 유사한 조건을 조성하고자 노력하였으며, 콘크리트 블록 상부 1m 위치에 적외선 카메라를 위치하여 온도 변화를 관측하였다. 적외선은 오후 4시부터 다음날 12시까지 측정하여 온도가 하강과 상승이 되는 열적 변화를 측정하였고 적외선 카메라를 활용하여 반사되는 거동 획득하였다. 해당 연구에서는 FLIR사에서 제작된 E8-XT 모델을 활용하였고, 해당 기기는 0.06°C의 감도를 가지고 있어 온도 변화 특성을 관찰할 수 있다. 또한, FLIR tool 프로그램을 통해 동영상으로 측정된 데이터를 최소 1초 단위로 이미지로 가시화시킬 수 있으며, 최소 1초 단위로 시계열 분석을 진행할 수 있다. 해당 실험 방법은 Jang et al.(2023) 연구에 자세히 설명되어 있어 추가적인 내용은 참고문헌을 참고하길 바란다.

Fig. 1

Schematic drawing of field test and PVC pipe conditions. This figure was modified based on study by Jang et al. (2023)

3.2 적외선 변화

적외선 카메라로 측정된 온도 변화는 Fig. 2에 도시되었으며, 측정된 온도는 100×100 픽셀로 구성된 적외선 이미지 정 중앙의 온도 값을 활용하였다. Fig. 2에서 붉은색 점선은 실험이 진행되는 동안의 대기온도를 의미한다. Fig. 2(a), (b) 그리고 (c)의 초기 온도는 각각 43.7°C, 43.8°C 그리고 41.9°C로 관측되었다. 또한, 최저온도는 28.7°C, 29.6°C 그리고 29.8°C이며, 최대온도는 44.7°C, 45.9°C 그리고 43.6°C로 관측되었다. 최소 및 최대 온도의 온도 차이는 각각 16°C, 16.2°C 그리고 13.8°C로 계산되었고, 상부와 중부에 위치한 공동에서 측정된 온도차이가 상대적으로 크게 나타났다. 상부와 중부에 형성된 공동은 태양에너지의 전달이 용이하여 상대적으로 큰 온도 차이를 보인다. 비록 하부에서 계산된 온도 차이는 작지만, 적외선 특징으로 지반내부의 공동 특성이 유추가 가능함을 시사한다.

Fig. 2

Temperature distributions measured in field experiments according to time series. Temperatures measured by an infrared camera were recorded from 4 PM to 10 PM, and the air temperature on the day of the experiment was marked with a red dotted line. This figure was modified by Jang and Yoon (2024)

3.3 생성 RP 이미지

적외선 카메라를 활용하여 측정된 온도 데이터는 대기 온도에 따라 온도의 변화가 관측되었으나, 공동 위치에 따른 온도 특성의 변화를 분류하기에는 어려움이 따랐다. 따라서 적외선 이미지를 입력데이터로 활용하여 CNN 알고리즘으로 분류를 수행하고자 하였다. 측정된 적외선 이미지는 그 자체로 다수의 특징이 포함되어 있어 수치데이터로 변환 후 이를 시각화하는 방법이 필요하다. 해당 연구에서는 배경이론에서 설명한 recurrence plot 알고리즘을 적용하여 새로운 이미지를 생성하였다. RP 알고리즘을 적용하기 위해서는 100×100 행렬로 구성된 온도 데이터를 일렬화 하는 과정이 요구된다. Fig. 3은 수치 데이터를 이미지화 하는 4가지 방법을 보여주며, Fig. 3(a)는 100×100 픽셀에서 취득된 10,000개의 수치데이터를 순서대로 나열한 방법을 설명한다. Fig. 3(b)와 (c)는 Fig. 3(a)에서 일렬화 된 데이터를 빨간색 사각형으로 표시한 것처럼 각각 5개 및 10개씩 그룹으로 묶어 평균 값을 구하였고, 데이터 개수는 각각 2,000 및 1,000개로 재조정된다. 그리고 Fig. 3(d)는 열적 특성의 변화가 가장 뚜렷할 것으로 사료되는 50행의 100개 데이터를 활용하여 시각화 하였다. 해당 방법은 MATLB (2023b) 소프트웨어를 활용하여 진행되었다.

Fig. 3

Schematic diagram of RP image generation using four methods created from matrices: (a) Use all data; (b) Average data in sets of five; (c) Average data in sets of ten; (d) Middle data

Fig. 4는 Fig. 3의 설명과 같이 수치 데이터를 활용하여 변환된 4가지 방법의 이미지를 보여준다. 4가지 방법을 활용하여 변환된 RP 이미지는 각각 10,000×10,000, 2,000×2,000, 1,000×1,000 그리고 100×100 픽셀로 재 표현된다. Fig. 3의 설명과 같이 10,000개의 데이터를 활용한 Fig. 4(a)에서 5개 및 10개씩 그룹으로 묶어 평균 값으로 변환된 Fig. 4(b)와 Fig. 4(c)로 갈수록 우측상단 모서리와 좌측 하단 모서리의 색상이 녹색에서 밝은 녹색으로 표현된다. 또한, 열적 특성의 변화가 뚜렷할 것으로 사료되는 Fig. 4(d)는 Fig. 4(a), Fig. 4(b) 그리고 Fig. 4(c) 보다 어두운 파란색과 밝은 노란색까지 다양한 스펙트럼으로 표현되었다. 이는 시계열 데이터의 규칙적인 특성이 나타날수록 밝은 색으로 표현되고, 비 규칙 데이터는 어두운 색으로 표출되는 RP 알고리즘의 특성이 반영된 것으로 사료된다. 또한, RP 알고리즘은 시간 축을 따라 데이터 포인트를 비교하여 유사한 상태가 다시 나타날 때마다 점을 찍어 시각화 한다. 따라서 각 데이터 포인트는 자신과의 비교를 통해 대각선을 따라 대칭성을 가지며, 다른 모든 포인트 들과의 비교는 행렬의 상단과 하단을 중심으로 대칭적으로 배열된다.

Fig. 4

Examples of converted images through RP algorithm

4. 연구 결과

4가지 방법으로 생성된 RP 이미지에 CNN 알고리즘을 적용한 결과는 Fig. 4에 도시하였다. CNN 알고리즘은 ResNet 101 모델이 사용되었고, 훈련과 테스트의 비율은 일반적으로 사용되는 7:3으로 설정하였다. 반복횟수는 1000으로 설정하였고, 25회 마다 데이터 세트의 검증이 진행되었다.

RP 알고리즘 적용시 모든 데이터를 활용한 Fig. 5(a)의 초기 정확도는 71.1%로 나타났고, 5개씩 평균화 된 (b)는 33.3%, 10개씩 평균화 된 (c)는 42.2% 그리고 중심 값 만을 활용한 (d)는 11.1%로 나타났다. Fig. 5(a)는 초기 정확도 대비 반복횟수가 25회에서 정확도가 26.6%로 증가하며 신뢰도가 가파르게 상승 후 수렴하는 형태가 나타났고, (c)는 초기 정확도 값에서 반복횟수 100회까지 점진적으로 상승하다 수렴하는 형태로 나타났다. Fig. 5(b), (d)는 (a)와 유사하게 초기 정확도에서 반복횟수 25일 때 95.5%와 80%를 보여주며 각각 62.2% 및 37.8%가 증가하며 최종적으로 수렴하는 결과를 보여준다. Fig. 5(a), (b), (c) 그리고 (d)에서 평균 정확도는 97.6%, 93.6%, 95.7% 그리고 92.8%로 값이 나타났으며, 최종 정확도는 각각 100%, 95.5%, 97.7% 그리고 100%로 나타났다. Fig. 5(a), (b), (c) 그리고 (d)는 150, 225, 100, 400회에서 정확도가 100%를 보여, 모든 결과에서 정확도가 100서 나타나는 구간의 차이는 있었지만 반복 횟수가 증가함에 따라 정확도가 100%에 근접하는 결과가 나타났다. 또한, 초기 손실 값은 0.6, 1, 1.07 그리고 3.2로 나타났지만 반복 횟수가 증가함에 손실 값 역시 0에 수렴하는 결과가 나타났다.

Fig. 5

Results of accuracies achieved by the CNN: (a) Use all data; (b) Average data in sets of five; (c) Average data in sets of ten; (d) Midden data

5. 토 의

적외선 카메라를 활용하여 공동 위치에 따른 온도 변화는 대기온도와 공동 위치에 따라 변화가 관측되었지만, 공동의 위치에 따른 온도 변화를 관측하는 데에는 한계가 존재하였다. 이를 해석하기 위해 모든 픽셀 값에 온도 값을 내포하고 있는 수치 값을 추출하여 CNN 알고리즘을 적용하였다. Fig. 6은 시계열 이미지 입력데이터로 활용하여 CNN 알고리즘에 적용된 결과와 4가지 방법으로 변환된 RP 이미지를 CNN 알고리즘에 적용하였을 때의 평균 정확도 결과를 보여준다. 또한, 분류된 모델의 성능을 판별하기 위해 receiver operating characteristic(ROC) 곡선을 도출하였으며, 이를 통해 area under the ROC curve(AUC) 곡선의 결과를 각각 도시하였다.

Fig. 6

Comparisons of reliability through AUC and CNN results

적외선 카메라로 측정된 시계열 데이터의 평균 학습 정확도 및 AUC 값은 각각 73%와 0.81계산되었으며, RP 알고리즘을 활용한 4가지 방법의 정확도는 각각 99%, 97%, 98% 그리고 96%로 나타났다. 또한, AUC 값은 4가지 방법 순서대로 0.95, 0.96, 0.95 그리고 0.93로 나타났다. 시계열 데이터와 RP 이미지의 정확도 차이는 각각 26%, 24%, 25% 그리고 23%로 나타났고, 4가지 방법으로 전환된 이미지의 정확도는 모두 약 20% 이상의 우수한 신뢰성을 보여준다. AUC는 시계열 이미지 결과보다 RP 이미지의 경우 평균 적으로 0.13 높은 결과가 나타났다. 이는 시계열 이미지만을 활용하여 CNN에 적용된 결과보다 RP 알고리즘 적용 후 CNN 적용시 더 높은 신뢰도가 확보될 수 있음을 암시한다. 해당 논문에서는 위치에 따른 공동의 온도 데이터를 활용하여 CNN 모델에 적용하였지만, 향후 다양한 시간대에서 발현되는 온도 변화 및 공동 조건에 따른 정보를 도출하기 위한 추가 연구를 진행하고자 한다.

6. 결 론

해당 연구에서는 적외선 카메라를 이용하여 지반 내의 공동 위치에 따른 열적 특성 분석을 측정하였고, RP 알고리즘을 활용해 수치데이터를 이미지화 시킨 후 CNN 알고리즘을 적용하여 분류과정을 진행했다. 해당 논문의 상세한 결론은 다음과 같다.

(1) 시계열에 따른 온도분포는 공동의 위치와 대기온도 변화에 따라 다양한 경향을 보였지만, 공동의 위치에 따른 특징을 구별하기에는 한계를 보였다.

(2) 이를 해소하고자 적외선 이미지에서 수치 데이터를 획득하였고, 4가지 방법으로 RP 알고리즘을 적용하여 이미지로 변환하였다.

(3) 4가지 방법으로 도출된 이미지의 픽셀수는 각각 10,000×10,000, 2,000×2,000, 1,000×1,000 그리고 100×100이다. RP 알고리즘을 적용하였을 경우 기존의 시계열 이미지의 학습결과보다 약 20% 이상의 정확도가 상승하는 효과가 나타났으며, 이를 통해 제안한 방법의 신뢰성을 검증하였다.