1. 서 론
2. 배경이론
2.1 Convolutional Neural Network(CNN)
2.2 적외선 카메라
3. 실험 방법
4. 실험 결과
4.1 이상구간 탐사 결과
5. 토 의
6. 결 론
1. 서 론
국내 상·하수도관의 노후화 및 극한 강우로 인하여 도로하부의 안정성 평가에 다각도로 관심이 높아지고 있으며, 도로하부의 상태를 평가하기 위해 시추 및 비파괴 탐사 방법 등의 다양한 기술들이 이용되고 있다. 다양한 기술 중 지표투과레이더(Ground Penetrating Rader: GPR)은 도로하부 상태를 평가하기 위해 활용도가 높으며, 해당 방법은 상대적으로 실험 방법이 간단하고 추가적인 굴착 등의 과정이 불필요한 장점이 있다. GPR을 이용한 대표적인 선행연구를 살표보면, Batayneh et al.(2002)는 이상구간이 발생할 수 있는 위치를 파악하기 위해 GPR을 활용하였으며, Kang et al.(2017)은 GPR 안테나 및 주파수에 따라 도로하부 이상구간 탐지 시 해상도를 분석하였다. 또한 Go and Lee(2021)은 지하공동 형상 및 심도에 적합한 주파수 대역을 제시하기 위한 연구도 수행하였다. 하지만, GPR 탐사는 이미지로 출력되는 결과를 분석하기에 많은 경험이 필요하고 지반 내부에 유체의 양에 따라 에너지 감쇠가 발생하는 한계가 있다. 또한 선행연구에서 제시하였듯이 이상구간 형상에 따라 적합한 주파수 대역을 찾아야 하므로 실험 진행을 위해 많은 고려사항이 필요한 특징이 있다. 이와 같이 기존의 문제를 해소하고자 직관적으로 내부 상태를 이해할 수 있는 전자기파 기반의 열화상 기법이 적용되고 있으며, 해당 연구에서는 열화상 기법에 초점을 맞춰 연구를 진행하였다.
포장층의 열적 특성으로 하부 구조의 상태를 평가하기 위해서는 지표, 지반 그리고 공극의 열전도도 관계가 중요하며, Cho et al.(2016)는 포장층 하부 이상구간 유무에 따라 온도 차이가 발생되는 매커니즘을 제시하였다. Kalhor et al.(2021)는 다양한 조건으로 구성된 이상구간에 적외선 에너지를 인위적인 열원으로 공급하여 이상구간 형태에 따른 결과를 도시하였으며, 결과를 기반으로 합리적인 분석 방법도 제시하였다. 또한 최근에는 포장층 탐지에 효율을 증대시키기 위하여 무인 항공기를 활용하고 있으며, Lee et al.(2016)과 Hoai et al.(2019)는 드론에 적외선 카메라를 장착하여 광역지역의 온도 변화를 모니터링 하고, 이미지 처리를 통해 지반함몰의 발생 위치를 제시하였다. 열화상 기법의 결과는 이미지로 출력되어 결과의 신뢰성을 향상시키기 위해서는 이미지 분석기법이 필수적으로 동반되어야 한다. 따라서 구조화된 이미지를 시각적으로 판단하기 보다는 새로운 솔루션이 필요하며, 이를 위해 기계학습 기반의 이미지 해석 방법이 시도 및 적용되고 있다. 해당 연구에서도 선행연구 동향에 맞춰 열화상 기법으로 측정한 이미지에 기계학습 중 이미지 분석에 특화된 convolution neural network(CNN) 알고리즘을 적용하여 분석의 신뢰도를 향상시키고자 하였다.
해당 연구에서는 열화상 측정 기법 및 CNN 알고리즘의 이론적 개념을 소개하였고, 서로 다른 매질에서 온도 분포를 측정하기 위한 실험 방법론에 대해서도 설명하였다. 매질의 특성에 따른 온도의 변화를 시계열에 따라 분석하였으며, 적외선 카메라로 측정된 이미지 데이터를 CNN 알고리즘 중 res net 101 및 squeeze net 네트워크를 통해 분류한 결과도 도시하였다. 최종적으로 열화상 이미지에 CNN 알고리즘을 적용하여 이상구간의 매질 특성에 따른 지반 분류 가능성을 제시하였다.
2. 배경이론
2.1 Convolutional Neural Network(CNN)
Convolution Neural Network(CNN)은 이미지의 패턴을 분석하고 이를 학습하여 해당 이미지의 특징을 분류하는데 특화된 알고리즘으로, 일반적으로 CNN 알고리즘 구조는 Fig. 1과 같이 크게 특징학습(feature learning) 및 분류(classification) 영역으로 구분된다. 특징학습 영역에서는 데이터의 특징을 추출하고 학습하는 단계로 이미지의 패턴을 분석하는 convolution layer(C) 및 데이터의 차원을 축소하고 양질의 특징만 반영할 수 있는 pooling layer(P)가 반복되는 형태로 구성된다. 또한 입력값의 특징을 효율적으로 수행하기 위해 activation function layer(Af)도 추가적으로 이용되며 activation function은 sigmoid, tanh 그리고 relu 등 다양한 함수로 구성된다. 해당 논문에서는 relu 함수가 사용되었으며 함수의 수학적 의미는 다음과 같다.
Fig. 1
Structures of applied CNN Algorithms: (a) Res Net 101; (b) Squeeze net. The C, N, Af and P denote convolution, normalization, activation function and pooling layers, respectively. The Ad, Cl, D, Dr and Sm mean addition, classification, depth concatenation, dropout and soft max layers, respectively
여기서, x는 입력 값을 의미한다. 만약 입력값이 0보다 작으면 함수 값은 0으로 수렴하고, 그보다 크면 입력 값이 그대로 사용된다. 분류(classification) 영역에서는 특징학습 영역에서 수행한 추출 데이터를 기반으로 fully connected layer(F)와 결합되며 이는 2D 혹은 3D의 다차원 입력 데이터를 1D로 배열해주는 특징이 있다. 또한 soft max layer(Sm)에서는 이미지를 확률적으로 분류하여 최종적으로 신경망 출력값의 분류를 진행하는 classification layer(Cl)가 구성된다.
CNN 알고리즘은 분류의 성능을 향상시키고자 다양한 네트워크(Network)가 개발되고 있으며, 해당 논문에서는 res net 101과 squeeze net 네트워크를 활용하였다. Res Net 101은 앞서 설명한 layer가 101개로 구성되어 있는 특징이 있으며 이전 layer와 직접 연결을 통해 구조를 단순화시키고 성능도 향상시킬 수 있는 장점이 있다. Res Net 101은 Fig. 1(a)의 feature learning과 같이 특징을 세밀하게 분석하기 위해 두가지 방식이 동시에 진행되며 convolution layer(C), normalization layer(N) 그리고 activation function layer(Af)가 반복되는 형태로 구성되어 있다. 여기서 normalization layer는 입력데이터를 정규화 시켜 각 데이터간의 편향성을 제거하는 역할을 한다. 두가지 방식으로 학습된 입력 데이터는 addition layer(Ad)를 통해 합산을 수행하며, 이를 통해 상호작용 강화 보완으로 최적화된 결과값을 제공한다. Squeeze Net은 기존의 CNN 네트워크에서 컨볼루션의 차원을 축소하여 모델의 파라미터 수를 최소화하기 위해 제안되었다. Squeeze Net은 Fig. 1(b)와 같으며 각 layer는 res net 101과 동일하게 두가지 방식으로 학습을 하지만, 학습된 데이터를 합쳐주는 별도의 addition layer는 없다. 이와 같은 이유는 squeeze net이 파라미터를 최소화하기 위하여 고안된 네트워크이므로 추가적인 layer는 고려하지 않은 것으로 판단된다. 대신 여러 개의 입력 값을 결합하여 각 특징이 동시에 활용될 수 있도록 하는 depth concatenation layer(D)을 사용하여 네트워크의 성능을 향상시켰으며, 신경망에서 변수의 과적합을 방지하기 위해서 dropout layer(Dr)도 활용된다.
2.2 적외선 카메라
적외선 카메라는 전자기파의 영역(10-5nm~100km) 중 적외선 영역인 700nm~1nm 영역을 시각적으로 확인할 수 있도록 변환시켜주는 계측 장비이다. 적외선은 모든 물체에서 방출되나 사람의 눈으로 확인이 어려운 한계가 있다. 하지만 적외선은 가시광선과 달리 연기, 장애물 등 전파 시 감쇄되는 영향이 작아 산업체, 군용 그리고 의료분야 등 다양한 분야에 사용된다. 지반 공학적인 측면에서 열화상 기법은 구조물 표면의 온도 상태를 유추하고 이를 통해 하부 구조의 특징을 이해하는데 활용되고 있다(Frodella et al., 2020; Cheng et al., 2022). 해당 연구에서도 선행 연구를 참조하여 공동 유무 및 공동내부 매질 조건에 따라 표면에서 방출되는 열적 특성을 파악하고자 하였다. 해당 연구에서는 FLIR사에서 제작된 고성능 적외선 카메라인 E8-XT 모델을 사용하였고 0.06°C의 감도를 가지고 있어 대상 매질의 세밀한 온도 변화 특성을 관찰할 수 있다. FLIR tool은 측정된 열적 특성을 RGB 기반의 색상 이미지로 가시화시킬 수 있는 프로그램이며, 최소 1초 단위로 시계열 분석을 수행할 수 있다.
3. 실험 방법
현장 실험은 경기도 연천에 위치한 한국건설기술연구원 SOC 센터에서 진행되었으며 원지반을 굴착 후 지반 내부의 이상구간을 모사하였다. 이상구간의 크기는 Fig. 2와 같이 가로, 세로 및 깊이가 모두 50cm인 정육면체 형태로 설정하였으며, 이상구간 내부의 매질은 물(열전도도: 0.492W/mK)와 공기(열전도도: 0.1047W/mK)로 결정하였다. 물은 살수차를 동원해서 충진 하였으며, 외부 지반으로 흡수되는 것을 방지하기 위해 원지반과 공동 사이에는 방수포를 설치하였다. 또한 이상구간이 있는 지역에서 측정한 실험 데이터와 비교를 위하여 공동이 없는 원 지반(열전도도: 1.6~2.1W/mK)도 대상 부지로 설정하였다. 즉 실험 부지는 원 지반 내 공동(물), 원 지반 내 공동(공기) 그리고 원 지반으로 총 3가지 조건으로 구성된다. 실험부지의 상부는 포장층을 모사하기 위해 콘크리트 블록을 설치하였으며, 콘크리트 블록의 열전도도가 1.4~3.86W/mK이므로 지반, 공기 및 물과 열적 특성이 상이하여 원활한 특징 추출이 가능하다고 판단하였다. 포장층과 열화상 카메라 간의 거리는 1m로 고정하여 시계열에 따른 온도변화를 적외선 카메라로 측정하였다. 이상구간 조건에 따른 온도변화 특성을 세밀하게 관찰하기 위해 이상구간을 포함하는 25cm 크기의 정사각형으로 데이터 추출 면적을 설정하였다. 대상 면적은 100×100 픽셀 수를 가지고 있고 1개의 픽셀은 약 2.5mm 크기이므로 세밀한 온도 변화 관측이 가능하다. 측정시간은 오후 4시부터 다음날 오후 3시까지 총 23시간 동안 지속하였고, 대기온도 변화에 따른 콘크리트 포장층의 온도가 지반 내부 조건에 따라 변화하는 특성을 관찰하였다.
4. 실험 결과
4.1 이상구간 탐사 결과
적외선 카메라로 측정한 열화상 이미지는 FLIR tool 프로그램을 통해 추출하였고, 오후 04시부터 오전 08시 30분까지 30분 간격으로 Fig. 3에 도시하였다. 측정된 이미지는 오후 04시에서 00시로 갈수록 높은 온도를 의미하는 붉은 계열의 색상에서 점차 낮은 온도를 의미하는 파랑 계열로 변화하였고 변화량은 평균적으로 약 10~20°C로 나타났다. 오전 00시부터 08시의 온도분포는 파랑 계열에서 온도가 높아지는 녹색계열의 색으로 점차 변화하였고, 평균 변화량은 이전보다 낮은 약 5~10°C로 나타났다. 이는 시간경과에 따라 대기온도가 낮에서 밤으로 밤에서 낮으로 변화하여 이의 특성이 적외선 카메라에 반영된 것을 의미한다. 또한 상대적으로 냉각되는 조건에서 온도 변화가 많이 발생한것도 관찰된다. 원지반과 공동 내부에 물과 공기로 채워진 이미지는 각각 온도의 편차는 있지만 대체적으로 대기온도를 반영하여 온도가 증가 및 감소하는 거동을 보여준다.
Fig. 4는 Fig. 3의 이미지 중 가장 변화폭이 큰 중심부에 초점을 맞춰 시간 경과에 따른 온도 값을 정량적으로 도출한 결과이다. 측정된 온도는 0~50분에서는 물, 공기 그리고 원지반의 온도가 모두 상승되는 결과가 나타났고, 50~90분에서는 원 지반 및 공동조건에서 온도가 유사하게 감소하는 형태가 나타났다. 90~600분에서는 원 지반에서 측정된 온도가 높게 나타났다. 이후 600분 이후는 각각 이상구간의 변화가 유사한 형태로 나타났으며, 900분이 경과한 이후는 온도가 상승하는 결과가 나타났다. 하지만 1000~1100분에서 온도가 낮아지는 형태가 나타나는데 이와 같은 결과는 원지반의 열전도도가 상부의 콘크리트 층과 유사하여 지반 내부에 있는 잠열이 대기온도가 낮은 오후에 상부에 전달되어 상대적으로 높은 온도가 나타난 것으로 사료된다. 하지만 온도가 상승하는 오전 조건인 약 600분 이후부터는 잠열의 영향없이 모든 조건에서 유사하게 온도가 증가하는 거동을 보인다. 물, 공기 그리고 원 지반의 최대온도는 50°C, 49°C 그리고 46°C로 나타났고, 최저온도는 16°C, 15°C 그리고 18°C로 나타났다. 물, 공기 그리고 원지반에 대한 최대 및 최저 온도차이는 각각 34.4°C, 28.6°C 그리고 34.8°C로 나타났으며, 각 조건의 온도차이는 최저 및 최대가 각각 3°C 및 4°C 수준이라 단순히 온도 분포만을 가지고 이상구간의 유무와 매질을 구분하는데 한계가 있다. 이를 해소하고자 해당논문에서는 이미지 분석기법인 CNN 알고리즘을 적용하였으며 관련된 내용은 토의 부분에 구체적으로 설명하였다.
5. 토 의
시계열에 따른 온도분포는 대기온도에 따라 감소 및 증가하는 경향을 보이나 물, 공기 그리고 원 지반 각각의 특징을 구별하기에는 한계가 있다. 이를 보완하고자 res net 101 및 squeeze net 네트워크를 활용하여 이미지 분석을 시도하였다. Fig. 5는 res net 101 및 squeeze net 네트워크에 대한 training과 validation의 결과를 도시하였다. Training은 이미지 데이터의 특징을 추출하여 학습하는 역할을 수행하며, validation은 training에서 학습된 데이터의 학습이 정확이 이뤄졌는지에 대한 검증을 하는 역할을 수행한다. Training과 validation의 데이터 개수는 7 : 3의 비율로 구성된다. Training 및 validation 네트워크는 accuracy와 loss로 표현되며, accuracy와 loss는 학습 결과와 실제값을 계산한 정확도와 오차를 의미한다. Training과 validation의 초기 값은 네트워크가 학습을 시작하는 지점부터 정확도 및 손실 값을 의미하며, 빠른 학습과 효과적으로 학습할 수 있는지에 영향을 나타낸다. 최적의 이미지 분석을 진행하기 위해 hyperparameter를 설정하였으며 두가지 네트워크에서 공통적으로 이용되는 convolution과 normalization layers에서 필터의 크기를 3×3 및 1×1 방법을 적용하였다. Convolution의 연산에 사용되며 입력데이터의 크기를 조정하는 역할을 하는 padding 값은 0 및 1로 조성하여 네트워크에 적절하게 적용하였다. 또한, 신뢰성 높은 훈련을 진행하기 위해서는 적절한 배치사이즈를 선택하는 것이 중요하며(Lin, 2022), 이를 위해 배치사이즈는 90을 적용하였다.
Res Net 101과 squeeze net 네트워크의 training accuracy는 초기에 각각 40% 및 33%로 나타났으며, 최대값은 91.4% 및 83.3%로 나타나 학습이 우수하게 수행된 것을 알수있다. Training loss의 경우 초기값은 각각 2.4 및 1.2이며 최소값은 0.1 및 0.2로 나타났다. Validation accuracy의 최대값은 각각 58.3% 및 60.2%로 나타났고, validation loss의 최소값은 2.1 및 2.6으로 나타났다. Validation accuracy의 최종값은 res net 101에서 57.0%로 나타났고, validation loss는 2.7로 나타났다. Validation accuracy와 validation loss의 결과를 살펴보면, res net 101이 squeeze net 네트워크보다 상대적으로 우수한 결과를 보이는 것으로 나타났다. 이와 같은 결과는 Bianco et al.(2018)의 연구 결과에서도 지적하였듯이 squeeze net 네트워크가 처리할 수 있는 신경망의 깊이에 한계가 있어 정확도의 차이가 발생한 것으로 사료된다. 즉 res net 101 네트워크는 특징 추출 역할을 수행하는 addition layer을 통해 상호작용을 강화하고 최적화된 결과값을 제공하여 상대적으로 우수한 신뢰도를 보인것으로 판단된다.
해당 논문에서 사용한 네트워크의 분류 성능을 재확인하기 위하여 training 및 validation 과정에 사용하지 않은 3가지 조건(물, 공기, 원 지반)에서 이미지를 각각 10장씩 추출하였다. 앞서 설명한 hyperparameter를 그대로 적용하였으며, 분류의 결과는 Fig. 6에 도시하였다. Res net 101 네트워크는 물, 공기, 그리고 원 지반에서 각각 7장 5장 그리고 8장의 이미지를 정확하게 분류하는 것으로 나타났다. 하지만 squeeze net 네트워크는 물, 공기, 그리고 원지반의 입력 이미지 10장 중 신뢰성 있게 분류된 이미지는 각각 6장, 3장 그리고 7장으로 나타나 상대적으로 낮은 정확도를 보인다. 이와 같은 결과는 validation accuracy에서 관찰한 내용과 동일한 거동을 보여주며, 이미지 분석 시 신뢰도 향상을 위해 단일 네트워크를 선정하기보다 복수의 네트워크 활용이 추천된다.
6. 결 론
본 연구에서는 적외선 카메라를 이용하여 원 지반 내 물, 원 지반 내 공기 그리고 원 지반의 온도 분포를 시계열에 따라 측정하였으며 CNN 알고리즘을 이용하여 매질 특성에 따른 온도 변화 결과를 분석하였다. 해당 논문의 상세한 결론은 다음과 같다.
(1) 시계열에 따른 온도분포는 대기온도에 따라 감소 및 증가하는 경향을 보이나 원 지반내 물, 원 지반 내 공기 그리고 원 지반 각각의 특징을 구별하기에는 한계를 보였다.
(2) 적외선 이미지를 활용한 CNN 알고리즘 중 res net 101 및 squeeze net 네트워크를 활용하여 이미지 분석을 시도하였고, 상대적으로 res net 101이 신뢰성 높은 결과를 보였다.
(3) 해당 논문에서는 CNN 알고리즘을 활용하여 이상구간의 특성을 분류할 수 있는 가능성을 보여주며 지반 내부 이상구간의 열적 특성 변화 및 해석 방안을 도출하기 위해 추가적인 연구를 진행하고자 한다.
