1. 서 론

최근 기후 변화와 도시화의 가속화로 인해 지반 붕괴, 싱크홀 그리고 지하 공동과 같은 문제가 지속적으로 발생하고 있다. 이와 같은 문제를 해결하기 위해 다양Lee et al.(2016)한 방법들이 연구되고 있지만, 광역범위를 탐사하는 것에는 한계가 존재한다. 이러한 문제를 해결하기 위해 적외선 열화상 카메라를 드론에 부착하여 광역 탐지기반의 싱크홀 탐사 연구가 활발하게 진행되고 있다. Lee et al.(2016)은 드론 기반 원격 열화상 촬영 및 컴퓨터 비전 기법을 이용하여 대규모 지역에서 싱크홀 발생 조기 징후를 탐지하는 방법을 제안하였고, 열화상 패턴 기반으로 이상 지점을 효과적으로 식별할 수 있음을 시사했다. 또한, Sabato et al.(2022)은 무인항공기(UAS)와 적외선 열화상 이미지를 결합하여 도로 하부 공동 및 배수관 주변의 지반 공극을 비파괴적으로 감지하고자 하였고, 도로의 사용자에 구애받지 않고 적외선 이미지를 활용한 탐사 가능성을 제시하였다. 하지만 적외선 이미지는 많은 양의 데이터가 획득된다는 특징이 있어 다수의 데이터를 해석하기 위해 CNN을 활용한 분석 연구도 수행되고 있다. Vu et al.(2020)과 Fadaei et al.(2020)은 싱크홀을 탐지하기 위해 적외선 이미지를 활용하였고, 이미지 분류에 장점이 있는 CNN을 활용하여 싱크홀 위치를 탐사하는 방법을 제안했다.

이와같이 CNN은 많은 양의 이미지를 처리하는 데 매우 효과적인 알고리즘 모델로서 개발된 이후부터 수많은 구조가 제안되고 다양한 분야에 활용되어왔다. 그러나 네트워크의 깊이가 깊어질수록 학습이 어려워지는 기울기 소실 문제(gradient vanishing)가 발생하며, 이는 학습 성능 저하로 이어지는 주요 원인 중 하나로 알려져 있다. 이러한 문제를 해결하기 위해 ResNet(residual network) 모델이 제안되었고, Liang(2020)에서는 해당 구조가 잔차 연결(residual connection)을 통해 퇴화 문제(degradation problem)를 효과적으로 해결할 수 있음을 보여주었다. 또한 ResNet은 네트워크의 깊이를 증가시켜도 안정적인 학습이 가능하며, 복잡한 패턴을 효과적으로 학습할 수 있음을 시사하였다.

Lyu et al.(2020)은 자연적 및 인위적으로 발생 된 충격을 평가하기 위해 자연적 충격(예: 바람, 강우 등)과 인위적 충격(예: 충격, 미끄러짐 등)을 통해 획득된 데이터를 분류하기 위해서 시계열의 전반적인 패턴과 구조를 보존할 수 있는 장점이 있는 GAF 알고리즘을 적용하였다. Gramina Angular Field(GAF) 알고리즘을 통해 변환된 이미지는, CNN 모델 중 VGG-16, ResNet-50 그리고 inception v3에 적용 후 분류 정확도를 검증하였다. 분류 정확도는 평균 97.03%의 신뢰성을 보였으며, 추가적으로 GAN+CNN 기법과 EMD, 확률 기반 기법 그리고 복합 특성 기반 기법과의 신뢰성 비교를 통해 기존 방법보다 GAN+CNN 방법이 전반적으로 우수한 분류 성능을 증명하였다. 또한, Zhao et al.(2024)은 재료의 결함을 평가하기 위하여 측정된 파형을 이미지로 전환할 목적으로 GAF 알고리즘을 적용하였다. 해당 논문에서는 혼동 행렬을 통해 결함의 크기에 따라 4등급으로 구분해서 분류의 정확도를 검증하였으며, 평균 97%의 신뢰성을 보였다. 추가적으로 학습에 필요한 데이터를 확보하기 위해 이미지 대비 향상, 잡음 증가 그리고 잡음 흐림 처리기법 등을 알고리즘에 적용하였으며, 이를 통해 합리적으로 결과를 도출할 수 있는 방법을 제안하였다. 선행연구를 참고하여 본 연구에서는 CNN과 GAN의 장점을 접목하여 적외선 열화상 이미지를 활용한 이미지 분석을 수행하였고, 적외선 이미지를 통해 구축된 이미지를 기반으로 CNN 적용하여 분류를 수행하였다. 또한, 적외선 이미지에서 수치 데이터로 획득이 가능한 장점을 활용하여 GAF에 적용하여 공동 위치에 따른 정량적으로 변화를 분석하고 하였다.

해당 연구에서는 적외선 기법, GAF 알고리즘 그리고 CNN 알고리즘에 대한 배경 이론을 소개하였고, 공동 위치에 따른 열적 특성을 분석하기 위한 실험 방법도 설명하였다. 공동 위치에 따른 열적 특성 측정 결과를 도시하였고, GAF 알고리즘의 변환 방법 및 변환된 이미지를 소개하였다. 구축된 GAF 이미지를 CNN 알고리즘에 적용한 후, 최종적으로는 적외선 이미지와 GAF 이미지의 정확도를 비교하여 신뢰성을 검증하였다.

2. 배경이론

2.1 적외선 열화상 기법

적외선 열화상 기법은 전자기파 스펙트럼 중 적외선 영역(약 0.7~1000㎛)을 감지하여 이를 시각화하는 비접촉 온도 측정 방식이다. 적외선 파장은 인간의 눈에 보이지 않지만, 절대 영도(-273.15℃) 이상의 온도를 가진 모든 물체는 적외선을 방출하기 때문에, 이를 감지하면 물체의 표면 온도 분포를 영상으로 표현할 수 있다. 이러한 특성 덕분에 적외선 열화상 기술은 산업, 의학, 건설 및 지반공학 등 다양한 분야에서 널리 활용되고 있다.

열화상 원리는 대상체의 열적 특성이 재질, 두께 그리고 구조에 따라 달라지며, 이는 푸리에(Fourier)의 열전도 법칙으로 설명된다. Eq. (1)은 단위시간(Δt) 동안 온도 변화(ΔT)가 물체의 열전도율(k), 표면 면적(A) 그리고 열원(q)과의 관계에 따라 결정됨을 보여준다. 즉, 동일한 열원이 주어졌을 때 열전도율이 높은 재질일수록 열이 더 빠르게 확산되며, 표면 온도 변화가 달라지는 경향을 나타낸다.

적외선 열화상 기법은 열전도율, 두께 그리고 내부 구조에 따라 열적 거동이 달라지며 이는 푸리에의 열전도 법칙에 의해 이론적인 설명을 제공한다. Eq. (1)과 같이 단위시간(Δt) 당 온도 변화(ΔT)는 물체의 면적(A)와 열전도율(k)에 의존하며, 물체의 면적과 열원(q)이 일정할 경우 열전도율에 따라 온도가 변화된다.

본 연구에서는 FLIR 사의 고감도 열화상 카메라(E8-XT)를 활용하여 실험체의 표면 온도를 주기적으로 계측하였다. 본 연구에서 사용된 FLIR E8-XT 장비는 ±0.06°C의 열 해상도를 제공하며, 0.06°C 이하의 미세한 온도 차이도 감지할 수 있는 정밀한 측정이 가능하다. 이는 구조물의 표면 온도 분포를 정량적으로 분석하는 데 유리한 조건을 제공한다. 수집된 온도 정보는 RGB 이미지 형태로 저장되어, 시각적으로 명확한 비교 및 시간에 따른 열적 변화 분석에 효과적으로 활용된다. 이를 통해 구조물 내부 공동의 유무, 재료 특성에 따른 열전도 차이, 이상 부위의 열 이상 유무 등 다양한 조건에 따른 지반 및 구조물 표면의 열 분포를 정량적으로 평가할 수 있다.

2.2 Gramian Angular Field(GAF)

Gramian Angular Field(GAF)는 시계열 데이터 내 각 시점의 값을 서로 비교하여, 전체 데이터의 구조적 패턴과 상호관계를 시각적으로 해석할 수 있게 해주는 변환 기법으로 Eq. (2)와 같이 수식적으로 표현된다(Wang and Oates, 2015). 시계열 데이터의 반복적 특성을 파악하기 위해 각 시점(x_i, x_j)에서의 측정값을 바탕으로 유클리드 거리를 계산한 결과를 대칭적인 정사각형 행렬(R_i,j)에 할당할 수 있다. 이 행렬의 각 원소는 픽셀값으로 변환되어, 최종적으로 색상 정보를 가지는 이미지 형태로 시각화된다.

여기서, 헤비사이드 함수는 특정 임계값(ε)을 기준으로 값이 작으면 0, 크면 1로 구분해주는 특징이 있으며, 임계값을 의미하는 ε는 재위 점의 비율이며 일반적으로 1~5% 비율을 유지한다. 헤비사이드 함수는 시계열 데이터의 임계값 이상 또는 이하의 패턴을 이진화함으로써 주요 시점 간의 구조적 차이를 강조할 수 있는 장점이 있으며. 시각적 대비를 뚜렷하게 하여, 이상 징후 탐지나 분류 정확도 향상에 효과적으로 기여할 수 있다.

2.3 Convolutional Neural Network(CNN)

합성곱 신경망(convolutional neural network, CNN)은 이미지 데이터를 효과적으로 분석하고 분류하기 위한 딥러닝 기반의 대표적 알고리즘이다. 일반적으로 CNN은 Fig. 1과 같이 입력 데이터로부터 특징을 추출하는 단계(feature learning)와, 추출된 정보를 바탕으로 분류를 수행하는 단계(classification)로 구성된다. 특징 추출 단계에서는 컨볼루션 레이어와 풀링 레이어가 반복적으로 적용되어 데이터의 핵심 패턴을 학습하며, 활성화 함수로는 주로 ReLU 등이 활용된다. 분류 단계에서는 fully connected layer와 softmax layer를 통해 최종적으로 각 클래스에 대한 확률적 분류가 이루어진다.

Fig. 1

Schematic of converting captured images to numerical data, generating GAF images, and applying CNN

3. 데이터 획득

3.1 실험 조건

현장에서 지반 내부에 존재할 수 있는 다양한 이상구간이 지표면 온도와 적외선 열화상 이미지에 미치는 영향을 분석하기 위해, 실험 부지는 약 400cm × 50cm × 40cm(길이×폭×깊이)로 굴착한 뒤, 인위적으로 다양한 조건을 구현하였다. 공동은 Fig. 2(a)과 같이 PVC 파이프를 활용하여 깊이 0cm(상부), 13cm(중부) 그리고 25cm(하부)에 조성하였다. 도로와 유사한 조건을 조성하기 위해 두께 5cm의 콘크리트 블록을 활용하여 콘크리트의 열전도율(0.8W/mK)과 지반의 열전도율(1.8W/mK) 차이를 이용해 표면 온도 분포의 변화를 명확히 관찰할 수 있도록 하였다. 적외선 카메라는 Fig. 2(b)와 같이 콘크리트 블록 상부에서 1m 높이에 고정 설치하였으며, 0.06°C의 높은 온도 해상도와 초당 15프레임의 촬영 성능을 바탕으로 미세한 온도 변화를 정밀하게 기록하였다. Jang et al.(2023)에서 FLIR 열화상 카메라를 이용한 거리 변화 실험 결과, 측정 거리 1m는 평균 온도 오차가 0.57℃로 매우 미미한 수준이며, 거리 변화에 따른 온도 왜곡이 발생하지 않는 안정된 거리로 확인되었다. 이에 따라 본 실험에서도 해상도 및 온도 측정의 신뢰성 확보를 위해 1m 높이를 기준 거리로 설정하였다.

Fig. 2

Field survey (This figure was modified by Jang and Yoon (2023))

측정은 오후 4시부터 다음날 오후 12시까지 20시간 동안 연속적으로 진행되었으며, 태양열을 주요 열원으로 활용하여 온도의 하강 및 상승 변화를 추적하였다. FLIR Tools 소프트웨어를 이용해 1분 간격으로 공동의 위치에 따른 온도 이미지를 추출하였고, 결과적으로 총 1,000장의 열화상 이미지 데이터 세트를 구축하였다.

3.2 적외선 이미지

Fig. 3은 적외선 열화상 카메라를 통해 획득된 적외선 이미지를 도시하였다. 적외선 카메라는 온도 변화에 민감하게 반응하며, 적외선 카메라로 측정된 이미지는 픽셀로 표현되고 각각의 픽셀은 온도 값을 의미하며 이를 RGB로 온도가 표현된다. Fig. 3은 적외선 열화상 원본 이미지(Raw image)를 시간 및 위치(상부, 중부, 하부)에 따라 정렬하여 나타낸 것으로, 온도 변화의 시계열적 특성을 시각적으로 파악할 수 있다. 먼저 상부 행의 이미지를 살펴보면, 16시에서 다소 높은 온도 영역(적색 계열)이 나타나며, 다음날 12시에도 유사하게 나타나고 있어 표면 온도가 다시 상승하면서 유사한 열 분포 패턴을 보이는 것으로 해석된다. 또한 20시부터 다음날 04시 사이에는 온도가 점차 낮아져 이미지 전체가 청색 계열로 변화되며, 이는 일몰 이후 급격한 열 손실이 발생했음을 의미한다. 06시부터는 다시 온도가 상승하면서 녹색 계열의 색상에서 적색 계열로 변함을 알 수 있다. 중부 위치의 이미지는 상부와 유사한 온도 분포 추세를 따르지만, 표면보다는 더 안정된 열 분포 양상을 보인다. 특히 18시에서 다음날 06시에도 여전히 열 보유 현상이 상대적으로 강하게 나타나며, 이는 중부 위치가 지표면보다 열 변화에 둔감함을 시사한다. 08시~12시의 이미지는 상부보다 상대적으로 완만하게 고온 영역이 확산되며, 전반적으로 더 뚜렷한 열 분포 중심이 존재한다. 하부 위치는 가장 안정된 온도 분포를 보이는 구간으로, 16시와 12시에서 측정된 적외선 이미지는 다른 위치들과는 상이한 열 분포 양상을 보인다. 이는 열이 하부 위치까지 도달하는 시간이 지연되거나, 외부 환경 변화가 깊은 곳까지 영향을 주지 못했기 때문으로 분석된다. 특히 새벽 시간대와 오전 시간대에도 고온 중심이 명확하지 않고, 전반적으로 녹색~청색 계열이 우세하여 지중 하부의 열 변화가 상부보다 훨씬 느리게 진행되고 있음을 알 수 있다.

Fig. 3

Thermal image data measured by infrared camera and applying CNN

4. 연구 결과

4.1 적외선 이미지 기반 CNN 적용

본 연구에서는 ResNet-101 모델을 기반으로 시계열 적외선 데이터를 활용하여 지반 내부 공동 위치에 따른 열적 특성을 분석하였다. 학습 안정성과 깊은 네트워크 구조에서도 성능 저하가 적은 ResNet-101을 선택하였다. 적외선 이미지를 기반으로 CNN 알고리즘에 적용한 결과는 Fig. 4에 도시하였고, 적외선 이미지 분류를 수행하기 위해 학습과 검증의 비율은 7:3으로 각각 630장과 270장로 구성되며 총 1,000장의 이미지가 활용되었다.

모델의 성능을 최적화하기 위해 하이퍼파라미터에 격자 탐색 기법을 적용하였으며, 주요 하이퍼파라미터인 학습률, 배치 크기, 가중치 감쇠의 범위는 선행연구에서 제시된 값을 참고하여 설정하였다(Smith, 2017; Masters and Luschi, 2018; Loshchilov and Hutter, 2017). 또한, optimizer는 adam을 사용하였다(Kingma and Ba, 2014). 격자 탐색 결과 최적의 학습율은 0.0001, 배치 사이즈는 32, 가중치는 0.0001로 도출되었다. Fig. 4(a)는 적외선 이미지 기반으로 CNN을 학습한 결과로, 학습 정확도(training accuracy, T.A)와 검증 정확도(validation accuracy, V.A)의 변화를 도시하였다. Fig. 4(b)는 CNN 모델의 분류 성능을 평가하기 모델의 성능 평가를 위해 receiver operating characteristic(ROC) 곡선과 area under curve(AUC) 결과를 도시했다. 이는 클래스 간 불균형이 존재할 수 있는 문제를 보완하고 분류 신뢰도를 종합적으로 평가하기 위한 지표로 사용된다. 초기 분류 정확도 분석 결과, 공동 위치에 따라 다소 상이한 경향을 보였다. 상부, 중부 그리고 하부의 세 위치에서 모델이 학습 초기 단계에 기록한 정확도는 각각 62.1%, 52.4% 그리고 41.5%로 확인되었다. 상부 위치는 비교적 높은 초기 정확도를 보였으며, 이는 해당 위치의 온도 분포가 보다 뚜렷하게 나타나기 때문에 초기 학습에서 적외선 이미지의 특징을 잘 반영되었기 때문으로 고려된다. 중부 위치는 약 4% 증가하여 최종 정확도가 56.7%까지 상승하였다. 반면 하부 위치는 상대적으로 낮은 41.5%의 정확도를 기록하였는데, 이는 이미지 내 온도 변화가 불규칙하거나 신호 대 잡음비가 낮아 초기 학습에서 특징을 충분히 추출하지 못하였음을 의미한다. 상부 및 하부 위치는 각각 약 5%, 13%의 정확도 감소를 보이며 최종 정확도는 56.7% 및 28.5%로 나타났다. 특히 하부의 경우 큰 폭의 정확도 저하가 발생하였는데, 이와 같은 결과는 적외선 이미지의 특성이 모호하거나, 열적 변화가 명확히 드러나지 않아 CNN이 적외선 이미지의 특징을 분류하는데 한계가 발생되었음을 의미한다.

Fig. 4

CNN model training results based on raw data: (a) ResNet-101 results; (b) ROC curve results

분류 성능의 또 다른 평가 지표로 사용된 AUC는 상부, 중부 그리고 하부 위치에서 각각 0.29, 0.24, 0.37로 산출되었다. AUC 값이 0.5보다 모두 낮아 분류 결과의 신뢰성은 낮은 것으로 나타난다(Mandrekar, 2010). 이러한 적외선 이미지가 CNN 알고리즘에 적용하여 분류를 시도할 경우, 공동의 위치를 분류하는데 한계가 있음을 시사하였다.

5. 토 의

적외선 이미지를 CNN 알고리즘에 적용하였을 때 공동의 위치를 정확하게 판단하기에는 어려움이 나타났다. 해당 연구에서는 신뢰성을 향상하기 위해 앞서 설명된 것과 같이 GAF 알고리즘을 적용하여 새로운 이미지를 구축한 후 이를 기반으로 공동 위치에 따른 분류 성능을 재검토하였다.

5.1 GAF 이미지 생성

Fig. 5는 열화상 이미지를 활용하여 수식 (2)의 GAF 변환을 통해 새롭게 구축된 학습 이미지를 시간 및 위치에 따라 구분한 이미지이다. 색상은 국부적으로 다양한 변화를 살펴보기 위해 무지개 색 기반의 이미지로 구축하였고, 텍스처의 세부 표현을 강조하기 위해 rainbow 기반 색척도(color scale)를 적용하였다. 상부 이미지의 무지개 색 텍스쳐를 살펴보면 16시와 12시의 이미지의 색과 패턴은 거의 유사한 것을 알 수 있다. 이와 같은 이유는 해당 시간대에 유사한 온도가 표층에 가해져 형태가 비슷하게 보이는 것을 알 수 있다. 또한 온도가 식어가는 18시~22시와 온도가 상승하는 08시~10시는 유사한 텍스쳐를 보이며, 이는 온도의 특징이 다르지만 표면의 온도 값은 유사함을 보여준다. 하지만 02시~06시는 완전히 온도가 하강하고 새벽에 온도가 점차 증가하는 상태로 GAF 이미지가 서로 상이하게 나타난 것을 알 수 있다. 중부 및 하부 이미지는 상부의 이미지와 다르게 상세한 격자 형태를 보이는 이미지가 생성되었으며, 이는 상부의 온도가 지반 내부로 확산하는 경향이 각각 상이해서 해상도 차이가 있는 것으로 나타났다. 중부의 이미지 패턴은 상부의 이미지와 격자 개수만 차이가 있을 뿐 상부에서 관찰한 것과 동일한 시간대에서 거의 유사한 특징을 보인다. 하지만, 하부는 16시와 12시를 비교하면 상부와 중부의 경향과 달리 서로 상이한 이미지를 보이며, 이는 열원이 지반 내부에 침투하고 다시 외부 노출되는 현상에 차이가 발생해 각 시간대마다 상이한 GAF 이미지가 구축된 것으로 보인다.

Fig. 5

Image data converted using the GAF algorithm

5.2 GAF 이미지 기반 CNN 적용 결과

GAF를 활용하여 변환된 이미지를 기반으로 CNN에 적용한 분류 결과는 Fig. 6(a)에 도시하였다. 상부의 초기 정확도는 상대적으로 낮은 24.4%로 나타났지만, 학습이 진행됨에 따라 정확도가 가파르게 상승하여 91.2%에 수렴하였다. 중부 및 하부의 초기 정확도는 57.6% 및 68.1%로 나타났고, 최종 정확도는 각각 85.7% 그리고 88.7%로 나타났다. 상부, 중부 그리고 하부의 초기 정확도에서 최종 정확도의 상승률은 각각 66.8%, 28.1% 그리고 20.6%로 상부의 초기 정확도가 가장 낮게 나타났지만 최종 정확도에서 상대적으로 가장 높게 나타났다. 이와 같은 이유는 학습 초반에는 패턴 인식이 원활하지 않았지만, 학습이 진행됨에 따라 GAF 이미지의 특성이 효과적으로 학습에 반영되었음을 시사한다.

CNN의 분류 성능을 정량적으로 평가하기 위한 지표로 사용된 AUC의 결과는 Fig. 6(b)에 도시하였다. 상부, 중부 그리고 하부는 각각 0.92, 0.95 그리고 0.97로 나타났다. Mandrekar(2010)이 제시한 결과에 따르면 AUC 기준이 0.5 이상이면 우수한 분류 성능을 의미한다. 따라서, CNN 모델이 각 클래스에 대해 신뢰성 있는 분류를 수행하고 있음을 의미하며, 특히 중부 위치에서의 높은 AUC 값은 해당 위치에서의 분류 성능이 매우 우수하다는 것을 나타낸다. 또한 전체적으로 0.90 이상의 AUC 값이 나타났고, 이와 같은 결과는 GAF로 변환된 이미지가 CNN 학습에 효과적인 입력 형태임을 보여준다.

Fig. 6

CNN model training results based on GAF data: (a) ResNet-101 results; (b) ROC curve results

적외선 이미지 및 GAF 이미지를 CNN 알고리즘에 적용된 결과는 Fig. 7에 비교하였다. 상부의 정확도는 56.7%에서 91.2%로 34.5% 상승하였다. 중부는 56.7%에서 14.5% 증가한 85.7%, 그리고 하부의 경우 28.5%에서 88.7%로 60.2% 향상되어 나타났다. 또한, AUC는 적외선 이미지 기반 분류에서 상부, 중부 그리고 하부 위치가 각각 0.29, 0.24 그리고 0.37로 나타났으며, GAF 이미지 적용 후에는 각각 0.92, 0.99 그리고 0.97로 크게 향상되었다. 앞서 적외선 이미지와 CNN 모델을 적용하였을 때, Lyu et al.(2020)과 Zhao et al.(2024)의 분류 결과와 유사하게 평균적으로 약 88.5% 이상의 정확도와 0.95 이상의 우수한 AUC 결과가 나타났다.

Fig. 7

CNN application results based on raw data and GAF images

이와 같은 결과는 적외선 이미지를 단순히 CNN에 적용하는 것보다 GAF 알고리즘을 적용하는 방법이 신뢰성 향상을 위해 효과적인 접근 방법임을 시사한다.

6. 결 론

해당 연구에서는 적외선 기법을 활용하여 지반 내에 공동 위치에 따른 열적 특성을 측정하였고, 적외선 이미지에 GAF 알고리즘을 적용하여 분류를 진행했다. 해당 논문의 자세한 결론은 다음과 같다.

(1) 적외선 기법을 활용하여 시계열에 따른 온도 변화는 관측이 되었지만, 공동의 위치에 따른 열적 특성을 구별하기에는 한계를 보였다.

(2) 분류 정확도 및 신뢰성을 향상시키기 위해 적외선 이미지에서 획득된 수치데이터를 기반으로 GAF 알고리즘에 적용하여 새로운 이미지로 변환하였다.

(3) GAF 알고리즘을 적용한 이미지 기반 CNN 분석 결과, 적외선 이미지 기반 정확도 대비 평균적으로 정확도가 36% 향상되었으며, AUC 값 또한 평균 0.3 증가하여 신뢰성이 크게 향상됨을 확인하였다. 특히 상부, 중부 그리고 하부에서 각각 정확도는 34.5%, 29.0% 그리고 60.2% 상승하였으며, AUC는 각각 0.63, 0.75 그리고 0.60 증가하였다.