1. 서 론
2. 배경이론
2.1 최적화 알고리즘(Optimization algorithm)
2.2 Levenberg-Marquardt(LM)
2.3 Bayesian regularization(BR)
3. 인공신경망 적용
3.1 지반 물성치 구성
3.2 인공신경망 설계
4. 인공신경망 적용 결과
4.1 손실 함수 결과
4.2 정확도 결과
5. 고 찰
6. 결 론
1. 서 론
지반 설계 상수는 구조물 및 지하 시설물 건설에 중요한 인자이다. 지반 설계 상수는 정적 지반 물성치와 동적 지반 물성치로 구분할 수 있으며 동적 물성치는 동적인 힘에 대한 물성치로 지진 및 동적 움직임에 대한 안전성을 위해 필요하다. 국내 빈번한 지진 활동으로 인해 내진 설계의 중요성이 높아지며 내진설계에 필수적인 설계 값이 동적 지반 물성치이다(Jafari et al., 2002; Michel et al., 2010; Rainieri et al., 2010). 하지만 동적 지반 물성치는 정적 물성치에 비해 측정이 어려우며 고가의 장비가 필요시 된다. 또한, 동적 지반 특성 측정에 사용되는 장비와 기술은 한계를 가질 수 있으며, 특정 상황에서 정확한 결과를 획득하는 것에 어려움이 있다(Menq, 2003; Cho et al., 2016; Go and Lee, 2021).
최근에는 인공신경망의 발달로 인해 지반 물성치를 예측하기 위해 인공신경망을 이용한 연구가 활발히 진행되고 있다. Chang and Islam(2000)은 센싱 기술을 이용한 지반 물성치 표본 자료를 기반으로 인공신경망을 통한 지반 물성치를 예측하고 생성하였다. Ng et al.(2019)는 이미지 인공신경망 기술을 통하여 지반 물성치를 분류하고 예측하였다. Hateffard et al.(2019)은 결정 트리 인공신경망을 통해 지반 물성치의 특성에 따라 분류하는 알고리즘을 구축하고 새로운 분류 모델을 일반화 시킨 모델을 제시하였다. 해당 연구들은 지반 물성치에 대한 예측 보다 분류에 초점을 두고 있으며 정략적 수치를 제시할 수 있는 예측 모델에 대한 제시가 없다. 또한, 정량적 수치를 예측하는 모델을 제시하여도 다양한 종류의 최적화 기법에 대한 적용과 비교가 없어 예측 모델의 정확도 향상에 대한 문제가 있다(Jang et al., 2023).
본 연구에서는 표본자료 구축이 용이한 정적 지반 물성치를 기반으로 측정하기 어려운 동적 지반 물성치를 예측하기 위해 인공신경망을 사용하였다. 또한, 인공신경망의 역전파에서 핵심 구성인 최적화 기법에 대해 일반적인 알고리즘과 성능이 개선된 알고리즘을 적용하여 비교를 통해 정확도를 향상시키는 구성을 제시하였다. 인공신경망에서는 하이퍼파라미터의 조정을 통한 정확도를 향상시키며 동적 지반 물성치 예측에 적합한 하이퍼파라미터 입력값을 제시하고 신뢰성을 검증하였다. 해당 내용을 포함한 논문의 구성은 최적화 알고리즘에 대한 이론적 설명과 종류에 대해 설명하며 표본 데이터 구축, 인공신경망 설계, 결과 그리고 일반화를 위한 내용으로 구성된다.
2. 배경이론
2.1 최적화 알고리즘(Optimization algorithm)
딥러닝에서 최적화 알고리즘은 핵심 알고리즘인 역전파(back propagation)에서 가중치(weight)와 편향(bias)의 업데이트를 위해 수행되는 필수 알고리즘이다. Fig. 1(a)는 전체적인 딥러닝의 구조를 단순화한 흐름을 나타낸다. 순전파는 입력층(input layer), 은닉층(hidden layer) 그리고 출력층(output layer)의 흐름을 가지며 역전파는 순전파에서 도출된 결과값을 검증하기 위한 손실 함수(loss function)를 통해 오류값이 도출된다(Hecht, 1992; Rojas, 1996). 오류 값은 Fig. 1(b)와 같이 반복 학습에 따른 오류 값 그래프를 도시하였으며 역전파에 의해 업데이트된 가중치와 가중치에 따른 업데이트된 오류 값이 감소하는 방향으로 찾아가는 것이 최적화 알고리즘이다(Yu et al., 1995; Zhang et al., 2007). 최적화 알고리즘은 초기 학습 값(initial learning rate)에서 최소 오류 값을 가지는 학습 횟수까지 반복한다. 최종적으로는 Fig. 1(c)와 같이 반복 학습에 따른 오류 값을 나타내는 성능 그래프를 도출한다. 최적화 알고리즘은 여러 종류가 있으며 기본 경사하강법(gradient decent)에서 발전된 levenberg-marquardt(LM)과 bayesian regularization(BR)이 있다. LM과 BR에 대한 이론적 설명은 다음과 같다.
2.2 Levenberg-Marquardt(LM)
Levenberg-Marquardt 알고리즘은 비선형 최소화 문제와 인공신경망 최적화 기법 중 하나이다. LM은 경사하강법(gradient method)과 가우스-뉴턴법(gauss-newton’s method)을 결합한 방법으로 두 알고리즘의 장점을 이용한 최적화 방법이다(Roweis, 1996; Ranganathan, 2004; Sapna and Kumar, 2012). 원리는 최소 오류 값과 초기 오류 값의 위치가 멀 때는 경사하강법을 사용하지만, 최소값 근처에서는 가우스-뉴턴법을 사용하며 학습 단계(learning rate)를 조절한다. 두 알고리즘의 장점을 결합하여 가장 보편적으로 사용되며 비선형(non-linear) 문제에 적합하여 딥러닝의 오버피팅(overfitting)으로 인한 예측 신뢰도 감소를 향상시켜준다. 구체적인 수식은 다음과 같습니다.
수식 (1)에서 ∇2f(xn)항에 λI을 추가하여 오버피팅의 확률을 낮추고 안정적인 해를 찾아가는 구조이다. λ은 학습 값을 의미하며, 0에 근접한 값일 경우 가우스-뉴턴 형태로 구동이 되며 무한대 (∞)에 근접할수록 세밀한 학습율을 가지는 경사하강법을 작용하는 방식이다. 따라서, LM 최적화 알고리즘은 경사하강법 보다 해를 찾는 경과 시간이 빠르며 가우스-뉴턴 방법 보다 오버피팅 될 확률이 낮아진다.
2.3 Bayesian regularization(BR)
Bayesian regularization 알고리즘은 베이지안 통계학의 원리를 활용하여 최적화 모델의 가중치나 매개변수를 조절하는 방법으로 사전확률 밀도함수 및 분포를 설정하여 이용한다(Burden and Winkler 2009; Wail and Tyagi, 2020). BR은 가중치(w), 데이터 집합(D), 함수 매개변수(α, β), 특정 모델(M)과 함께 확률 밀도 함수로 수학적으로 표현되며 수식 (2)와 같다.
여기서, P(D|w, β, M)는 가능성 함수가 가정하는 가중치가 나타날 가능성을 나타내며, P(w|α, M)는 이전 단계의 가중치를 나타내는 사전 밀도를 의미한다. P(D|α, β, M)은 정규화 요소로 발생 확률의 총합은 최종적으로 1이 된다. 각 확률은 최대 사후 확률을 기반으로 가우시안 잡음과 가중치를 통해 제곱 오차(ED)의 합으로 자세히 나타낼 수 있다.
3. 인공신경망 적용
3.1 지반 물성치 구성
본 연구에서는 지반 물성치 DB를 구축하기 위해 국내 6개 지역에서의 지반 보고서를 기반으로 26개 시추공 데이터에서 깊이 별 정적 및 동적 물성치를 획득하였다. 해당 지반 보고서 지역은 일반적인 국내 지표 특성을 가지고 있으며 최대 시추 깊이 20m로 동일하다. 지반 물성치는 심도 1m 깊이에 해당하는 데이터를 획득하였으며 총 데이터 개수 127개의 표본자료를 구축하였다. 해당 표본자료는 인공신경망에서 입력 값과 출력 값으로 사용된다. 정적 지반 물성치는 점착력(soil cohesion), 내부마찰각(friction angle), 함수비(water content), 비중(specific gravity) 그리고 일축압축강도(compressive strength)를 획득하였고, 동적 지반 물성치는 압축파 속도와 전단파 속도를 획득하였다. 각 지반 물성치에 대한 통계 정보는 Table 1과 같으며 평균값은 점착력, 내부마찰각, 함수비, 비중, 입축압축강도, 압축파속도, 전단파속도 순으로 각각 23.16, 39.52 15.32, 2.67, 48.90, 1126.10 그리고 562.91로 나타났으며 일반적인 지반이 가지는 평균값 범위에 해당하였다(Kalantari et al., 2023). 정적 지반 물성치는 딥러닝에서 입력 값으로 사용되며 동적 지반 물성치는 출력 값으로 사용된다. Fig. 2(a)는 압축파 속도에 대한 각 정적 지반 물성치의 산점도를 나타내며 압축파 속도는 287~2402m/s 범위를 가진다. 점착력, 내부마찰각, 함수비, 비중 그리고 일축압축강도는 각각 1.76~36%, 29.6~59.3°, 6.5~75.1%, 2.6~2.9 그리고 8.6~207.9MPa 범위를 가진다. Fig. 2(b)는 전단파 속도에 대한 각 정적 지반 물성치 산점도를 나타내며 전단파는 최소 111m/s에서 최대 1249m/s의 속도 범위를 가진다. 해당 지반 물성치 DB는 딥러닝에서 입력 값과 출력 값으로 각각 입력층(input layer)과 출력층(output)으로 구성된다.
Table 1.
Statistical information for each soil parameter
3.2 인공신경망 설계
인공신경망은 순전파와 역전파로 구성된 연산 모델의 반복 학습으로 예측 정확도를 높이는 구성으로 이루어지며 은닉층(hidden layer)과 은닉층을 구성하는 노드(node)가 가중치(weight)와 편향(bias)를 결정하는 구조이다. 인공신경망은 각 층을 구성하는 노드에서 데이터 특성에 따라 최적의 값이 달라지는 하이퍼파라미터(hyperparameter) 조정을 통해 예측 정확도를 향상시킨다. 본 연구에서는 각 층의 구성, 하이퍼파라미터 그리고 역전파의 최적화 알고리즘 흐름에 대해 Fig. 3과 같이 구성하였다.
입력층은 구축한 정적 지반 물성치 DB를 기반으로 5개 인자(점착력, 내부마찰각, 함수비, 비중 그리고 일축압축강도)에 대한 각 127개 데이터를 입력 값으로 사용하였다. 입력층은 반복 학습을 통한 데이터의 검증과 테스트를 위해 데이터 세트(data set)가 구성된다. 학습(training) 세트는 반복 학습을 위한 데이터이며 검증(validation) 및 테스트(test) 세트의 데이터는 학습을 통해 도출된 예측 값의 검증과 손실값 감소에 사용된다. 본 연구에서는 일반적으로 예측 정확도에 가장 높은 신뢰도를 보이는 보편적인 비율인 70: 15: 15(training: validation: test)로 구성하였다.
은닉층은 가중치와 편향을 결정하는 역활로서 1개 층의 은닉층을 설정하였으며 입력 데이터의 규모가 작고 학습 속도를 고려하여 1개층만으로 구동하였다. 1개의 은닉층을 가지는 인공신경망을 얕은 인공신경망이라 하며 데이터 수가 많지 않는 해당 연구 특성상 1개 은닉층에 여러 노드 수만으로도 충분한 예측이 가능하다. 노드 수는 1개 은닉층에 적합한 10개로 설정하였다(Gu et al., 2018). 각 노드는 활성 함수(active function)로 구성되며 활성 함수 모델은 비선형 함수인 Relu 함수를 사용하였다.
출력층은 예측 데이터의 형태를 결정하는 함수를 결정하는 층으로서 본 연구는 정략적이 수치 데이터를 예측하는 회귀 모델로 선형 함수를 사용하였다. 출력 값은 지반 동적 물성치 압축파와 전단파 속도 127개 데이터를 사용하였다.
역전파는 검증, 손실함수(loss function) 연산 그리고 최적화 알고리즘으로 구성된다. 검증 방법은 데이터 세트 구성에 따라 검증하는 방법인 홀드아웃(holdout) 방법을 사용하였으며 손실 함수는 평균제곱오차(MSE)를 사용하였다. 최적화 알고리즘은 역전파에서 최소 해를 구하는 중요한 알고리즘으로서 정확도 향상을 위해 일반적으로 사용하는 Levenberg-marquardt(LM)과 효율적인 구동 방식을 가지는 Bayesian regularization(BR)을 사용하여 비교하였다. 반복학습 횟수는 데이터 규모를 고려하여 100 epoch로 설정하였다.
4. 인공신경망 적용 결과
적용 결과는 인공신경망 설계도와 같이 정적 지반 물성치를 입력 값으로 동적 물성치 값인 압축파와 전단파 속도를 예측한 결과를 설명한다. 이는 인공신경망 성능 검증과 예측 정확도에 대한 결과로서 손실 함수 그래프와 결정계수 형태로 도시하였다.
4.1 손실 함수 결과
손실함수 결과는 Fig. 4와 같으며 반복학습에 따른 손실 값(MSE)를 나타낸다. Fig. 4(a), (b)는 LM 알고리즘 기반 압축파, 전단파 속도 예측 손실 그래프이며 Fig. 4(c), (d)는 BR 알고리즘 기반 손실 그래프이다. LM 알고리즘 기반의 압축파와 전단파 MSE 값은 각각 0.0040473, 0.0002426으로 나타났으며, epoch 50과 55에서 가장 낮은 MSE 값을 보였다. BR 알고리즘 기반 MSE 값은 압축파 속도가 0.0000007455, 전단파 속도가 0.0001458로 나타났으며 각각 10과 30의 반복 횟수에서 가장 낮은 값을 보였다. 손실 함수 그래프 비교 결과 BR 알고리즘이 LM 알고리즘보다 MSE 값이 0.0000968~0.004047 낮게 나타났으며 반복횟수도 25~40 회 낮게 도출되었다. 손실함수 그래프는 알고리즘의 성능을 나타내는 지표로서 손실 값이 현저히 낮으며 상대적으로 작은 학습 횟수로 인해 효율적인 알고리즘은 BR 알고리즘으로 나타났다.
4.2 정확도 결과
결정계수(R2)는 예측 정확도를 나타내는 지표로 Fig. 5, 6과 같이 도출되었다. Fig. 5는 압축파 속도를 예측한 결과로 Fig. 5(a), (b)는 LM 알고리즘 기반의 학습과 검증 결과이다. Fig. 5(a), (b)는 각각 학습과 검증에 대한 결정계수 결과로 결정계수가 1에 근접할수록 예측 정확도가 높은 것을 의미하며 학습 0.999, 검증 0.929로 도출되었다. 학습 결정계수는 학습을 위해 전체 데이터 중 70%를 이용한 결과로서 검증보다 높은 경향을 보였다. 검증은 학습에 이용되지 않은 나머지 데이터 30% 이용하기 때문에 학습 결정계수보다 0.07 낮게 나타났다. Fig. 5(c), (d)는 BR 알고리즘 기반의 결과이며 학습과 검증에 대한 결정계수가 0.999로 동일하게 도출되었다. 검증에 대한 결정계수는 새로운 데이터에 대한 정확도로서 실제 알고리즘의 정확도를 확인할 수 있는 값으로 검증 결정계수에 대한 LM과 BR 알고리즘을 비교하였다. BR 알고리즘의 결정계수는 LM 알고리즘 결정계수보다 0.07 높게 나타나 정확도가 더 높은 것을 확인했다. BR 알고리즘은 최소 손실율을 찾기 위해 효율적인 연산 구동을 수행하며 최소 손실율에 해당하는 가중치를 효율적으로 찾아 정확도가 더 높게 나타난 것으로 판단된다.
Fig. 6은 전단파 속도를 예측한 결과로 Fig. 6(a), (b)는 LM 알고리즘 기반의 학습과 검증 결과이다. Fig. 6(a), (b)는 각각 학습과 검증에 대한 결정계수 결과로 학습 0.999, 검증 0.989로 도출되었다. Fig. 6(c), (d)는 BR 알고리즘 기반의 결과이며 학습과 검증에 대한 결정계수가 0.999로 동일하게 도출되었다. BR 알고리즘의 결정계수는 LM 알고리즘 결정계수보다 0.01 높게 나타나 작은 차이가 있지만 정확도가 상대적으로 더 높은 것을 확인했다. BR과 LM 알고리즘의 정확도 차이는 미비한 것으로 나타났지만 역전파에서 중요한 최적화 알고리즘의 다양한 적용을 통한 정확도 향상의 가능성을 확인하였다. 따라서, 본 연구에서 다루는 데이터 규모가 작아 정확도 차이가 미비한 것으로 판단되나 대규모 DB의 정확도와 일반화 향상에는 BR알고리즘이 적합할 것으로 판단된다.
5. 고 찰
본 연구에서는 정확도가 더 높게 나타난 BR 알고리즘을 기반으로 정확한 검증을 위해 학습에 사용되지 않은 새로운 지역의 정적 지반 물성치와 동적 지반 물성치를 이용하여 정확도를 검증하였다. Fig. 7은 새로운 지역에서의 정적 지반 물성치 32개를 기반으로 구축된 인공신경망에 입력 값으로 사용하여 예측된 동적 물성치와 동적 물성치 원 데이터와 비교한 그래프이다. Fig. 7(a)는 압축파 결과 비교 그래프로서 x축은 원데이터 y축은 인공신경망을 통한 예측된 결과이며 결정계수가 0.999로 나타났다. Fig. 7(b)는 전단파 결과 비교 그래프로서 결정계수가 압축파와 동일하게 0.999로 나타났다. 해당 결과는 BR 알고리즘의 정확도 신뢰성을 보여주며 새로운 데이터에 대한 예측 일반화 가능성을 보여준다.
6. 결 론
본 연구에서는 인공신경망을 활용하여 정적 지반 물성치 데이터로 동적 지반 물성치를 예측하였으며 인공신경망 예측 결과 신뢰성에 대해 보여주며 최적화 기법 종류에 따른 인공신경망 성능과 정확도 향상을 검증하였다. 최종적인 연구 결과에 대한 핵심 결론은 다음과 같다.
(1) 본 연구에서는 지반 물성치 데이터에 적합한 인공신경망의 구성과 하이퍼파라미터를 제시하였다. 또한, 학습 구동 속도면에서는 효율적인 구동을 위한 은닉층과 노드의 하이퍼파라미터를 적용하여 신뢰성을 검증하였다.
(2) 최적화 기법 중 일반적으로 사용되는 Levenberg-marquardt(LM) 알고리즘과 효율적인 구동 방식을 가지는 Bayesian regularization(BR) 알고리즘 예측 결과를 통해 BR 알고리즘의 향상된 효율적인 성능과 정확도를 확인하였다.
(3) 지반 물성치 예측에 적합한 인공신경망 설계를 구축하고 신뢰성 검증을 위해 학습에 사용되지 않은 새로운 데이터를 입력 값으로 일반화 성능을 확인하였다. 그 결과 높은 정확도를 보이는 결과를 도출하여 구축된 인공신경망의 신뢰성 검증을 최종적으로 확인하였다.
