05. 경사하강법

들어가기전에)

 

**딥러닝에서 "차원의 저주"(Curse of Dimensionality)**는 데이터의 차원이 높아질수록, 즉 특성(feature)의 개수가 많아질수록 발생하는 문제들을 말합니다. 차원이 높아지면, 데이터 분석과 학습 과정에서 여러 가지 어려움이 생길 수 있습니다. 딥러닝 및 머신러닝 모델이 고차원 데이터에서 학습할 때 성능 저하나 학습의 어려움을 겪게 되는 이유는 차원의 저주 때문입니다.

차원의 저주에서 발생하는 문제들

1. 데이터가 희소해짐(Sparsity):
   • 차원이 높아지면 데이터가 차지하는 공간이 기하급수적으로 커집니다. 이로 인해 데이터가 희소해지며, 데이터 포인트들이 서로 멀리 떨어져 있게 됩니다.
   • 예를 들어, 2차원에서는 데이터 포인트들이 비교적 밀집해 있지만, 차원이 증가하면 포인트들이 고르게 분포되지 않고 넓게 퍼지기 때문에, 같은 수의 데이터로도 공간을 제대로 커버하지 못하게 됩니다.
2. 학습에 필요한 데이터 양의 폭발적 증가:
   • 차원이 높아질수록, 모델이 좋은 성능을 발휘하려면 더 많은 학습 데이터가 필요해집니다. 이는 차원이 높아질 때마다 필요한 데이터가 지수적으로 증가하기 때문입니다.
   • 예를 들어, 2차원 공간에서는 데이터를 분리하는 경계를 학습하는 데 필요한 데이터가 적지만, 100차원 공간에서는 이를 학습하기 위해 훨씬 더 많은 데이터를 필요로 합니다. 그렇지 않으면 모델이 충분히 학습되지 않을 수 있습니다.
3. 모델의 과적합(Overfitting) 위험 증가:
   • 차원이 높으면 모델이 지나치게 복잡해져 학습 데이터에 과하게 맞추는 경향이 생길 수 있습니다. 즉, 모델이 학습 데이터에 너무 민감하게 반응하여 **과적합(overfitting)**이 발생할 수 있습니다.
   • 이 경우, 모델은 학습 데이터에는 높은 정확도를 보이지만, 새로운 데이터(테스트 데이터)에는 일반화 성능이 낮아집니다.
4. 계산 비용 증가:
   • 차원이 높아지면, 신경망이 데이터를 처리하는 데 필요한 계산 비용이 급격하게 증가합니다. 입력 데이터 차원이 커질수록 모델의 연산량도 늘어나기 때문에, 학습과 예측 속도가 느려질 수 있습니다.

차원의 저주 해결 방법

1. 차원 축소 (Dimensionality Reduction):
   • PCA(주성분 분석, Principal Component Analysis), t-SNE 같은 차원 축소 기법을 사용하여, 중요한 특성만 남기고 차원을 줄일 수 있습니다. 차원을 줄임으로써 불필요한 정보나 노이즈를 제거하고, 학습 효율을 높일 수 있습니다.
2. 정규화 및 정칙화 (Regularization):
   • 차원이 높은 데이터에 대해 정칙화(Regularization) 기법을 사용하면, 모델이 과적합하지 않도록 제어할 수 있습니다. L1, L2 정규화와 같은 기법을 사용하여 모델이 지나치게 복잡해지는 것을 방지할 수 있습니다.
3. 특성 선택 (Feature Selection):
   • 모든 특성이 모델 학습에 유용하지 않을 수 있습니다. 가장 중요한 특성만을 선택하여 차원을 줄일 수 있습니다. 이를 통해 모델의 성능을 유지하면서도 복잡도를 줄일 수 있습니다.
4. 표준화 및 스케일링:
   • 차원이 커질수록 데이터가 비균일하게 분포될 수 있는데, 이를 해결하기 위해 **표준화(Standardization)**나 **정규화(Normalization)**를 사용하여 데이터의 범위를 조정해 줄 수 있습니다. 이는 계산의 효율성을 높이고 학습을 안정적으로 진행할 수 있게 합니다.

 

경사하강법

 

 

경사하강법의 개념:

1. 비용 함수:
   • 딥러닝에서 비용 함수는 모델이 예측한 값과 실제 값의 차이를 나타내며, 이 차이를 줄이는 것이 목표입니다. 비용 함수의 예로는 **평균 제곱 오차(MSE)**가 있습니다.
2. 기울기(Gradient):
   • 비용 함수의 기울기는 비용 함수 값이 어떤 방향으로 더 빠르게 증가하거나 감소하는지를 나타냅니다. 즉, 기울기는 비용 함수의 변화율을 나타냅니다.
3. 기울기 하강(Gradient Descent):
   • 비용 함수가 가장 낮은 지점을 찾기 위해, 기울기가 가리키는 방향(즉, 경사를 내려가는 방향)으로 가중치와 바이어스를 업데이트합니다. 이를 통해 비용 함수의 값이 점차 줄어들며, 최적의 파라미터를 찾는 것이 목표입니다