딥러닝9 05. 경사하강법 들어가기전에) **딥러닝에서 "차원의 저주"(Curse of Dimensionality)**는 데이터의 차원이 높아질수록, 즉 특성(feature)의 개수가 많아질수록 발생하는 문제들을 말합니다. 차원이 높아지면, 데이터 분석과 학습 과정에서 여러 가지 어려움이 생길 수 있습니다. 딥러닝 및 머신러닝 모델이 고차원 데이터에서 학습할 때 성능 저하나 학습의 어려움을 겪게 되는 이유는 차원의 저주 때문입니다.차원의 저주에서 발생하는 문제들데이터가 희소해짐(Sparsity):차원이 높아지면 데이터가 차지하는 공간이 기하급수적으로 커집니다. 이로 인해 데이터가 희소해지며, 데이터 포인트들이 서로 멀리 떨어져 있게 됩니다.예를 들어, 2차원에서는 데이터 포인트들이 비교적 밀집해 있지만, 차원이 증가하면 포인트들이.. 2024. 10. 10. 04. 신경망의 학습법(퍼셉트론) - 비용함수가 나온 후에는 과정을 되돌아가 가중치를 업데이트 합니다. 2024. 10. 10. 03. 신경망의 원리 이번 장에서는 주택 가격예측의 원리를 통해서 신경망의 원리에 대해서 알아보겠습니다. 1. 입력층 (Input Layer):입력층에는 **특성(Features)**들이 입력됩니다. 이 이미지에서는 집의 면적(Area), 침실 수(Bedrooms), 도시와의 거리(Distance to city), 연식(Age) 등의 특성이 입력으로 사용됩니다.입력층의 각 노드는 입력값을 받아 다음 레이어인 히든 레이어로 전달합니다. 3. 출력층 (Output Layer):출력층은 최종 결과를 생성하는 곳입니다. 이 이미지에서는 y가 출력 노드로, 최종적으로 **집의 가격(Price)**을 예측합니다.출력층에서는 일반적으로 예측 값이나 분류 값이 결정됩니다. 이 경우 출력값이 집의 가격이라는 회귀 문제로 설정되어 있습니다.4.. 2024. 10. 10. 02. Activation function(활성화 함수) **Threshold Function(임계 함수)**를 보여주고 있으며, 입력값이 0 이상이면 출력이 1, 0 미만이면 출력이 0으로 설정되는 단순한 이진 출력 함수입니다. 이 함수는 주로 **퍼셉트론(Perceptron)**에서 뉴런이 활성화될지 여부를 결정하는 데 사용됩니다. Sigmoid 함수를 보여주며, 출력 값이 0과 1 사이로 변환되는 형태입니다. Sigmoid 함수는 입력값이 클수록 출력이 1에 가까워지고, 작을수록 출력이 0에 가까워지는 특성을 가집니다. ReLU (Rectified Linear Unit) 활성화 함수를 보여줍니다. ReLU 함수는 입력이 0보다 크면 그대로 출력하고, 0 이하일 경우에는 0을 출력하는 함수로, 신경망에서 널리 사용됩니다. tanh (하이퍼볼릭 탄젠트) 함수.. 2024. 10. 10. 01. Neuron(뉴런) 딥러닝의 목적: 인간의 두뇌가 작동하는 방법을 모방하는 것이고 이를 위해서는 뉴런의 작동방식을 모방해야 한다.뉴런의 기본 구성 요소입력(Input):뉴런은 여러 개의 입력값을 받습니다. 입력값은 보통 이전 레이어의 뉴런 출력이거나, 모델에 직접 주어진 데이터입니다.생물학적 뉴런에서 수상돌기에 해당합니다.가중치(Weights):각 입력에는 **가중치(weight)**가 곱해집니다. 가중치는 입력 데이터의 중요도를 조정하는 파라미터입니다. 학습 과정에서 이 값이 최적화됩니다.가중치는 모델이 입력 중 어떤 정보를 더 중요하게 볼지를 결정하는 역할을 합니다.바이어스(Bias):가중치로 변환된 입력들을 더한 결과에 **바이어스(bias)**가 추가됩니다. 바이어스는 모델이 학습하는 데 있어 유연성을 더해줍니다.바.. 2024. 10. 10. NLP 이론 정리 1. Encoder-Decoder 구조 이해Encoder-Decoder 구조는 기계 번역과 같은 sequence-to-sequence 작업에서 흔히 사용됩니다. 기본 개념은 입력 시퀀스를 주고 이를 처리해 출력 시퀀스를 생성하는 것입니다.Encoder: 입력 시퀀스의 정보를 hidden state로 변환하는 역할을 합니다. 이 때, LSTM이나 GRU와 같은 순환 신경망(RNN)이 주로 사용됩니다.Decoder: Encoder의 마지막 hidden state(또는 context vector)를 바탕으로 원하는 출력 시퀀스를 생성합니다.샘플 설명:입력 시퀀스: "I am a student"출력 시퀀스: "Je suis étudiant" (프랑스어 번역)Encoder는 "I am a student"라는 시퀀.. 2024. 10. 8. 이전 1 2 다음
