딥러닝/이론4 NLP 이론 정리 1. Encoder-Decoder 구조 이해Encoder-Decoder 구조는 기계 번역과 같은 sequence-to-sequence 작업에서 흔히 사용됩니다. 기본 개념은 입력 시퀀스를 주고 이를 처리해 출력 시퀀스를 생성하는 것입니다.Encoder: 입력 시퀀스의 정보를 hidden state로 변환하는 역할을 합니다. 이 때, LSTM이나 GRU와 같은 순환 신경망(RNN)이 주로 사용됩니다.Decoder: Encoder의 마지막 hidden state(또는 context vector)를 바탕으로 원하는 출력 시퀀스를 생성합니다.샘플 설명:입력 시퀀스: "I am a student"출력 시퀀스: "Je suis étudiant" (프랑스어 번역)Encoder는 "I am a student"라는 시퀀.. 2024. 10. 8. Computer Vision - 02. Advanced CNN Models(Inception) Inception Net (GoogLeNet)- Inception Net은 Google에서 개발한 CNN 아키텍처로, 다양한 크기의 필터를 병렬로 사용하여 여러 특징을 동시에 학습할 수 있는 구조를 도입한 것이 특징입니다. 이 네트워크의 주요 목적은 계산 비용을 효율적으로 줄이면서 깊고 넓은 네트워크를 만드는 것이었습니다. (a) Inception Module - Naïve Version:구성:이 모듈은 입력을 받아 다양한 크기의 필터(1x1, 3x3, 5x5)를 각각 적용하고, 3x3 Max Pooling도 동시에 적용하여, 모든 결과를 Filter Concatenation 단계에서 결합합니다.여기서 1x1, 3x3, 5x5 Convolution 필터는 서로 다른 크기의 특징을 추출하며, Max Poo.. 2024. 9. 30. Computer Vision - 02. Advanced CNN Models(VGG16) VGGNet - VGG16의 주요 특징은 심층적인 네트워크 구조에 있습니다. 이 모델의 이름에서 16은 총 16개의 계층(레이어)을 가지고 있음을 나타냅니다. 여기서 13개는 Convolutional Layer이고, 나머지 3개는 Fully Connected Layer입니다. VGG16의 주요 구조:Conv Layers: VGG16은 3x3 필터를 사용하는 Convolution Layer로 구성되어 있습니다. 이 작은 필터 크기를 사용하면서 깊은 계층을 쌓음으로써, 복잡한 특성을 학습할 수 있습니다. 모든 Convolution Layer는 Stride 1을 사용하고, Padding을 통해 출력 이미지의 크기가 유지되도록 합니다.Max Pooling: Convolution Layer 뒤에는 2x2 Max .. 2024. 9. 30. 1. 퍼셉트론 뉴런: 인공지능에서 **뉴런(neuron)**은 생물학적 신경세포를 모방한 기본 계산 단위로, 인공 신경망(Artificial Neural Network, ANN)을 구성하는 핵심 요소입니다. 뉴런의 주요 목적은 입력 신호를 받아 이를 처리하고 출력 신호를 생성하는 것입니다.퍼셉트론:- 퍼셉트론은 뉴런의 모양에서 아이디어를 얻었고, 각 뉴런이 하는 외부 자극에 대한 전기적인 신호처리를 구현한 것.- 연산의 결과인 f(x)의 결과가 어떤 특정한 임의의 값이라고 할 수 있는 θ(threshold)를 넘으면 1, 넘지 못하면 0으로 처리합니다. 다층 퍼셉트론AND 게이트: AND 게이트는 2개의 값이 1이 들어오면1, 하나의 값이 0이면 0을 출력합니다. NAND 게이트: NAND 게이트는 모두 1일때에만 0.. 2024. 9. 26. 이전 1 다음
