본문 바로가기

Dive into Deep Learning Pytorch

인공지능/DeepLearning 2020. 12. 16. [RNN] GRU (Gated Recurrent Unit) RNN에서 신경망의 깊이가 깊어질수록 Gradient가 사라지거나 폭발할 수 있음을 발견했습니다. 따라서 이를 해결하기 위해 여러가지 방법이 제안 되었습니다. 가장 초기의 방법 중 하나는 LSTM[Hochreiter & Schmidhuber, 1997]으로 9.2에서 논의 할 예정이며, GRU[Cho et al., 2014a]는 종종 비슷한 성능을 제공하고 계산 속도가 빠르며, LSTM의 복잡한 구조를 간단화 시켰습니다. GRU가 LSTM을 개선한 방향으로 차후에 나온 모델이지만 단순성 때문에 GRU부터 언급을 하겠습니다. 9.1.1. Gated Hidden State 바닐라 RNN과 GRU의 주요 차이점은 GRU가 Hidden State의 Gating을 지원한다는 것입니다. 즉, 숨겨진 상태를 업데이트..
인공지능/DeepLearning 2020. 11. 12. [PyTorch] File I/O, GPUs 우리는 다양한 구조를 사용하기 위해 결과를 저장하려는 경우가 존재한다. 또한 긴 훈련 과정을 진행할 때도 가장 좋은 방법은 중간 체크 포인트를 주기적으로 저장을 해주어야 며칠 동안 계산한 내용을 잃지 않을 수 있다. 따라서 개별 가중치 벡터와 전체 모델을 모두 로드하고 저장하는 방법에 대해 설명한다. Loading and Saving Tensors 개별 텐서의 경우 load 및 save 함수를 직접 호출하여 각각 읽고 쓸 수 있다. import torch from torch import nn from torch.nn import functional as F x = torch.arange(4) print(x) torch.save(x, 'x-file') x2 = torch.load("x-file") prin..
인공지능/DeepLearning 2020. 11. 11. [PyTorch] Parameter Management 네트워크를 설계하고 손실 함수를 최소화하는 파라미터 값을 찾는 것을 목표로 학습을 반복한다. 훈련 후 향후 예측을 위해 이러한 매개 변수가 필요하다. 또한 과학적 이해를 얻기 위해 매개 변수가 필요하기도 하다. 대부분 딥러닝 프레임 워크에 의해 무거운 작업을 수행하기 때문에 핵심적인 세부사항은 무시할 수도 있지만, 표준 layer의 구조를 벗어나게 된다면 매개 변수를 선언하고 조작하는 것이 필요할 때가 존재하게 된다. Parameter Access 구현된 모델에서 매개 변수에 액세스 하는 방법이 존재한다. 모델이 Sequential클래스를 통해 정의되면 모델의 각 layer를 인덱싱하여 액세스 할 수 있다. 출력은 해당 계층의 weight 값과, bias 값에 해당하는 두 개의 매개 변수를 포함하여, f..
인공지능/DeepLearning 2020. 11. 9. [PyTorch] Layers and Blocks 딥러닝이 우수한 중요 요소 중에 하나는 우수한 소프트웨어이다. 크기가 작은 MLP의 경우 모든 layer를 설계하여 직접적으로 구성할 수 있다. 하지만 컴퓨터 비전 문제를 풀기 위해 제안된 ResNet-152처럼 152개의 많은 layer들을 설계하기에는 번거로울 수 있다. 깊은 네트워크는 수많은 반복되는 형태를 가지고 있고, 반복되는 형태를 블록으로 구현하여 구성한다. 이렇게 구현한 블록들은 더 복잡한 네트워크 디자인을 구성하는 기본 요소가 된다. 아주 간단한 MLP 네트워크를 구현한다. 다음은 256개 유닛과 ReLU 함수의 hidden Layer와 10개 유닛의 output Layer로 구성된 네트워크를 생성하는 코드이다. import torch from torch import nn from tor..

티스토리툴바