본문 바로가기

인공지능/DeepLearning

인공지능/DeepLearning 2021. 1. 11. [Computer Vision] Image Augmentation 심층 신경망에서 데이터셋을 사용할 경우 대규모 데이터셋일수록 모델의 의존도를 줄일 수 있고, 이에 따른 일반화 능력이 향상된다. 따라서 심층 신경망의 성공적인 학습을 위해 동일한 이미지를 위치, 밝기, 색도와 같은 요소들을 무작위로 조절하면서 다양한 데이터를 만드는 것이다. 이러한 이미지 확대 기술은 심층 신경망의 성공에 크게 기여를 했으며, 이미지를 무작위로 변환해주는 작업은 다양한 모듈에서 제공을 해주고 있다. def apply(img, aug, num_rows=2, num_cols=4, scale=1.5): Y = [aug(img) for _ in range(num_rows * num_cols)] d2l.show_images(Y, num_rows, num_cols, scale=scale) %matp..
인공지능/DeepLearning 2020. 12. 29. 모델 성능 평가지표 모델을 만드는 이유는 일반화를 통해 미래 예측을 추정하고자 하는 것이다. 그래서 우리는 모델의 수정과 학습을 반복함으로써, 주어진 가설 공간에서 최고 성능을 발휘하는 모델을 선택한다. 다양한 모델을 만들고 비교 및 검증을 하여 가장 좋은 모델을 선택해야할 때 사용되는 것이 "모델 평가지표"이다. 모델에 대한 평가지표는 모델을 구현하여 추정하고자 하는 목표에 따라 평가지표도 달리 사용된다. 아래의 그림은 목표에 따른 평가지표를 분류한 그림이다. Reference rk1993.tistory.com/entry/%EB%AA%A8%EB%8D%B8-%EC%84%B1%EB%8A%A5-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C-%ED%9A%8C%EA%B7%80-%EB%AA%A8%EB%8D%B8..
인공지능/DeepLearning 2020. 12. 28. 모델 성능 평가 지표 - 분류(Classification) - 미완성 목표에 따른 모델 성능 평가 지표 종류 모델 성능 평가지표 모델을 만드는 이유는 일반화를 통해 미래 예측을 추정하고자 하는 것이다. 그래서 우리는 모델의 수정과 학습을 반복함으로써, 주어진 가설 공간에서 최고 성능을 발휘하는 모델을 선택한다. jungnamgyu.tistory.com Confusion Matrix (오차 행렬) 주로 알고리즘의 성능을 평가할 때 사용된다. 실제 정답 True False 분류 결과 True True Positive (TP) False Positive (FP) False False Negative (FN) True Negative (TN) True Positvie (TP) : 실제 정답이 True인데 True라고 예측 (정답) False Positvie (FP) : 실제 정답..
인공지능/DeepLearning 2020. 12. 16. [RNN] GRU (Gated Recurrent Unit) RNN에서 신경망의 깊이가 깊어질수록 Gradient가 사라지거나 폭발할 수 있음을 발견했습니다. 따라서 이를 해결하기 위해 여러가지 방법이 제안 되었습니다. 가장 초기의 방법 중 하나는 LSTM[Hochreiter & Schmidhuber, 1997]으로 9.2에서 논의 할 예정이며, GRU[Cho et al., 2014a]는 종종 비슷한 성능을 제공하고 계산 속도가 빠르며, LSTM의 복잡한 구조를 간단화 시켰습니다. GRU가 LSTM을 개선한 방향으로 차후에 나온 모델이지만 단순성 때문에 GRU부터 언급을 하겠습니다. 9.1.1. Gated Hidden State 바닐라 RNN과 GRU의 주요 차이점은 GRU가 Hidden State의 Gating을 지원한다는 것입니다. 즉, 숨겨진 상태를 업데이트..
인공지능/DeepLearning 2020. 12. 11. [CNN] Alex Net - 구현 및 MNIST_Fashion 학습 AlexNet을 모듈로 표현해보기 위해 구현하였으며 이미지 또한 AlexNet에 맞춰 사용이 가능하도록 구현하였다. AlexNet은 2개의 GPU로 병렬 연산한다는게 포인트이지만, 그래픽카드가 하나인 관계로 병렬연산은 구현하지 못했다. AlexNet 구현 import torch import torch.nn as nn import torch.nn.functional as F from torchvision import transforms class AlexNet(nn.Module): def __init__(self): super(AlexNet, self).__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=96, kernel_size=11, stri..
인공지능/DeepLearning 2020. 11. 12. [PyTorch] File I/O, GPUs 우리는 다양한 구조를 사용하기 위해 결과를 저장하려는 경우가 존재한다. 또한 긴 훈련 과정을 진행할 때도 가장 좋은 방법은 중간 체크 포인트를 주기적으로 저장을 해주어야 며칠 동안 계산한 내용을 잃지 않을 수 있다. 따라서 개별 가중치 벡터와 전체 모델을 모두 로드하고 저장하는 방법에 대해 설명한다. Loading and Saving Tensors 개별 텐서의 경우 load 및 save 함수를 직접 호출하여 각각 읽고 쓸 수 있다. import torch from torch import nn from torch.nn import functional as F x = torch.arange(4) print(x) torch.save(x, 'x-file') x2 = torch.load("x-file") prin..
인공지능/DeepLearning 2020. 11. 11. [PyTorch] Parameter Management 네트워크를 설계하고 손실 함수를 최소화하는 파라미터 값을 찾는 것을 목표로 학습을 반복한다. 훈련 후 향후 예측을 위해 이러한 매개 변수가 필요하다. 또한 과학적 이해를 얻기 위해 매개 변수가 필요하기도 하다. 대부분 딥러닝 프레임 워크에 의해 무거운 작업을 수행하기 때문에 핵심적인 세부사항은 무시할 수도 있지만, 표준 layer의 구조를 벗어나게 된다면 매개 변수를 선언하고 조작하는 것이 필요할 때가 존재하게 된다. Parameter Access 구현된 모델에서 매개 변수에 액세스 하는 방법이 존재한다. 모델이 Sequential클래스를 통해 정의되면 모델의 각 layer를 인덱싱하여 액세스 할 수 있다. 출력은 해당 계층의 weight 값과, bias 값에 해당하는 두 개의 매개 변수를 포함하여, f..
인공지능/DeepLearning 2020. 11. 9. [PyTorch] Layers and Blocks 딥러닝이 우수한 중요 요소 중에 하나는 우수한 소프트웨어이다. 크기가 작은 MLP의 경우 모든 layer를 설계하여 직접적으로 구성할 수 있다. 하지만 컴퓨터 비전 문제를 풀기 위해 제안된 ResNet-152처럼 152개의 많은 layer들을 설계하기에는 번거로울 수 있다. 깊은 네트워크는 수많은 반복되는 형태를 가지고 있고, 반복되는 형태를 블록으로 구현하여 구성한다. 이렇게 구현한 블록들은 더 복잡한 네트워크 디자인을 구성하는 기본 요소가 된다. 아주 간단한 MLP 네트워크를 구현한다. 다음은 256개 유닛과 ReLU 함수의 hidden Layer와 10개 유닛의 output Layer로 구성된 네트워크를 생성하는 코드이다. import torch from torch import nn from tor..

티스토리툴바