Stats & AI tech blog - '일단 시도함'

1. 시계열 자료 (Time Series Data) 데이터가 어느 한 시점에서 획득된 것이 아니라 시간 순서에 따라 획득되어진 자료로 심전도나 기상 관측 자료, 주가 차트 등의 데이터를 시계열 데이터라고 한다. 시계열 데이터의 정의를 조금 확장하면 정적인 데이터도 시계열의 범주에서 다룰 수 있는데, 예를 들어 단일 흉부 촬영 영상은 정적 데이터지만 추적 관찰을 통해 연속 촬영된 흉부 촬영 영상의 집합은 시계열 데이터로 간주할 수 있다. 이 밖에도 유전체 배열은 시간이 아니라 공간적인 선후 관계를 가지지만 시계열 특성으로 간주할 수 있고, 단어의 순서로 이루어진 문장이나 음성 대화 같은 자연어 데이터도 대표적인 시계열 데이터에 속한다고 볼 수 있다. 시계열 데이터는 아래 3가지 특성을 가진다.시간 의존성 ..

1. 혼합 정밀도 훈련(Mixed Precision Training)이란? 딥러닝에서는 일반적으로 신경망의 크기가 커질 수록 성능이 향상되는 특징을 가진다. 반면에, 모델이 복잡해질수록 메모리와 컴퓨팅에 대한 문제가 발생하게 된다.혼합 정밀도 훈련(Mixed Precision Training)은 모델의 정확도와 파라미터에 영향을 끼치지 않고, 메모리 요구사항을 줄이고 GPU에서 산술 속도를 높일 수 있는 신경망 훈련 방법이다. 혼합정밀도 훈련은 모델 학습 과정에서 부동 소수점 연산의 정밀도를 혼합하여 사용하는데, 일반적으로는 반 정밀도(16비트 부동 소수점, FP16)와 단 정밀도(32비트 부동 소수점, FP32)를 혼합하여 사용한다. 일반적으로 딥러닝에서는 FP32연산이 사용되는데, FP32연산은 메모..

1. GPU 확인장치관리자 > 디스플레이 어댑터에서 GPU 모델명 확인  2. 엔비디아 드라이버 다운로드 & 설치내 GPU 모델을 선택해서 드라이버 다운로드 & 설치https://www.nvidia.co.kr/Download/index.aspx?lang=kr Download the latest official NVIDIA driversDownload the latest official NVIDIA driverswww.nvidia.com 3. CUDA 설치3.1 내 GPU의 Computing capability 확인하고 그에 맞는 CUDA 버전 확인: 저의 경우는 computing capability 6.1 -> cuda 12.1 다운로드https://en.wikipedia.org/wiki/CUDA#GPU..

Google Colab을 쓰다 GPU 사용 용량 제한 때문에 로컬 GPU에 연결해서 사용하기로 했다.jupyter lab을 활용해서 연결을 해줄거기 때문에, Python과 jupyter notebook, jupyter lab을 설치가 필요하다.  1. Python  설치https://www.python.org/downloads/ Download PythonThe official home of the Python Programming Languagewww.python.org  2. jupyter notebook 설치 cmd > pip install jupyter notebook  3. jupyter lab 설치cmd > pip install jupyter lab        >  jupyter lab (설..

이번 포스팅에서 리뷰할 논문은 저해상도의 이미지를 고해상도의 이미지로 변환하는 초해상도(SR, Super Resolution) 모델 중 하나인 VDSR 모델에 대한 논문이에요. VDSR은 기존 SR분야에서 SOTA 성능을 보이는 SRCNN의 한계점을 극복하면서도 좋은 성능을 보인다고 해요.  IntroductionSRCNN이 초해상도 분야에서 딥러닝 기술을 성공적으로 적용하였지만 아래 몇 가지 한계점들이 존재해요.1. 작은 이미지 영역의 context에 의존2. 수렴(convergence)이 너무 느림3. Single scale을 위한 네트워크 본 연구에서 이런 문제점들을 실용적으로 해결하는 새로운 방법을 제안해요. 1. Context 작은 이미지 영역은 세부적인 recovery에 필요한 충분한 정보를 ..

오늘은 Google Colab에서 현재 작업 폴더가 아닌 다른 폴더에 있는 패키지나 모듈을 import하는 방법에 대해 알아보겠다.우선 Colab과 Google Drive를 연동시켜주는 작업이 먼저 필요해요. 아래 코드를 실행하면 연동이 가능하다.from google.colab import drivedrive.mount('/content/drive') 코드를 실행시킨 후 잠시 기다리면 화면 왼쪽 파일이 표시되는 부분에 drive 폴더가 생긴 걸 확인할 수 있다.  드라이브가 연동되었다면 이제 다른 폴더에 있는 패키지/모듈을 import 해보겠다. "drive > Mydrive > PyTorch > Image Classification > HERBS" 안에 있는 timm 패키지를 import 하고 싶다고 ..

머신러닝 딥러닝 관련 최신 연구 동향과 모델을 파악하기 위한 방법/사이트들을 정리해 보았다. 논문주요 학술 지식 웹사이트인 arXiv나 IEEE Xplore와 같은 플랫폼에서 모델의 성능과 특징에 대한 정보를 담은 논문을 찾아볼 수 있다.arXiv : https://arxiv.org/IEEE Xplore : https://ieeexplore.ieee.org/Xplore/home.jsp 컴퓨터 비전 컨퍼런스컴퓨터 비전 분야의 주요 컨퍼런스인 CVPR(Computer Vision and Pattern Recognition), ICCV(International Conference on Computer Vision), ECCV(European Conference on Computer Vision) 등에서 발표된..

지난 포스팅에서는 PyTorch를 활용한 심층신경망(DNN) 모델 학습에 대한 코드를 알아보았다.이번 포스팅에서는 이미지 분석을 위한 합성곱신경망(CNN) 모델을 생성하고 학습하는 코드를 알아보도록 하겠다.  CNN 모델 구축과 학습 과정은 아래 순서대로 진행한다.필요한 라이브러리/패키지 불러오기연산을 수행할 장치(CPU or GPU) 설정데이터 불러오기CNN 모델 생성 및 파라미터 정의모델 학습 및 평가 1. 라이브러리/패키지 불러오기import numpy as np # 넘파이 배열import matplotlib.pyplot as plt # 그래프 그리기import torchimport torch.nn as nn # 딥러닝 모듈from torch.autograd import Variable # 자동 ..

2024.04.02 - [Data Science/Deep Learning] - [ML/DL] DNN, Deep Neural Network (심층신경망) (1) - 기울기 소실 (Vanishing gradient) [ML/DL] DNN, Deep Neural Network (심층신경망) (1) - 기울기 소실 (Vanishing gradient)DNN, Deep Neural Network (심층신경망) (1) - 기울기 소실 (Vanishing gradient)   2024.04.01 - [Deep Learning] - [DL] MLP, Multi-Layer Perceptron (다층 퍼셉트론) [DL] MLP, Multi-Layer Perceptron (다층 퍼셉트론)MLP, Multi-Layer Per..

오늘은 파이썬의 enumerate()함수를 사용해서 for loop문을 작성하는 방법에 대해 알아보겠다.for문을 작성하는 방식은 사람마다 다를 수 있는데, 어떤 방식들이 있는지, 그 중 가장 파이썬스러운 방식은 무엇인지 확인해보려고 한다. 1. for 문먼저 인덱스 i를 0으로 초기화 시킨 후에 루프마다 1을 더해 간다. 이런 방식은 루프문이 종료된 후에도 i가 그대로 남아있다는 단점이 있다i=0for letter in ['A','B','C']: print(i, letter)    i+=12. range(), len() 함수 사용두 번째로는 range()와 len()함수를 이용하는 방법이다. 먼저 iteration할 목록를 정의해놓고 목록의 length를 인덱스 range로 사용하는 방식으로, 많이 사..