Deep Learning
-
keras, tensorflow에서 항상 같은 결과를 얻는 방법Deep Learning 2023. 1. 6. 14:24
모델 검증을 위해, 항상 돌릴 때마다 같은 결과를 얻을 수 있도록 하는 방법이다. 고정할 수 있는 시드들은 고정하고도, 항상 돌릴 때마다 추세는 아주 비슷하지만, 조금씩은 다른 부분이 나타나서 고민했다. 그러다 os.environ으로 고정시키는 방법을 발견했다. 이제는 각 epoch마다 나오는 accuracy 결과도 다 같다. 완전히 고정이 됨을 확인하였다. 코드는 아래와 같다. 한 코드로 모델을 여러개 만든다면, 각 모델을 돌릴 때마다 실행되도록 for문 안에 set_seed()를 사용해주어야 공정하게 평가할 수 있다. import numpy as np import tensorflow as tf import random #같은 결과가 계속 나오게 하기 위한 set_seed 함수. #이는 각 모델이 만들..
-
[딥러닝] train/test/val 폴더 코드 한 줄로 나누기Deep Learning 2022. 5. 24. 14:45
원하는 비율만 지정해주면 데이터셋을 train, test, val 폴더로 자동으로 나누어주는 라이브러리가 있다. 바로, splitfolders인데, 먼저 설치는 콘솔에 이렇게 입력하면 된다. pip install split-folders 이후, 라이브러리를 import하고, 원하는 비율로 나누어주면 디렉토리 생성 끝! 8:1:1로 나누어 보겠다. input 폴더 아래에는 레이블 이름으로 폴더들이 있고, 그 하위에 데이터들이 있다. output 폴더는 미리 만들어주지 않고 경로만 지정해도 이 코드에서 자동으로 생성해준다. seed는 원하는 값으로 지정하면 된다. import splitfolders splitfolders.ratio("D:/DATA/input/", output="D:/DATA/input/sp..
-
딥러닝 기초 강의Deep Learning 2019. 6. 20. 12:14
https://www.inflearn.com/course/기본적인-머신러닝-딥러닝-강좌/ (2019.06.18~) 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌 - 인프런 더 많은 분들이 머신 러닝과 딥러닝에 대해 더 이해하고 본인들의 문제를 이 멋진 도구를 이용해서 풀수 있게 하기위해 비디오 강의를 준비하였습니다. 더 나아가 이론에만 그치지 않고 최근 구글이 공개한 머신러닝을 위한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하였습니다. 초급 데이터 사이언스 딥러닝 온라인 강의 www.inflearn.com 1~3강만 들어봤는데, 전혀 모르는 사람도 쉽게 이해할 수 있을 것 같다. 나는 가볍게 복습할 때 도움이 되는 듯. (더 자세히 알고싶은 개념이 나오면 검색해서 공부..
-
[Tensorflow, Keras, jupyter notebook] 현재 잘 쓰고 있는 버전Deep Learning 2019. 4. 19. 20:29
주피터 노트북과 케라스를 사용하다가, tensorflow gpu버전 테이블을 보고 설치했는데 실패. 그래서 제일 최신 버전은 아니더라도, 주피터 노트북에서 되는 버전을 찾았다. 아래 버전처럼 설치하고, image segmentation task 하고 있는데 문제 없이 잘 돌아 가는 중. CUDA Toolkit 9.0 + cuDNN 7.0.5 + Python 3.6.4 + TensorFlow-gpu 1.9.0 미래의 내가 잊어버릴까봐 블로그에 미리 적어둡니다..ㅠㅠ pip install tensorflow-gpu==1.9.0 모듈이 없어졌다면 activate venv했는지 확인.. ㅠ
-
[Tensorflow 텐서플로우] InternalError: GPU sync failedDeep Learning 2019. 4. 18. 10:59
GPU sync failed 에러가 떴다. 러닝 시작한 것 확인하고 잤는데 에러 떠 있어서 확인해보니 전용 GPU메모리의 50% 정도를 이미 다른 곳에서 점유하고 있었다. 나머지 것들을 shutdown시켰다. 다시 실행해보려는데 안 됨. 그냥 jupyter notebook을 재실행했더니 다시 잘 된다. 이제 돌리기 전에 전용 GPU 메모리 사용량을 미리 확인하고, 깔끔하게 낮춘 후, 돌려야겠다.