emmaiswatson Developer emmaiswatson Developer

모델 검증을 위해, 항상 돌릴 때마다 같은 결과를 얻을 수 있도록 하는 방법이다. 고정할 수 있는 시드들은 고정하고도, 항상 돌릴 때마다 추세는 아주 비슷하지만, 조금씩은 다른 부분이 나타나서 고민했다. 그러다 os.environ으로 고정시키는 방법을 발견했다. 이제는 각 epoch마다 나오는 accuracy 결과도 다 같다. 완전히 고정이 됨을 확인하였다. 코드는 아래와 같다. 한 코드로 모델을 여러개 만든다면, 각 모델을 돌릴 때마다 실행되도록 for문 안에 set_seed()를 사용해주어야 공정하게 평가할 수 있다. import numpy as np import tensorflow as tf import random #같은 결과가 계속 나오게 하기 위한 set_seed 함수. #이는 각 모델이 만들..

원하는 비율만 지정해주면 데이터셋을 train, test, val 폴더로 자동으로 나누어주는 라이브러리가 있다. 바로, splitfolders인데, 먼저 설치는 콘솔에 이렇게 입력하면 된다. pip install split-folders 이후, 라이브러리를 import하고, 원하는 비율로 나누어주면 디렉토리 생성 끝! 8:1:1로 나누어 보겠다. input 폴더 아래에는 레이블 이름으로 폴더들이 있고, 그 하위에 데이터들이 있다. output 폴더는 미리 만들어주지 않고 경로만 지정해도 이 코드에서 자동으로 생성해준다. seed는 원하는 값으로 지정하면 된다. import splitfolders splitfolders.ratio("D:/DATA/input/", output="D:/DATA/input/sp..

https://www.inflearn.com/course/기본적인-머신러닝-딥러닝-강좌/ (2019.06.18~) 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌 - 인프런 더 많은 분들이 머신 러닝과 딥러닝에 대해 더 이해하고 본인들의 문제를 이 멋진 도구를 이용해서 풀수 있게 하기위해 비디오 강의를 준비하였습니다. 더 나아가 이론에만 그치지 않고 최근 구글이 공개한 머신러닝을 위한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하였습니다. 초급 데이터 사이언스 딥러닝 온라인 강의 www.inflearn.com 1~3강만 들어봤는데, 전혀 모르는 사람도 쉽게 이해할 수 있을 것 같다. 나는 가볍게 복습할 때 도움이 되는 듯. (더 자세히 알고싶은 개념이 나오면 검색해서 공부..

주피터 노트북과 케라스를 사용하다가, tensorflow gpu버전 테이블을 보고 설치했는데 실패. 그래서 제일 최신 버전은 아니더라도, 주피터 노트북에서 되는 버전을 찾았다. 아래 버전처럼 설치하고, image segmentation task 하고 있는데 문제 없이 잘 돌아 가는 중. CUDA Toolkit 9.0 + cuDNN 7.0.5 + Python 3.6.4 + TensorFlow-gpu 1.9.0 미래의 내가 잊어버릴까봐 블로그에 미리 적어둡니다..ㅠㅠ pip install tensorflow-gpu==1.9.0 모듈이 없어졌다면 activate venv했는지 확인.. ㅠ

GPU sync failed 에러가 떴다. 러닝 시작한 것 확인하고 잤는데 에러 떠 있어서 확인해보니 전용 GPU메모리의 50% 정도를 이미 다른 곳에서 점유하고 있었다. 나머지 것들을 shutdown시켰다. 다시 실행해보려는데 안 됨. 그냥 jupyter notebook을 재실행했더니 다시 잘 된다. 이제 돌리기 전에 전용 GPU 메모리 사용량을 미리 확인하고, 깔끔하게 낮춘 후, 돌려야겠다.