ml엔진 공부

강의 영상을 보고 정리한 내용 강의에서 사용하는 예제는 이 링크에

ml엔진 왜 쓰는가?

클라우드 ml엔진은 트레이닝의 가장 큰 문제인 트레이닝 시간(많이걸림)과 고성능의 컴퓨터가 필요하다는 문제를 가지고있는 텐서 task를 cloud에서 실행하여 클라우드 스토리지에 저장될 수 있도록 해주는 장점이 있다.

사용방법

공식사이트에 자세하게 설명되어있음. 원하는 방법으로 개발환경을 준비 

기계학습에 필요한 데이터는 어떻게 사용할 수 있는가?

버켓이라는 클라우드 스토리지를 이용하여 gs://로 접근할 수 있음.코드 또한 클라우드 스토리지에 올려서 사용 할 수 있음

텐서플로우 csv 파일을 읽어오는 법

http://weejw.tistory.com/76

이 영상을 보고 saver 라는 개념을 알았는데 찾아보니 (엣지 있게 설명한 텐서플로우 참고) 그래프의 결과를 중간중간 저장할 수 있도록 하는 클래스라고 한다.

tf.train.Saver() 클래스로 사용방법은

saver=tf.train.Saver()

트레이닝 과정중에 중간에

for step in range(trainig_steps):

sess.run([train_op])

if step% 1000 ==0:

saver.save(sess,'my-model',global_step=step)

 이런식으로 사용할 수 있다. 기본적으로 최근 5개의 파일만 보관하고 나머지는 지운다.

tf.train.get_checkpoint_state메서드를 사용하여 학습과정을 재개할 수 있으며 tf.train.Saver.restore메서드로 변수값을 복구한다.

ckpt=tf.train.get_checkpoint_state(os.path.dirname(__file__))

if ckpt and ckpt.model_checkpoint_path:

saver.restore(sess,ckpt.model_checkpoint_path)

initial_step = int(ckpt.model_checkpoint_path.rsplit('-',1)[1])  # 체크포인트 파일은 my-model-{step}으로 저장되기때문에 split해서 step을 사용