2019년
google cloud platform 을 이용하여 분산 학습및 예측을 해보자
아래 가이드를 참조했다. https://cloud.google.com/ml-engine/docs/tensorflow/distributed-tensorflow-mnist-cloud-datalab 이 예제 코드는 Cloud ML Engine에서 비동기식 업데이트로 데이터 병렬 교육을 한다. 전체 모델이 모든 worker 노드와 공유된다. 각 노드는 mini batch 처리와 동일한 방식으로 학습 데이터 세트의 일부분을 독립적으로 기울기 벡터를 계산하고 이는 parameter server에 수집이 된다. 아래 그림과 같이 ML engine에서 분산 된 교육 작업을 수행하고 datalab으로 예측을 실행한다. 텐서보드로 시각화까지 해보장 앞부분은 설정과 데이터를 다운로드 받는 부분이므로 쉽다. 앞부분의 설정이 ..
2019. 2. 22. 19:47