데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2019년

아래 가이드를 참조했다. https://cloud.google.com/ml-engine/docs/tensorflow/distributed-tensorflow-mnist-cloud-datalab 이 예제 코드는 Cloud ML Engine에서 비동기식 업데이트로 데이터 병렬 교육을 한다. 전체 모델이 모든 worker 노드와 공유된다. 각 노드는 mini batch 처리와 동일한 방식으로 학습 데이터 세트의 일부분을 독립적으로 기울기 벡터를 계산하고 이는 parameter server에 수집이 된다. 아래 그림과 같이 ML engine에서 분산 된 교육 작업을 수행하고 datalab으로 예측을 실행한다. 텐서보드로 시각화까지 해보장 앞부분은 설정과 데이터를 다운로드 받는 부분이므로 쉽다. 앞부분의 설정이 ..

2019. 2. 22. 19:47

2019년

전체 내용은 아래를 보고 참조했다. https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute-engine 12개월 무료 평가판으로 시행! 일단 홈페이지에서 체크하라는 시작하기 전에 3가지를 확인한 다음 진행한다. 1. compute engine 생성 2.결제 설정 3.API 설정 Cloud Shell로 이동해서 홈페이지에 있는걸 차근차근 따라해보자. 템플릿 인스턴스 만들기 upsidejiwon@cloudshell:~ (tensorproject)$ gcloud config set compute/zone us-east1-c Updated property [compute/zone]. upsidejiwon@cloudshell:~ (..

2019. 2. 22. 19:03

2019년

tensor를 하다가 spark이랑 같이 돌려볼수 있나? 라고 생각해서 검색해봤더니 역시나 있다 해보자. 야후에서 배포하는 TensoFlowOnSpark를 먼저해보자 https://github.com/yahoo/TensorFlowOnSpark YARN 버전은 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 나는 standalone으로 구동하겠다. https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_Standalone 가이드라인이 잘 되어 있어서 그대로 따라하면 문제가 없을 것 같다. 설치는 그냥 $ pip install tensorflowonspark Installing collecte..

2019. 2. 22. 15:50

2019년

텐서플로우의 분산 병렬성은 gRPC 통신 프레임워크를 기반으로 한다. 텐서플로우의 분산,병렬 처리기능은 2016년 4월에 정식 릴리즈되었다고 한다. 단일/분산 처리는 다음과 같은 차이를 가지고 있다. 단일에서는 한 프로세스 안에서 모든게 돌아가지만 분산에서는 클ㄹ라이언트,마스터,워커가 다른 process에서 작동한다. client process는 세션 인터페이스를 통해 master process와 통신한다.master process는 cpu/gpu에서 연산을 실행시키는 역할을 해서 worker process에게 연산을 할당 한다. 그림 출처 : http://sungsoo.github.io/2016/06/20/tensorflow-introduction.html 예제를 돌리면 결과는 잘 나온다. 전체 코드는..

2019. 2. 21. 11:51

2019년

전체 코드는 https://github.com/tensorflow/tensorflow/blob/r0.7/tensorflow/models/image/cifar10/cifar10_multi_gpu_train.py 텐서 플로우의 병렬성은- 모델 병렬성 : 주요 원칙은 모델 중의 다른 계산 노드를 서로 다른 하드웨어 리소스에 배치하여 연산 - 데이터 병렬성 : 대규모 병렬 처리를 구현하기 위해 일반적으로 사용한다. 으로 구분된다. 아래의 명령어로 데이터를 미리 준비해두자. $ git clone https://github.com/tensorflow/models.git 다운 받은 폴더에 models/tutorials/image/cifar10에 가면 cifar10_multi_gpu_train.py라는 파일이 있다. ..

2019. 2. 20. 20:23

2019년

준비물은 0. 버츄어 박스 6버전 1. 버츄어 박스에 설치한 우분투 18.0.4.2.LTS2. pip33. tensorflow로 텐서플로우 설치4. virtualenv 설치 텐서플로우 원리와 응용을 읽고 공부한 내용 텐서보드란?- 텐서플로우의 공식 시각화 도구로 scala,이미지,오디오등 여러 요약 데이터를 표시 할 수 있다.- 설계한 신경망을 이해하고, 디버그, 최적화를 위해 사용할 수 있다. 어떻게?1. 텐서플로우 계싼 그래프를 실행한는 동한 데이터를 요약하고 로그에 기록한다.2. 이 로그 파일을 텐서보드에서 읽어 해석및 시각화 하는 웹페이지를 생성한다. 사용방법은? 아래와 같이 --logdir로 텐서플로우 로그 경로를 지정한 뒤 실행하면 바로 다음에 오는 경로로 TensorBorad 웹페이지로 접속..

2019. 2. 20. 18:30