데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2019년

java.lang.UnsupportedClassVersionError: scala/Option : Unsupported major.minor version 52.0 자바 버전이 낮아서 일어나는 일임 unlink /usr/bin/java 로 기존 링크를 해제하고 그냥 환경변수 재설정하면 됨

2019. 3. 13. 16:40

2019년

마음을 가다듬기 위해 오랜만에 플랫폼 특징이나 구경하자. 빅데이터 처리/저장 자바 기반 오픈 소스 프레임 워크 현재 hadoop 3까지 나와있음 버전별 특징은 https://118k.tistory.com/542 1.Map-Reduce- Map: key,value의 형태로 데이터를 담아두는 자료구조중의 하나 - Reduce: Map 결과 데이터를 사용하여 필요한 연산을 수행하여 데이터를 합치는 방법 key를 기준으로 value를 sum,average등의 결과를 얻을 수 있음- 맵리듀스 프로그램의 하나의 작업 단위를 job이라고 함. 2.HDFS(Hadoop File System)- 데이터를 다수의 노드에 복제하여 저장해서 : 데이터 유실 방지 - 한번 저장한 데이터는 수정할 수 없고 읽기만 가능하여 : 데..

2019. 3. 6. 17:49

2019년

아래 가이드를 참조했다. https://cloud.google.com/ml-engine/docs/tensorflow/distributed-tensorflow-mnist-cloud-datalab 이 예제 코드는 Cloud ML Engine에서 비동기식 업데이트로 데이터 병렬 교육을 한다. 전체 모델이 모든 worker 노드와 공유된다. 각 노드는 mini batch 처리와 동일한 방식으로 학습 데이터 세트의 일부분을 독립적으로 기울기 벡터를 계산하고 이는 parameter server에 수집이 된다. 아래 그림과 같이 ML engine에서 분산 된 교육 작업을 수행하고 datalab으로 예측을 실행한다. 텐서보드로 시각화까지 해보장 앞부분은 설정과 데이터를 다운로드 받는 부분이므로 쉽다. 앞부분의 설정이 ..

2019. 2. 22. 19:47

2019년

전체 내용은 아래를 보고 참조했다. https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute-engine 12개월 무료 평가판으로 시행! 일단 홈페이지에서 체크하라는 시작하기 전에 3가지를 확인한 다음 진행한다. 1. compute engine 생성 2.결제 설정 3.API 설정 Cloud Shell로 이동해서 홈페이지에 있는걸 차근차근 따라해보자. 템플릿 인스턴스 만들기 upsidejiwon@cloudshell:~ (tensorproject)$ gcloud config set compute/zone us-east1-c Updated property [compute/zone]. upsidejiwon@cloudshell:~ (..

2019. 2. 22. 19:03

2019년

tensor를 하다가 spark이랑 같이 돌려볼수 있나? 라고 생각해서 검색해봤더니 역시나 있다 해보자. 야후에서 배포하는 TensoFlowOnSpark를 먼저해보자 https://github.com/yahoo/TensorFlowOnSpark YARN 버전은 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 나는 standalone으로 구동하겠다. https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_Standalone 가이드라인이 잘 되어 있어서 그대로 따라하면 문제가 없을 것 같다. 설치는 그냥 $ pip install tensorflowonspark Installing collecte..

2019. 2. 22. 15:50

2019년

Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set. export PYSPARK_PYTHON=/usr/bin/python export PYSPARK_DRIVER_PYTHON=/usr/bin/python이 두가지를 spark-env.sh에 추가해준다.

2019. 2. 22. 14:48

2019년

http://sungsoo.github.io/2016/06/20/tensorflow-introduction.html 제발 없어지지 않길 바라며...

2019. 2. 21. 18:32

2019년

텐서플로우의 분산 병렬성은 gRPC 통신 프레임워크를 기반으로 한다. 텐서플로우의 분산,병렬 처리기능은 2016년 4월에 정식 릴리즈되었다고 한다. 단일/분산 처리는 다음과 같은 차이를 가지고 있다. 단일에서는 한 프로세스 안에서 모든게 돌아가지만 분산에서는 클ㄹ라이언트,마스터,워커가 다른 process에서 작동한다. client process는 세션 인터페이스를 통해 master process와 통신한다.master process는 cpu/gpu에서 연산을 실행시키는 역할을 해서 worker process에게 연산을 할당 한다. 그림 출처 : http://sungsoo.github.io/2016/06/20/tensorflow-introduction.html 예제를 돌리면 결과는 잘 나온다. 전체 코드는..

2019. 2. 21. 11:51