데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2021년/개발공부

원본 논문 Wide & Deep Learning for Recommender Systems Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are arxiv.org 무엇을? Wide 선형 모델 + DNN 모델 공동 훈련이 가능한 wide&deep learning 제시 선형 모델: y = w^Tx+b 필요성 ..

2021. 4. 14. 15:13

2019년

전체 내용은 아래를 보고 참조했다. https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute-engine 12개월 무료 평가판으로 시행! 일단 홈페이지에서 체크하라는 시작하기 전에 3가지를 확인한 다음 진행한다. 1. compute engine 생성 2.결제 설정 3.API 설정 Cloud Shell로 이동해서 홈페이지에 있는걸 차근차근 따라해보자. 템플릿 인스턴스 만들기 upsidejiwon@cloudshell:~ (tensorproject)$ gcloud config set compute/zone us-east1-c Updated property [compute/zone]. upsidejiwon@cloudshell:~ (..

2019. 2. 22. 19:03

2019년

tensor를 하다가 spark이랑 같이 돌려볼수 있나? 라고 생각해서 검색해봤더니 역시나 있다 해보자. 야후에서 배포하는 TensoFlowOnSpark를 먼저해보자 https://github.com/yahoo/TensorFlowOnSpark YARN 버전은 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 나는 standalone으로 구동하겠다. https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_Standalone 가이드라인이 잘 되어 있어서 그대로 따라하면 문제가 없을 것 같다. 설치는 그냥 $ pip install tensorflowonspark Installing collecte..

2019. 2. 22. 15:50

2019년

텐서플로우의 분산 병렬성은 gRPC 통신 프레임워크를 기반으로 한다. 텐서플로우의 분산,병렬 처리기능은 2016년 4월에 정식 릴리즈되었다고 한다. 단일/분산 처리는 다음과 같은 차이를 가지고 있다. 단일에서는 한 프로세스 안에서 모든게 돌아가지만 분산에서는 클ㄹ라이언트,마스터,워커가 다른 process에서 작동한다. client process는 세션 인터페이스를 통해 master process와 통신한다.master process는 cpu/gpu에서 연산을 실행시키는 역할을 해서 worker process에게 연산을 할당 한다. 그림 출처 : http://sungsoo.github.io/2016/06/20/tensorflow-introduction.html 예제를 돌리면 결과는 잘 나온다. 전체 코드는..

2019. 2. 21. 11:51

2019년

준비물은 0. 버츄어 박스 6버전 1. 버츄어 박스에 설치한 우분투 18.0.4.2.LTS2. pip33. tensorflow로 텐서플로우 설치4. virtualenv 설치 텐서플로우 원리와 응용을 읽고 공부한 내용 텐서보드란?- 텐서플로우의 공식 시각화 도구로 scala,이미지,오디오등 여러 요약 데이터를 표시 할 수 있다.- 설계한 신경망을 이해하고, 디버그, 최적화를 위해 사용할 수 있다. 어떻게?1. 텐서플로우 계싼 그래프를 실행한는 동한 데이터를 요약하고 로그에 기록한다.2. 이 로그 파일을 텐서보드에서 읽어 해석및 시각화 하는 웹페이지를 생성한다. 사용방법은? 아래와 같이 --logdir로 텐서플로우 로그 경로를 지정한 뒤 실행하면 바로 다음에 오는 경로로 TensorBorad 웹페이지로 접속..

2019. 2. 20. 18:30