데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2019년

전체 코드는 https://github.com/tensorflow/tensorflow/blob/r0.7/tensorflow/models/image/cifar10/cifar10_multi_gpu_train.py 텐서 플로우의 병렬성은- 모델 병렬성 : 주요 원칙은 모델 중의 다른 계산 노드를 서로 다른 하드웨어 리소스에 배치하여 연산 - 데이터 병렬성 : 대규모 병렬 처리를 구현하기 위해 일반적으로 사용한다. 으로 구분된다. 아래의 명령어로 데이터를 미리 준비해두자. $ git clone https://github.com/tensorflow/models.git 다운 받은 폴더에 models/tutorials/image/cifar10에 가면 cifar10_multi_gpu_train.py라는 파일이 있다. ..

2019. 2. 20. 20:23

2019년

준비물은 0. 버츄어 박스 6버전 1. 버츄어 박스에 설치한 우분투 18.0.4.2.LTS2. pip33. tensorflow로 텐서플로우 설치4. virtualenv 설치 텐서플로우 원리와 응용을 읽고 공부한 내용 텐서보드란?- 텐서플로우의 공식 시각화 도구로 scala,이미지,오디오등 여러 요약 데이터를 표시 할 수 있다.- 설계한 신경망을 이해하고, 디버그, 최적화를 위해 사용할 수 있다. 어떻게?1. 텐서플로우 계싼 그래프를 실행한는 동한 데이터를 요약하고 로그에 기록한다.2. 이 로그 파일을 텐서보드에서 읽어 해석및 시각화 하는 웹페이지를 생성한다. 사용방법은? 아래와 같이 --logdir로 텐서플로우 로그 경로를 지정한 뒤 실행하면 바로 다음에 오는 경로로 TensorBorad 웹페이지로 접속..

2019. 2. 20. 18:30

2019년

*zlib 설치 https://syaku.tistory.com/69 *pip3 설치 $ python3 -m ensurepip *setuptool 설치 https://serverfault.com/questions/537862/install-python-setuptools-on-centos-6 mark Francis님의 글

2019. 2. 19. 20:36

2019년

curl https://bootstrap.pypa.io/2.6/get-pip.py | python

2019. 2. 19. 20:30

2019년

https://www.python.org/downloads/ 에서 경로를 얻어온다. 원하는 버전을 클릭하면 아래쪽에 Files가 있는데 이중에서 난 XZ com...[생략]을 받았다. 압축을 풀어준뒤 해당 파일로 이동한다. [root@node2 python3]# wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz --2019-02-19 19:51:43-- https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz Resolving www.python.org... 151.101.228.223, 2a04:4e42:15::223 Connecting to www.python.org|151.101.22..

2019. 2. 19. 19:59

2019년

Loading mirror speeds from cached hostfile * c6-media: file:///media/CentOS/repodata/repomd.xml: [Errno 14] Could not open/read file:///media/CentOS/repodata/repomd.xml Trying other mirror. file:///media/cdrecorder/repodata/repomd.xml: [Errno 14] Could not open/read file:///media/cdrecorder/repodata/repomd.xml Trying other mirror. file:///media/cdrom/repodata/repomd.xml: [Errno 14] Could not ope..

2019. 2. 19. 19:47

2019년

spark context serializable에 관한 글 https://stackoverflow.com/questions/38807066/unable-to-serialize-sparkcontext-in-foreachrdd *객체 직렬화를 위해 object에 따로 변수 두기 https://stackoverflow.com/questions/31664819/spark-how-to-use-sparkcontext-within-classes?rq=1 RDD는 drive에서만! https://stackoverflow.com/questions/31448069/sparkcontext-not-serializable-inside-a-companion-object

2019. 1. 23. 21:23

2019년

2019-01-23 14:56:35 ERROR TaskSchedulerImpl:70 - Lost executor 1 on 203.255.92.x: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages. 2019-01-23 14:56:36 ERROR TaskSchedulerImpl:70 - Lost executor 0 on 203.255.92.x: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues...

2019. 1. 23. 15:09