데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2019년

localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/cluster/spark-2.3.2-bin-hadoop2.7/logs localhost: failed to launch: nice -n 0 /usr/local/cluster/spark-2.3.2-bin-hadoop2.7/bin/spark-class org.apache.spark.de localhost: JAVA_HOME is not set 왜일까..?/etc/profile에 있던 java_home을 ~/.bashrc로 했더니 위에 해당 문구가 사라졌다^_^ https://stackoverflow.com/questions/29170280/java-home-erro..

2019. 1. 22. 21:00

2019년

그냥 다시 재접했는데 갑자기 -bash-4.1$ 로 쉘 좌측이 변경되고 환경변수 잡힌것도 안된다. vi /etc/profile 열어서 아래 내용 추가 if [ -x /usr/libexec/path_helper ]; then eval `/usr/libexec/path_helper -s` fi if [ “${BASH-no}” != “no” ]; then [ -r /etc/bashrc ] && . /etc/bashrc fi 라고 /etc/profile에 아무곳에나 추가하고 source /etc/profile로 저장하면 원래대로 됨 환경변수 안잡혔던건 그냥 ~/.bashrc 를 source를 다시해주니까 된다 띠용? *추가 재접하니까 또 풀린다 ~/.bash_profile 에 if [ -f ~/.bashrc ]..

2019. 1. 22. 20:53

2019년

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_root/26952 Try using the -Djava.io.tmpdir= option to select an alternate temp location. find /tmp -ctime +10 -exec rm -rf {} +사용한지 10일이 넘은 파일과 폴더를 삭제한다. https://askubuntu.com/questions/380238/how-to-clean-tmp

2019. 1. 21. 20:21

2019년

spark-default.conf spark.master spark://ui주소 spark.eventLog.enabled true spark.eventLog.dir file:////경로 spark.driver.cores 4 spark.driver.memory 3g spark-env.shSPARK_MASTER_HOST=마스터 IP SPARK_WORKER_MEMORY=3g SPARK_WORKER_INSTANCES=3 노드가 여러개일 경우 slave 파일에 노예(ㅠㅠ)들의 호스트명을 작성

2019. 1. 21. 15:40

2019년

https://stackoverflow.com/questions/35169015/spark-ui-showing-0-cores-even-when-setting-cores-in-app 나 또한 executor의 메모리를 너무 크게 잡은것이 원인이였다.

2019. 1. 21. 15:37

2019년

$ ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ ssh localhost

2019. 1. 16. 20:44

2019년

spark-env.sh에SPARK_WORKER_INSTANCES=3 를 이용하면 instance 개수 조정가능

2019. 1. 16. 20:27

2019년

리눅스 마스터 1급 표준교재 (2005)국내도서저자 : 한국정보통신인력개발센터출판 : 사이텍미디어 2005.06.20상세보기 리눅스에 관한 재밌는 만화가 있어서 공유해본다 링크 리눅스는 아래와 같은 역사를 지녔다. 리눅스와 커널 사진 출처 : http://mintnlatte.tistory.com/148 위에 사진을 보면 사용자가 명령이나 프로그램을 실행하면 리눅스 커널에서 제공되는 system call이나 libray 함수를 통해 커널의 기능을 수행할 수 있도록 설계되어있다. 커널이란 한마디로 말해 OS에서 가장 핵심적인 역활인 자원을 관리하며 시스템이 원할히 돌아갈 수 있도록 제어해주는 것이다. 리눅스는 실제로 리눅스라는 커널과 수많은 GNU 소프트웨어가 결합된것으로써 GNU/Linux를 운영체제라고 ..

2019. 1. 10. 20:20