-
Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
export PYSPARK_PYTHON=/usr/bin/pythonexport PYSPARK_DRIVER_PYTHON=/usr/bin/python이 두가지를 spark-env.sh에 추가해준다.
위지원데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨
'2019년' 카테고리의 다른 글
Google Cloud Platform 을 이용해 분산 텐서플로우를 사용해보자 (0) 2019.02.22 tensorflow를 spark과 함께 돌려보자(yahoo의 tensorflowonSpark) (0) 2019.02.22 텐서플로우 분산 병렬처리 동기/비동기 를 훌륭하게 설명한 블로그 (0) 2019.02.21 텐서플로우 분산 병렬 처리 (0) 2019.02.21 텐서플로우 GPU병렬성 (0) 2019.02.20