-
Exception: Python in worker has different version 3.6 than that in driver 3.8
2021. 4. 6. 15:21
에러 내용: Exception: Python in worker has different version 3.6 than that in driver 3.8, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
아래 링크를 참고하여 slave master 간 python 버전을 맞춰주었다. (worker가 3.6이였다)
...그래도 안되서 찾다보니, 재작년에 같은 에러를 냈다. 그래도 해결안되서 분노의 재시동을 했더니 됐다 ;
Install Python 3.8 on CentOS 7 / CentOS 8 | ComputingForGeeks
In this guide, you'll learn how to install Python 3.8 on CentOS 7 / CentOS 8. Python is a popular programming language originally created by Guido van Rossum,
computingforgeeks.com
pyspark 에러
Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set. export PYSPARK_PYTHON=/usr/bin/python export PYSPARK_DRIVER_PYTHON=/usr/bin/python 이 두가지를 spark-en..
weejw.tistory.com
위지원데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨
'2021년 > ERROR' 카테고리의 다른 글
데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃♀️ 화이팅!
