-
Exception in thread "main" org.apache.spark.SparkException: Task not serializable
2019. 1. 23. 21:23
spark context serializable에 관한 글*객체 직렬화를 위해 object에 따로 변수 두기
https://stackoverflow.com/questions/31664819/spark-how-to-use-sparkcontext-within-classes?rq=1
RDD는 drive에서만!
https://stackoverflow.com/questions/31448069/sparkcontext-not-serializable-inside-a-companion-object
위지원데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨
'2019년' 카테고리의 다른 글
python3 설치 (0) 2019.02.19 Error: Cannot retrieve repository metadata (repomd.xml) for repository: c6-media. Please verify its path and try again (0) 2019.02.19 Spark submit 메모리 오류 (1) 2019.01.23 localhost: JAVA_HOME is not set (0) 2019.01.22 -bash-4.1$ 이라고 변경되었따.. (0) 2019.01.22