spark 기본 설정 *메모*

spark-default.conf

spark.master spark://ui주소
spark.eventLog.enabled true
spark.eventLog.dir file:////경로
spark.driver.cores              4
spark.driver.memory          3g

spark-env.sh

SPARK_MASTER_HOST=마스터 IP
SPARK_WORKER_MEMORY=3g
SPARK_WORKER_INSTANCES=3

노드가 여러개일 경우 slave 파일에 노예(ㅠㅠ)들의 호스트명을 작성