데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/Error

>> python.exe -m pip install --upgrade pip >> pip install JPype1 >> pip install konlpy

2018. 11. 15. 11:03

2018년/Error

jpype._jvmfinder.JVMNotFoundException: No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 파이썬과 자바의 버전이 맞지 않아서 발생. 버전을 확인해보자. 파이썬 버전 확인>>> import platform >>> print(platform.architecture()) ('32bit', 'WindowsPE') 자바 버전 확인>>java -version java version "10.0.1" 2018-04-17 Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10) Java HotSpot(TM) 64-B..

2018. 11. 15. 10:05

2018년/Error

http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe 위에 파일 다운받고 원하는 위치에 위치해놓은다음 sparkConf설정하기전에 맨 위에 다음과 같은 코드 추가 *C:\\Hadoop/bin/[위에 다운받은파일] 이렇게 위치해 있음 System.setProperty("hadoop.home.dir", "C:\\Hadoop")

2018. 8. 16. 15:26

2018년/Error

$ hadoop dfsadmin -safemode leave

2018. 8. 6. 17:34

2018년/Error

Task not serializable 에러에 대한 글 https://stackoverflow.com/questions/37285388/spark-scala-task-not-serializable-for-closure

2018. 8. 2. 15:03

2018년/Error

buld.sbt에 아래와 같이 추가 libraryDependencies += "org.apache.spark"% "spark-core_2.10"% "1.6.3" 아니면 예를 들어 아래와 같이 워닝이 뜨면 디펜던시를 추가해주면 됨 * com.google.code.findbugs:jsr305:1.3.9 is selected over 2.0.1 * com.google.guava:guava:14.0.1 is selected over 11.0.2* commons-net:commons-net:2.2 is selected over 3.1 libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % sparkVersion, "com.google.guava" % ..

2018. 7. 19. 16:06

2018년/Error

"WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable" 하둡 설정파일 중 "hadoop-env.sh"에 다음과 같이 2줄을 추가해줌 이래도 안되면 https://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-warning 를 참고하자면 재설치를 하라는건데....그런데 중요한것은 경고일뿐이므로 기능에는 영향 미치지 않음!

2018. 2. 28. 11:35

2018년/Error

Spark가 실행될때 SparkContext가 sc로 이미 생성이 되어서 발생하는 오류로 (spark 공식홈피 예제 기준) conf가 아니라 sc에 streaming을 바인딩 해주어야 한다. val ssc= new StramingContext(sc,Seconfs(1))

2018. 2. 27. 17:48