데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/spark

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ㅜ_ㅜ 이놈의 에러는 뭐 아주그냥 나의 베스트 프렌드~^.~ http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html 이거보면 native build 필요 [root@cl3 hadoop-2.7.6]# hadoop checknative 18/07/24 11:25:17 WARN util.NativeCodeLoader: Unable to load native-hadoop l..

2018. 7. 24. 12:49

2018년/Error

buld.sbt에 아래와 같이 추가 libraryDependencies += "org.apache.spark"% "spark-core_2.10"% "1.6.3" 아니면 예를 들어 아래와 같이 워닝이 뜨면 디펜던시를 추가해주면 됨 * com.google.code.findbugs:jsr305:1.3.9 is selected over 2.0.1 * com.google.guava:guava:14.0.1 is selected over 11.0.2* commons-net:commons-net:2.2 is selected over 3.1 libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % sparkVersion, "com.google.guava" % ..

2018. 7. 19. 16:06

2018년/spark

공식홈페이지에 나와있는 것처럼 아래와 같이 scala코드 한개와 sbt를 위한 build.sbt 파일 두개를 생성한다.sbt는 여기서 다운받을 수 있다. 환경변수만 잡아주면 그냥 사용할 수 있다. /* SimpleApp.scala */ import org.apache.spark.sql.SparkSession object SimpleApp { def main(args: Array[String]) { val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system val spark = SparkSession.builder.appName("Simple Application").getOrCreate() val logData = spa..

2018. 7. 18. 15:49

2018년/지식

우선 ssh접속은 인텔리J ultimate버전만 가능하다 ( 학생용 메일로 무료 겟... https://www.jetbrains.com/student/ ) Configuration에 들어가서 +버튼을 누르고 접속할 사이트의 정보를 입력해준다 (SFTP로 설정하여야한다고 한다) 매핑에는 이제 로컬과 해당서버에서 작업할 위치를 작성해준다. tool에 가면 start ssh session이 나오고 그럼 내가 위에서 작성한 정보의 서버로 접속하면 된다. tool에서 Browse Remote Host를 누르면 우측에 파일트리가 나타난다. 와웅 짱이다 흑흑 ㅠㅠ해피 GMTDetect languageAfrikaansAlbanianArabicArmenianAzerbaijaniBasqueBelarusianBengaliB..

2018. 7. 18. 15:22

2018년/지식

$ systemctl stop firewalld #끄기 $ systemctl disable firewalld #재부팅해도 안켜지게하기 $ systemctl status firewalld #상태확인하기

2018. 7. 17. 18:04

2018년/DataBase

http://mirror.navercorp.com/centos/7/isos/x86_64/ 위에서 iso 파일을 다운받아주고, vmware에 설치한다. 자바를 다운받고 *쿠키 부분을 앞쪽에 추가해 주어야한다. $sudo curl -O -v -j -k -L -H "Cookie: oraclelicense=accept-securebackup-cookie" http://http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-i586.rpm 뒤에 http:~~부분은 http://www.oracle.com/technetwork/java/javase/downloads/index.html 여기..

2018. 7. 17. 15:24

2018년/지식

SHOW VARIABLES WHERE Variable_Name LIKE "%dir"

2018. 6. 5. 14:42

2018년/알고리즘

2018. 4. 19. 20:54