데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/지식

https://link.springer.com/chapter/10.1007/978-3-319-56991-8_27 1) Footage : 이미 촬영된 필름 2) MPEG-7 : 영상, 음성등의 멀티미디어 정보를 포함한 DB에서 표현 방법을 규정하는 국제 표준화2-1) MPQF : 멀티 미디어 검색을 위한 질의 포맷 표준 내용(MPEG-7에서 제공) 1) QueryByMedia: 유사 또는 완전 질의 지정 2) QuertByFreeText: 집중 또는 무시할 필드를 선언 3) SpatialQuery: 공간 요소를 검색4) TemporalQuery: 비디오 영상 같은 연결 된 객체 내에서 임시 3) 음성인식은 MPQF기준에 만족하지 못하고 영상에서는 text index사용이 어려움 4) GoogleNet 네트..

2018. 3. 23. 16:10

2018년/Java

멀티스레드 프로그래밍이란? 프로그램의 명령문이 실행되는 순서를 따라가다보면 길게 연결된 한 가닥 실과 같은 흐름을 스레드(한가닥 실이라는 뜻)라고 합니다.스레드를 한개만 가지고 있으면 싱글 스레드 스레드를 두개 이상 가지고 있으면 멀티 스레드라고 합니다. 멀티스레드의 작동 방식처음 자동으로 시작되는 메인 스레드 외에 다른 스레드는 생성 위치에서 시작하여 끝이난다. 프로그램은 이 모든 스레드가 끝나야 끝이 난다. 멀티스레드 프로그램의 작성 방법 스레드 프로그램을 작성하기 위해선 Thread class와 Runnable interface를 이용할 수 있다. Thread Class 이용예를 들어서 아래와 같은 영문/숫자 출력 프로그램 코드를 작성한다고 해봅시다 결론 코드부터 보면 아래와 같습니다. 1) Thr..

2018. 3. 19. 21:02

2018년/DataBase

데이터 마이닝 개념과 기법을 보고 공부한 내용 이 책은 다양한 분야의 데이터로부터 흥미 있는 패턴을 발견하기 위한 데이터 마이닝의 기본 개념과 기술에 초점을 맞추어 효과적이고 효율적이며 스케일 변환이 가능한 데이터 마이닝 툴을 개발하기 위한 주요 기술에 대해 강조하여 설명하고 있다. 1장은 아래와 같이 이루어져있다. 1. 왜 데이터 마이닝에 대한 수요가 증가하는지?어떻게 IT 발전과정의 일부가 되었는지?2. 지식 발견 프로세스 관점에서 데이터마이닝이란?3. 마이닝 데이터4. 지식5. 사용 기술6. 적용 분야7. 주요 데이터 마이닝 연구와 개발 이슈사항 1.1 왜 데이터 마이닝인가? 책에서 바로 아래에 이렇게 적혀있다 " 필요는 발명의 어머니다. " - 플라톤데이터는 누구나 알듯이 굉장히 많이 쌓여간다. ..

2018. 3. 15. 20:49

2018년/Java

오류는 시스템상으로 나타나기때문에 개발자가 어찌할 수 없다. 반면에 예외는 내가 구현한 로직에서 문제가 생긴것이다. 프로그램 실행 중 발생하는 에러인 Exception은 (1) 연산자에 의해 발생(2) 메서드 호출에 의해 발생(3) throw문을 이용하여 인위적으로 발생 예외는 (1) try catch문으로 처리되거나 (2) throw로 던질 수 가 있는데 던져진 예외는 (1) 메서드 호출문이 속하는 try catch문에 의해 처리되거나 (2) 다시 던져질 수도 있으며 끝까지 처리가 안되면 main 메서드 밖으로 던져지게 되고 자바 가상 기계가 예외를 잡아 에러 메시지를 출력하고 프로그램을 종료시킴 익셉션 객체와 익셉션 클래스 자바에서 익셉션은 객체로 만들어지기 때문에, catch절에서도 해당 객체를 대..

2018. 3. 15. 20:47

2018년/spark

아 info 너무 많다. 없에자 "{스파크 설치경로}/conf/log4j.properties" 파일을 수정하자. *INFO 를 WARN으로 해도좋군!

2018. 2. 28. 16:04

2018년/Error

"WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable" 하둡 설정파일 중 "hadoop-env.sh"에 다음과 같이 2줄을 추가해줌 이래도 안되면 https://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-warning 를 참고하자면 재설치를 하라는건데....그런데 중요한것은 경고일뿐이므로 기능에는 영향 미치지 않음!

2018. 2. 28. 11:35

2018년/Error

Spark가 실행될때 SparkContext가 sc로 이미 생성이 되어서 발생하는 오류로 (spark 공식홈피 예제 기준) conf가 아니라 sc에 streaming을 바인딩 해주어야 한다. val ssc= new StramingContext(sc,Seconfs(1))

2018. 2. 27. 17:48

2018년/spark

http://weejw.tistory.com/35 무려 작년 7월초 spark streaming을 공부해보자 라는 게시글에 .... 드디어 스트리밍 공부를 한다! ٩(ˊᗜˋ*)و Spark Streaming 스트리밍 데이터는 날씨나 log 데이터 처럼 계속해서 생성되어 쌓이는 데이터를 말한다. SparkStreaming은 이 데이터를 배치 주기를 짧게 나누어서 실시간인 것처럼 처리 하는것이다. 출처 : spark 공식 사이트 연속 된 데이터 스트림을 Discretized Stream 또는 DStream이라고 하며 일련의 RDD로 표현된다. DStram은 입력 데이터로부터 생성하거나 다른 DStream으로부터 연산결과로 생성할 수 있다. DStream 1) 연속된 데이터를 나타내기 위한 추상모델 2) 데이..

2018. 2. 27. 17:22