데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2018년/DataBase

O'REILLY HBASE 완벽가이드를 보고 따라한 내용 2018/07/17 - [2018년 상반기/DataBase] - 험난한 HBASE 설치기 로 HBASE 설치를 완료했다. 이제 책을 보고 공부할 수 있게 되었다 ^-^ 들어가기 전에,,, 1) row 단위의 작업은 원자성이 보장된다. 즉, 읽을때는 항상 일관성이 보장되어 최신 데이터를 읽을 수 있고 쓰기 시도를 할때는 기다려야 한다. -8장에서 다룰 내용이다. 2) HTable 인스턴스를 생성하는 일에는 비용이 든다. 메타 테이블을 스캔해서 HTable이 지정하는 테이블이 존재하고 활성화되어있는지 확인하고 그 외에 작업을 좀 더 수행하기때문이다. 그러니 당연히 인스턴스는 한번만 그리고 스레드당 하나씩만 만들어서 재사용을 하는게 좋다. 3) 그래도 ..

2018. 8. 10. 11:07

2018년/DataBase

http://mirror.navercorp.com/centos/7/isos/x86_64/ 위에서 iso 파일을 다운받아주고, vmware에 설치한다. 자바를 다운받고 *쿠키 부분을 앞쪽에 추가해 주어야한다. $sudo curl -O -v -j -k -L -H "Cookie: oraclelicense=accept-securebackup-cookie" http://http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-i586.rpm 뒤에 http:~~부분은 http://www.oracle.com/technetwork/java/javase/downloads/index.html 여기..

2018. 7. 17. 15:24

2018년/DataBase

데이터 마이닝 개념과 기법을 보고 공부한 내용 이 책은 다양한 분야의 데이터로부터 흥미 있는 패턴을 발견하기 위한 데이터 마이닝의 기본 개념과 기술에 초점을 맞추어 효과적이고 효율적이며 스케일 변환이 가능한 데이터 마이닝 툴을 개발하기 위한 주요 기술에 대해 강조하여 설명하고 있다. 1장은 아래와 같이 이루어져있다. 1. 왜 데이터 마이닝에 대한 수요가 증가하는지?어떻게 IT 발전과정의 일부가 되었는지?2. 지식 발견 프로세스 관점에서 데이터마이닝이란?3. 마이닝 데이터4. 지식5. 사용 기술6. 적용 분야7. 주요 데이터 마이닝 연구와 개발 이슈사항 1.1 왜 데이터 마이닝인가? 책에서 바로 아래에 이렇게 적혀있다 " 필요는 발명의 어머니다. " - 플라톤데이터는 누구나 알듯이 굉장히 많이 쌓여간다. ..

2018. 3. 15. 20:49

2018년/DataBase

http://www.itworld.co.kr/news/108319?page=0,0 정보처리기사 실기에서 신기술동향이런거 물어본다길래 찾아보다가;;;이런글이 있었다. 여기에 나온 단어에대해서 살짝 훑어보면 어떨까해서 가볍게 검색해보았다. 1. NoSQL(Not Only Sql) MySql처럼 우리에게 익숙한 RDBMS가 아닌 다른 형태의 제품을 뜻한다.블로그에서는 nosql 기반 hbase를 한번 공부했었다. 이론뿐이 못했지만 http://weejw.tistory.com/58 1-1.특징으로는 1) schema가 존재하지 않고 2) join과 트랜잭션을 지원하지 않음( 분산 처리 시스템에서 효율적 제공이 어려움 )3) 대부분의 NoSQL 데이터베이스는 분산처리 기능이 목적이며 오픈소스4) 저장/검색에 특화..

2018. 2. 27. 15:01

2018년/DataBase

https://stackoverflow.com/questions/14115867/using-sum-with-multiple-joins-in-mysql/14116067 두 테이블을 join시켜서 sum()결과 값을 얻으려고하니까 말도 안되는 계산이 이루어졌다. 원래는 0인값을 더했으니.. 3이나와야 하는게 아닌가?그런데 row수만큼 곱해지는..? 이상한 현상이 일어낫다. 알아보니 중복되어서 값이 계산되었기 때문이였다.아래의 쿼리로 해결했다. SELECT firstname, lastname, goals, assists, gws, wins, games_played FROM player INNER JOIN (SELECT idplayer, SUM(goal) AS goals FROM goal GROUP BY idp..

2018. 1. 8. 17:07

2018년/DataBase

Full Text Search 검색을 할 때 ' like ... and .. or ' 이런 구문은 안써야한다고 한다. 대신 full text search를 사용하는 것인데 , 컬럼의 전체 내용을 단순한 문자열이라고 생각하고 검색하는 것. 사용하기전 my.ini 파일에서 ft_min_word_len=2 로 수정하고 사용 1) 테이블 생성/ 데이터 입력 2) 검색 - 자연어 : 정확도 순으로 정렬해서 보여준다 - 불린 : 정렬을 하지 않은채 보여준다. Bulk insert기본적으로 레코드를 추가하면 정렬다시하고..인덱스 재구성하고.. 한번에 많은 레코드를 insert하게 되면 느려지고 그렇다. 이런 문제를 방지하기 위해 정렬과 인덱스를 모든 레코드를 다 추가한 뒤에 한번만 하게 하는 것 alter table..

2018. 1. 5. 17:19

2018년/DataBase

1.Meata Data- Data Dictionary : System Catalog라고도 하며 readonly로 mysql에서는 Information_schema라는 데이터베이스로 존재 - Data Directory : DBMS의 모든 데이터가 저장되는 디렉토리로 my.ini의 datadir에 경로가 설정되어있음 2.데이터 베이스 파티셔닝-VLDB(Very Large DBMS) 1) 테이블을 여러개의 군으로 나누어 분산 저장2) dic형태로 구분해서 나누어 저장-Join 연산이 어려워져 Denormaliztion을 이용하여 조인정보를 미리 저장하고 외래키 제약조건을 제거함-장점1) 검색시 필요한 부분만 검색 2) 전체 data 손실이 적다. 이걸 보통 가용성이 높다라고 하며 HA(High availabi..

2018. 1. 3. 19:22