데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/machine learning

막상또 모델을 생성하려하니 일전에 햇던게 기억이안난다. 간단하게 다시 알아보자.선형회귀란 쉽게 말해 종속변수 y(목표값) 와 한개이상의 독립변수(영향을 미치는..설명변수)x와의 선형 상관관계를 모델링하는 회귀분석 기법이때 독립변수가 여러개이면 다중선형회귀라고 한다. 알고리즘 선정에 대한 글을 읽었을 때 목적값의 형태가 수치값이면 회귀를 선택하라고 나와있다. (회귀,선형회귀,가중치부여회귀등..) 식으로 나타내면 y=x1w1+x2w2+b 이때 w가 하나의 가중치이다. 코드 출처 https://deeptensorflow.github.io/2017/02/19/what-is-linear-regression-with-tensorflow/ 우선 종속변수와 독립변수의 데이터를 준비한다. x=[1,2,3] 독립변수y=[..

2017. 8. 16. 11:19

2017년/Database

프로시저 저장 프로시저란 -Mysql 5.0이상 버전에서 사용할 수 있다.-여러개의 sql문을 하나의 sql문처럼 정리하여 "call 프로시저이름"으로 실행할 수 있게 한 것이 저장 프로시저-중요한 데이터가 축적된 디비에서 검증되지 않은 프로시저 실행은 위험하다 프로시저의 기본 모양create procedure [프로시저이름](매개변수) beginsql문end delimiter로 구분 문자를 변경하기sql문은 ;로 끝나는데 기본 구분자가 ;로 정해져있기때문에 구분문자를 변경하지 않으면프로시저내에서 한가지의 sql문이 동작한뒤 실행되어버린다. ex. delimiter // : //로 구분자를 변경한다. 예제 실행해보기기 delimiter //create procedure test()beginselect *..

2017. 8. 15. 19:17

2017년/web Development

요근래 공부한것중 jpa는 너무나도 흥미로운 것인것같다 오늘은 spring jpa를 아침부터 공부해보자!자바 orm jpa 프로그래밍 김영한지음을보고 공부한내용 개요 jpa 데이터 접근계층은 일명 CRUD로 부르는 등록,수정,삭제,조회를 반복해서 개발해야한다.. 이것은 직관적으로 봐도 꽤나 비효율적이다. 그렇다면 이런 기능을 가진 클래스를 상속받는건 어떨까?하지만 이방법은 부모클래스에 너무 종속적이며 구현 클래스 상속이 가지는 단점에 노출되어버린다! 그래서 오늘 공부하려는게 spring jpa다. spring data jpa는 spring framework에서 jpa를 편리하게 사용할 수 있도록 지원하는 프로젝트이다.위에서 말한 CRUD의 반복을 피하기 위해 CRUD를 지원해주는 인터페이스를 제공해 인터..

2017. 8. 13. 09:55

2017년/Spark

논문 http://getliner.com/webpdf/web/viewer.html?file=b4b0049c03bf34257d7779ff722732b4f926b11c.pdf를 보고 공부한 내용 Scaling R Programs with Spark R은 데이터 처리,머신런닝 학습 작업을 지원하는 통계 프로그래밍 언어로 데이터프레임을 사용하여 구조화 된 데이터 처리를 지원하고 통계 분석 및 시각화를 위한 여러 패키지를 포함하고 있음 그러나 R의 대화형 데이터 분석은 일반적으로 단일스레드형식으로 동작하여 제한적이며 대용량 데이터 세트에 실용적이지않고 단일 기계메모리에 맞는 데이터 세트만 처리할 수 있음 그래서 더 나은 i/o지원 hadoop과의 통합 및 dbms엔진과 통합 될 수 있는 runtimes 설계해서 ..

2017. 8. 12. 12:28

2017년/Database

우선 알아보기전에 InnoDB에 대해 알아보자 InnoDb란 스토리지 엔진이다. 검색해보니 MyISAM과 많이 비교하고 있다. 나도 비교하면서 보겠다. MyISAM : MyISAM은 ISAM(indexed Sequential Access Method)의 업그레이드 버전으로 non-transactional-safe테이블을 관리 모델디자인이 단순하다는게 장점이라서 전체적인 속도가 InnoDB보다 빠른데 특히 select 속도가 빨라 읽기 작업에 적합하다. 하지만 -데이터 무결성이 보장되지 않는다. -트랜잭션 지원이 없다. ( 문제가 생겨도 데이터 입력을 그냥 해버린다 ;; ) -table-level-lock을 지원해 insert update등의 쓰기 속도가 느리다. 결론적으로 MyISAM은 읽기만 필요한 작..

2017. 8. 11. 11:49

2017년/web Development

날라갔다...후 jpa란 자바진영의 orm 기술 표준이다.애플리케이션과 jdbc 사이에서 동작한다. orm은 객체과 관계디비를 매핑한다는 뜻으로 프레임워크이다.과거에는 자바빈즈라는 기술을 이용했지만 너무 비효율적이였다.그래서 하이버네이트라는 오픈소스 orm 프레임워크가 등장했고 이 EJB 3.0에서 하이버네이트 기반으로 새롭게 드장한 orm기술이 jpa인것이다. 우선 사용하기전 책에 나온 프로젝트 구조를 살펴보면 src/main-java-jpabook/start-jpamain.java (실행 클래스)-member.java (회원 엔티티)-resources-meta-inf-persistence.xml (jpa 설정정보)-pom.xml jpa 구현체로 하이버네이트를 사용하기 위한 핵심 라이브러리는 hiber..

2017. 8. 10. 20:45

2017년/Database

mysql..oracle쓰다가 sqlite도 당연히 되겠지라는 생각으로 사용하다가 괜한 시간낭비를 해버렸다. sqlite에서 지원하지 않는것들을 보자 http://www.sqlite.org/omitted.html RIGHT and FULL OUTER JOIN LEFT OUTER JOIN is implemented, but not RIGHT OUTER JOIN or FULL OUTER JOIN. Complete ALTER TABLE support Only the RENAME TABLE and ADD COLUMN variants of the ALTER TABLE command are supported. Other kinds of ALTER TABLE operations such as DROP COLUMN, ..

2017. 8. 10. 10:20

2017년/machine learning

record_defaults=record_defaults, 출처: http://bcho.tistory.com/1165 [조대협의 블로그] record_defaults=record_defaults, 출처: http://bcho.tistory.com/1165 [조대협의 블로그]1.파일을 텐써로 읽어올때에는.. 큐에 대한 내용은 http://weejw.tistory.com/64 1.파일 목록을 읽어 파일목록 큐에 저장한다2.reader가 큐에서 파일명을 읽어온다.3.decoder 가 파일을 열어서 데이터를 읽어들인다.4.데이터를 정재한다.5.데이터를 학습데이터 큐에 저장한다.6.모델에서 학습데이터 큐에서 데이터를 읽어 학습한다. 라고한다. 하지만 우리는 우선적으로 파일하나를 이용하기 때문에 3. 부터 진행한다..

2017. 8. 7. 13:48