데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Database

오랜만에 여유가넘치는 주말이다! ㅎㅎㅎㅎ나른한 오전을 위해 내가좋아하는 디비를 공부해보쟈 관계란?관계라는것은 두 엔티티사이의 논리적인 관계를 말한다. 애매한 동사로는 관계를 정의하지 않고 현재형으로 표현한다. 부서는 사원을 포함하고 사원은 부서에 소속된다 관계의 차수자 이제 관계의 차수에 대해 알아보자. 내가 세상에서 제일 햇갈려하는 부분이다. 오늘 확실히 알아보자차수는 3가지가 있다. 1:1 1:N N:M 관계차수는 두 엔티티간에 관계에서 해당테이블의 참여자 수를 표현한다.1이면 1번 N,M이면 여러번~ 1:1의 관계 : 한 부서는 한 명의 사원을 포함한다.한 사원은 한 부서에 속한다. 예제가 썩 좋진 않지만 아무튼 서로 한개씩 갖는 커플같은 관계다. 1:N의 관계 : 한 부서에는 여러 사원을 포함한다..

2017. 9. 2. 09:56

2017년/Database

http://docs.sqlalchemy.org/en/latest/orm/basic_relationships.html 관계에대한 이해도가 부족한것같아 공식문서를 다시읽어보았다. 1. 1:N 관계class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) children = relationship("Child") class Child(Base): __tablename__ = 'child' id = Column(Integer, primary_key=True) parent_id = Column(Integer, ForeignKey('parent.id')) 양방향관계(서로 참조)를 설정할경우 class Parent(Base)..

2017. 8. 29. 15:03

2017년/Spark

예제를 실행해보기전에! sparkR 설치 -docker 이미지로설치하기-도커로 spark 설치 삽질기 -sparkR 설치하는방법 (우분투기준)

2017. 8. 28. 21:34

2017년/machine learning

K-NN 알고리즘 -분류되었거나, 분류되지 않은 객체가 있을때 아직 분류되지 않은 객체를 자동으로 분류하려는 객체와 유사한 속성을 가진 객체들을 참고하여 분류하는것 -선형회귀의 결과값은 연속적인 값이기 때문에 범주형값(그렇다,아니다..등등)의 결과값을 받기 어려울때 사용한다.결과값의 경계를 두는것이다. 없음

2017. 8. 28. 17:11

2017년/etc.

개강이다ㅠ_ㅠ 이번 겨울방학때 포스팅했던 포스트들을 정리해보려 한다... 가장먼저 나는 도커에 대해 알아보고자 블로그를 열었던 것같다. 나의 첫 포스팅인 도커란?을 시작으로 도커에 대해 알아보았고 도커의 설치법을 아아보고 도커를 사용해보고자 하였다.이때는 도커file도 읽을 줄모르고 이게 뭐지하고 복붙만 하고 뭔지몰라 콘테이너,이미지를 삭제하기 수차례였다.지금은 도커를 먼저 떠올리고있다.도커를 알고난뒤 도커에서 spark를 깔았다 어떻게 명령어 하나로 개발환경이 다 구축되는지 ㅠㅠ흑흑 세상참 좋아졌다. 연구과제때문에 처음접하게 된 구글플랫폼! 아직도 많이 알지는 못하지만 한것에대해서는 여러번 포스팅했던 것 같다. datalab을 처음만져보았을때 notebook이라는 개념도 없어서 많이 어려워했던 것같다...

2017. 8. 28. 13:54

2017년/machine learning

https://medium.com/@jongdae.lim/%EA%B8%B0%EA%B3%84-%ED%95%99%EC%8A%B5-machine-learning-%EC%9D%80-%EC%A6%90%EA%B2%81%EB%8B%A4-part-1-9a0297198ad8

2017. 8. 21. 20:47

2017년/Spark

왜이렇게 자꾸 햇갈리는지 모르겠다. 오늘은 https://www.slideshare.net/databricks/enabling-exploratory-data-science-with-spark-and-r 이것을 보고 공부를 해봤다. sparkR이 무엇인가?-spark에 R 프론트엔드를 제공함-R의 단점인 데규모 데이터셋에대한 메모리관리를 spark가 커버쳐줌 (그래서 로컬 메모리 필요x) ( spark의 분산처리를 r이 쓸수있도록함)-R과 spark 데이터프레임사이에 편리한 상호작용을 제공 아키텍쳐드라이버-2가지의 구성요소 ( 드라이버,워커 )-분산된 데이터 자체는 jvm에 있음!!!!!-R에서 jvm에 바인딩되어(묶이다라는 뜻으로 R에서 jvm의 함수를 호출할 수 있도록 하는.. ) 즉 sparkR이라면..

2017. 8. 18. 16:00

2017년/Spark

지도학습 분류-Decsision Tree(결정 트리) : 어떤 항목에 대한 관측 값과 목표 값을 연결 시켜주는 예측 모델로써 결정 트리를 사용 [의사결정트리 -Logistic Regression(회귀분석) : 관찰된 연속형 변수들에 대해 두 변수 사이의 관계를 구해 적합도를 측정 ,Discriminant Analysis -K-NN,CBR-Naive Bayes-SVM,Neural Network-Ensemble(Bagging,Boosting,Random Forest) 예측과 추정-linear Regression-Regression Tree,Model Tree-SVM(Support Vector Machine)-Neural Network,Deep Learnin-APRIMA,Exponential Smoothing..

2017. 8. 18. 13:24