캐글을 써보자

아래 영상을 따라했다.

programmers.co.kr/learn/courses/21/lessons/937#note

실습으로 배우는 데이터 사이언스 - 설문조사 응답 분석 1

 

우선 시작에 앞서 캐글에 가입하고 API키를 다운받아준다. My Account가면 있다.

 

캐글 API를 설치해줘야한다. 나같은 경우는 경로를 쉽게 알아보기 위해 그냥 경고 메세지를 일부로 띄었다. 해당 경로에 다운로드 받은 json파일을 옮겨준다.

 

ubuntu@2897f29dd20d:~$ kaggle

Traceback (most recent call last):

  File "/home/ubuntu/anaconda3/bin/kaggle", line 6, in <module>

    from kaggle.cli import main

  File "/home/ubuntu/anaconda3/lib/python3.7/site-packages/kaggle/__init__.py", line 23, in <module>

    api.authenticate()

  File "/home/ubuntu/anaconda3/lib/python3.7/site-packages/kaggle/api/kaggle_api_extended.py", line 166, in authenticate

    self.config_file, self.config_dir))

OSError: Could not find kaggle.json. Make sure it's located in /home/ubuntu/.kaggle. Or use the environment method.

 

나는 도커를 사용중이라 cp를 이용해 로컬에서 도커로 전송했다.

 

jiwonwee@Jiwonui-MacBookPro Downloads % docker ps

CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS                    NAMES

2897f29dd20d        ubuntu:18.04        "/bin/bash"         6 days ago          Up 22 minutes       0.0.0.0:8888->8888/tcp   vigorous_brahmagupta

jiwonwee@Jiwonui-MacBookPro Downloads % docker cp kaggle.json 2897f29dd20d:/home/ubuntu/.kaggle

 

사용한 데이터는 아래에서 받을 수 있다.

www.kaggle.com/kaggle/kaggle-survey-2017

2017 Kaggle ML & DS Survey

 

아래 사이트에 접속하면 다음과 같이 Copy API Command가 있다. 카피해서 데이터 파일을 저장할 곳을 선택하여 붙여주면 된다.

나는 주피터의 터미널을 이용했다.

주피터에서 사용하는 터미널

 

ubuntu@2897f29dd20d:~/project$ mkdir data

ubuntu@2897f29dd20d:~/project$ cd data

---

위의 강의에서 얻어낸 몇가지 유용한 시각화 방법을 기록하려 한다.

 

1. nan 비율 시각화

2. 추세선과 함께있는 bargraph와 countplot

3. subplot으로 그래프 두개 나타내기 및 이쁜색 !😍

아래에는 많은게 담겨있다. dropna()도 유용해 보인다. 또한 dp[이름].loc[dp[이름]==뭐뭐뭐] 로 찾는게 더 깔끔하고 보기 좋은 것 같다. 

 

4. 요거는 시각화는 아니지만 , Normalize를 이용하면 비율을 산정할 수 있다.