티스토리

위지원의 개발 일기 🐈
검색하기

블로그 홈

위지원의 개발 일기 🐈

weejw.tistory.com/m

데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

구독자
35
방명록 방문하기
공지 위지원을 더 자세하게 알아보기 👈 클⋯ 모두보기

주요 글 목록

  • 2024년을 떠나보내며,, 회고 📜 벌써 2024년 끝나간다. 아래가 올해 썼던 첫 번째 글이었다. 프사부터 내가 저 때 얼마나 힘들어했는지가 보인다. ㅋㅋㅋㅋㅋㅋ 다 지나갈 것이다.. 🙏🏻 나는 올 하반기 6개월 동안 서울에서 오송을 출퇴근했고, 4시간 정도 소요되었다. (중간에 ktx 파업되었을 땐 5시간 걸린 적도 있다 ㅠㅠ엉엉) 내일 드디어 6개월의 끝이 다가왔다. 다 지나갔다. 🙏🏻 프로젝트 시작 반년, 회고난 2023년 6월 7일에 현재 프로젝트에 투입되었다. 역할은 이행 DBA 겸 데이터엔지니어였다. 그리고 현재 반년이 지났고, 어느 정도 안정화가 되었다. 정말 힘들고, 온몸에 식은땀이 흐르는 하루하weejw.tistory.com 올해는 30대로 접어든 나이어서 아래처럼 회고도 쓰기도 했다. (사실 아직 만 29세지.. 공감수 14 댓글수 4 2024. 12. 26.
  • 태블로 대시보드 바탕 꿀팁(?) 태블로에 보면 주석을 추가해서 영역을 아래와 같이 생성할 수 있다.이것이 무엇에 쓰이냐면 .. 아래와 같이 '부동'으로 바탕에 배치해서 각 주석 칸에 차트를 올려두면 이쁘게 올려둘 수 있다 :) !! 공감수 2 댓글수 1 2024. 11. 22.
  • 태블로 신병훈련소 25기 정리 및 후기 10월 18일부터 11월 1일까지 약 2주간의 태블로 학습을 진행했다. 해당 학습과정을 개인블로그에 올려도 된다는 허락을 받고 진행했던 학습을 한 번 정리해보려한다. 11월 22일 추가: 수료 패키지를 받았다 엄첨 귀엽다 XD#.1일차이미 훈련소 이전에 유투브 영상을 통해 태블로에 대해 어느정도 학습한 상태여서 1일차 과제는 비교적 쉬웠다. 1. 막대차트 - 우리의 뇌는 크기나 너비보다 길이 비교에 좀 더 특화되어 있다. - 막대차트는 참조선(평균, 중간값) 을 표현해 해당 값에 도달했는지 체크하기 유용 - 바인바(Bar in Bar) 차트 등을 통해 목표값에 도달했는지 아닌지 등도 살펴볼 수 있는 등 추가적으로 시각화를 발전시켜 나가기에도 용이 - 막대차트 사용 시 정렬하는 것을 권장한다. 2. 트리맵.. 공감수 13 댓글수 6 2024. 11. 11.
  • Tableau Lod(Level Of Detail) Lod(Level Of Detail)이란?-뷰의 세부 수준을 나타내는 표현방식으로 Fixed, Exclude, Include 가 있음. 현재 뷰에는 영향을 받지 않고, 직접 설정한 수준으로 계산 레벨을 컨트롤 할 수 있음. 공식 문서에서는 아래와 같이 설명하고 있음.- FIXED LOD 식은 나머지 계산에 대한 특정 차원을 설정합니다. 예를 들어 최대값을 환자 ID로 고정하여 데이터 집합의 전체 최대값 대신 각 환자의 최대 혈압을 반환할 수 있습니다.- EXCLUDE LOD 식은 계산을 목적으로 뷰에서 일부 세부 정보를 제거합니다. 예를 들어 뷰가 각 환자에 대한 것이라도 개별 환자를 고려하지 않고 특정 의약품에 대한 환자의 평균 혈압을 고려합니다.- INCLUDE LOD 식은 뷰에 반드시 표시되지 않아.. 공감수 3 댓글수 1 2024. 10. 14.
  • [Tableau] 초보사용자의 기록 - 조회, 초기화 버튼 만들기 이번 업무는 태블로 개발을 맡았다. 태블로가 좋다고 이야기는 많이 들었지만, 이제 직접 만져 본 지 일주일도 안 되어서인지 많이 어렵다고 느껴진다 😭 그래도 익숙해지면 많이 좋아지겠지? 그래서 요 한 3일정도 사용하면서 얻었던(개인적으로 어려워서 고생했던 것들을 조금 정리해보려 한다!) 데이터는 태블로에서 제공하는 superstore로 진행했다. 아래처럼 아주 간단한 대시보드를 하나 만들었다. 1. 시트 만들기: 조회와 초기화 시트 2개를 만들어야 한다. 2. 그다음 계산된 필드 만들기로 조회와 초기화라는 단어를 가진 필드를 만들어준다. 3. 그 다음 조회 시트에서 조회를 행에 드래그해서 넣고 모양을 이쁘게 다듬어줘야 한다.(영상 올렸는데 영상이 짤렸다..아이고) 3-1. 조회를 행에 드래그 하고 마크에.. 공감수 5 댓글수 3 2024. 9. 27.
  • 밤새고 정처기 본 후기 🥳 드디어 정처기 끝! 지긋지긋했던 정처기를 따냈다. 실기 3트째이다. 첫 번째 본건 너무 오래전이라 사실 기억도 안 나고,, 두 번째가 2020년도 1회차.. 합격률 5프로였을 때 회차였다. 그리고 미루고 미루다가.. 올해 필기부터 다시 보고 바로 실기 신청해서 합격했다. 😭😭😭😭 사실 이 시험도 안 보려고 했는데 그 이유는 시험과 대회가 겹쳤었기 때문이었다. 처음엔 둘 중 하나를 포기해야지 않냐고 주변에서도 그랬고, 나 역시도 그렇게 생각해서 고민했다. 그러나, 대회를 포기하자니 내가 올해 최고로 기대했던 대회였고, 기사시험을 포기하자니 더 이상 미룰 수가 없다 생각하고는 둘을 모두 진행하기로 결심했다. 밤새 총 9시간을 넘게 걸었고, 새벽 4시가 넘어서야 끝이 났다. 집에와서 씻고 누우니 대략 6시였고 시험은 9시였다. .. 공감수 7 댓글수 0 2024. 9. 12.
  • [SQLP] 조인 튜닝 1. NL(Lested Loop) Join프로그래밍에서 중첩 반복문을 생각하면 쉬움. 아래처럼 outer 에서 시작해서 inner를 처리.for ... (outer) for ... (inner) 예를 들어 아래와 같을 때ab - driving table  - 선행테이블 - outer table - driven table - 후행테이블 - inner table  WHERE TableA a, TableB, b-- a: outer, b: inner  수행 과정아래 4단계를 반복.1. a에서 주어진 조건에 만족하는 첫 번째 행을 스캔(조건으로 필터-이래서 outer table의 역할이 크다는 것)2. a의 join key를 가지고 b에 join key의 존재 여부 확인하고 join을 시도3. b의 인덱스에.. 공감수 0 댓글수 0 2024. 8. 9.
  • 20대의 끝, 나의 30대의 시작은 성공적이었을까? #3 봉사와 마음건강 마지막 글이다. 앞서 작성한 것은 모두 체력적인 것에 관했다면 이번에 작성할 내용은 마음에 관한 것이다. 봉사와 심리상담. 이 두 가지는 나의 마음을 많이 바뀌게 해주었다. 매주는 아니더라도 정기적으로 참석한 봉사와 반년 넘게 꾸준하게 받았던 심리상담. 우선 봉사부터 이야기해보자. 예전부터 고양이를 기르고 있는 나는 유기묘 봉사를 해보고 싶단 마음이 컸다. 그렇게 마음을 가지고 서울에 올라왔을 때는 코로나가 터져 원래 인원들만 봉사에 참여할 수 있거나 봉사가 많이 닫혀있는 상태였다. 그렇게 시간이 지나고 다시금 봉사를 하고 싶단 마음에 정보를 검색하던 중 한 봉사단체를 알게 되었다. 그게 벌써 1년이 넘었다. 23년 5월 첫 유기묘 봉사를 시작으로 다양한 봉사를 접했다. 유기묘, 유기견, 산타 봉사, 집.. 공감수 54 댓글수 26 2024. 7. 16.
  • 20대의 끝, 나의 30대의 시작은 성공적이었을까? #2 도전 최대한 간략하게 작성하려 하나 도전에선 겪은 게 너무 많다 보니 글이 조금은 길어질 수 있을 것 같다. 1년 동안 나는 총 3번의 도전을 했다. 이전에 작성한 대회도 어찌 보면 도전이긴 하다만, 대회의 압도적으로 즐거운 분위기를 즐기러 가는 부분도 있기에 조금 다르다. 3번의 도전은 모두 국토종주였다. 두 번은 걸어서, 한 번은 자전거로 진행했다. 작년 10월, 2박 3일, 약 80km, 19시간, 12만 보. 첫 번째 도전은 강변에서 가평까지 걸어가는 일정이었다. 특별한 이유는 없었다. 그냥 인터넷 서칭을 하다가 어느 여성분이 100km를 걸어서 갔다. 라는 글을 보고 이거다! 하고 준비를 했다. 태어나서 처음으로 이렇게 오래 걷는 일정인 터라 무릎보호대 같은 장비를 꽤 비싼 걸(내 기준에선) 구매해서.. 공감수 7 댓글수 2 2024. 7. 3.
  • 20대의 끝, 나의 30대의 시작은 성공적이었을까? #1 대회 2024년이 벌써 절반이 흘렀다. 올해는 내 30대가 시작된 해다. 그래서, 오늘은 조금 다른 이야기를 해보려 한다. 30대를 성공적으로 시작했는가? 에 대한 나의 답변. 지난 1년은 20대의 끝과 30대의 시작, 또 나에게 인생 전환점이었다. 그간의 일들을 짤막하게나마 내 지난 7년이 묻어있는 이곳에 그 기록하고 싶다."나 취미가 뭐지?" 취미를 찾기 위해 심리상담을 받았던 적도 있다. 회사 일 빼고는 모든 일에 의욕적이지 못했다. 재미가 없었다. 흥미롭지 않았으며 해야 할 이유를 찾지 못했다. 고3, 수시에 합격했고 그 후로 경제적 독립을 했다. 그래서 2012년 하반기부턴 알바를 했고, 대학원생 졸업할 때까지 알바를 했다. 그래서 취미란걸 탐구할 시간도 없었다. 회사에 취직한 뒤 조금 여유가 생긴 .. 공감수 5 댓글수 2 2024. 7. 1.
  • 데이터 품질의 비밀 #Chapter 1 - Chapter 3 CHAPTER1. 지금, 데이터 품질에 주목해야 하는 이유 Data Downtime은 신뢰할 수 없는 데이터가 너무 많을 때 발생한다. 신뢰할 수 있는 데이터를 확보를 위한 여정은 마라톤에 비유할 수 있다. 데이터 품질이란?데이터 품질은 신뢰성, 완전성, 정확성을 측정하는 기능적인 측면부터 구체화되기 시작했다. 또한, 비즈니스 요구 사항 충족여부를 확인하는 강력한 요소이다. 왜 데이터 품질이 2020년대 들어서 더 축구하게 된 것일까? 1. 데이터 다운타임의 증가: 무엇이 데이터 다운 타임을 증가시켰는가?    1-1. 클라우드 마이그레이션    1-2. 다양한 데이터 소스    1-3. 데이터 파이프라인 복잡성 증가    1-4. 데이터 조직 전문성 강화    1-5. 데이터 조직의 분산 2. 데이터 .. 공감수 2 댓글수 0 2024. 6. 4.
  • 견고한 데이터엔지니어링 #PART 1 이 책의 주요 목표 중 하나는 데이터 엔지니어로서 성공하는 데 필요한 지식과 기술의 기초를 제공하는 것이다  Chapter 1. 데이터 엔지니어링 상세데이터 엔지니어링이란 무엇인가?책에는 다양한 분들이 데이터 엔지니어링에 대해서 정의해주고 계셨다. 나는 Chatgpt에게도 물어봤다. GPT는 다음과 같이 답변했다. "데이터 엔지니어링은 데이터 생애 주기의 모든 단계를 아우르는 포괄적인 분야로, 데이터의 수집, 저장, 처리, 관리 및 배포를 담당합니다." 나는 친구들이 "데이터 엔지니어가 뭐야?" 라고 하면 "데이터 쿠팡맨" 이라고 답변하곤 했다. 내가 생각하는 데이터 엔지니어는 그랬다. 사용자, 고객이 데이터를 사용할 수 있도록 가공시키는 일련의 과정, 흐름 그 전체라고 생각했다. 본 책에서는 이 전체 .. 공감수 0 댓글수 0 2024. 5. 29.
  • libnsl.so.1()(64bit) is needed by oracle-instantclient 문제의 서막.. redhat ubi8에서 진행하였고, oracle 19c에 연결하려 했다. superset 에서 oracle을 연결할때 , cx_oracle과 더불어 instantclient도 필요하다고 해서 버전에 맞추어 19c를 설치하려했다. 그래서 공식페이지에서 rpm 파일을 받아서 아래처럼 설치를 진행하려했는데,rpm -ivh oracle-instantclient19.19-basic-19.19.0.0.0-1.el9.x86_64.rpm  아래처럼 의존성 문제가 발생했다.error: Failed dependencies: libnsl.so.1()(64bit) is needed by oracle-instantclient19.19-basic-19.19.0.0.0-1.x86_64  인터넷에 찾아.. 공감수 1 댓글수 0 2024. 5. 9.
  • 프로젝트를 끝내며, 회고 프로젝트가 끝나고 일주일간의 리프레쉬 시간을 가졌다. 사실 이 리프레쉬 시간동안 기부레이스를 다녀왔다. 이번 대회로 10억이 기부되었다고 한다 (나 쪼금 보탬되었다 뿌듯 !) 사실 부산이라서 고민을 좀 했지만! 마침 프로젝트 마감 일정이랑 딱 맞아서 프로젝트 종료 기념겸 신청하고 진행하게되었다. 부산 광안대교를 쭉 따라서 뛰는 코스여서, 굉장히 아름다웠다 ( 사실 오르막길로 힘들어서 경치 아름다움보단 종아리 고통이...) 프로젝트 단위의 일의 장점은 이런 것 같다. 하는 동안은 무지 힘든데,, 하고나서 쉴 수 있는 그 긴 시간이 한 여름밤의 꿈처럼 달콤하기도하고, 하나를 끝냈다는 뿌듯함이 있다! 사실 반년회고에서 거의 모든 내용을 작성하였다. 프로젝트 시작 반년, 회고 난 2023년 6월 7일에 현재 프.. 공감수 11 댓글수 0 2024. 4. 16.
  • 폐쇄망에서 Superset 설치 삽질하기 우선 들어오기 전에 Superset을 온라인 환경에서 설치해보고, SUPERSET | Notion준비물weejw.notion.site 가상환경을 구축해서 인터넷을 끊어버린 이후에고 설치해보았다.(사이에 텀이 있어 버전이 좀 다르다) 폐쇄망에서 SuperSet 설치하기 | Notion설치 환경은 CentOS 7( SGI), Linux 로키 8.7(신한)weejw.notion.site 나름 준비를 하고 왔다고 생각했으나, 역시 현실은 그렇게 녹록지 않았다. 내가 겪은 일은 1. 설치되어있으나 버전이 더 높아 버전업그레이드 후 재반입 요청 2.설치되어있지 않은 파일인데 반입해오지 않음 3. sqlite3 에러.. 1번같은 경우는 openssl 에러였다. no module named _ssl 아래 글을 참고하였.. 공감수 2 댓글수 0 2024. 1. 15.
  • 프로젝트 시작 반년, 회고 난 2023년 6월 7일에 현재 프로젝트에 투입되었다. 역할은 이행 DBA 겸 데이터엔지니어였다. 그리고 현재 반년이 지났고, 어느 정도 안정화가 되었다. 정말 힘들고, 온몸에 식은땀이 흐르는 하루하루를 보냈다. 때문에 한 겨울에도 계속 반팔을 입었다. 지난번에는 검증역할이라 모두가 끝난 뒤에 작업하는 일이었지만 이번에는 stage에 적재하는 선이행이라는 역할이 컸기에 모두가 나를 기다리고 있었고, 나의 실수는 곧 모든 팀원들에게 영향이 갔기 때문에 지난 프로젝트에 비해 땀이 100억 배는 더 낫고 부담감이 컸다..(이행할 때마다 울고 싶었다 ㅠㅠ) 처음엔 DBA란 룰이 좀 겁이 났다. 내가 생각한 DBA=쿼리전문가란 생각도 있었고, EDB라는 생소한 데이터베이스를 사용했기 때문이었다. 그러나 이제와 생.. 공감수 6 댓글수 1 2024. 1. 9.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.