데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2022년/Developement

GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose. The Elastic stack (ELK) powered by Docker and Compose. - GitHub - deviantony/docker-elk: The Elastic stack (ELK) powered by Docker and Compose. github.com 원래 docker elk로 유명한 것은 위의 레포였다. star 수만 봐도 알 수 있다. 그런데 묘하게 불편했다(내가 초보라 그런다) 그러다가 아래의 레포를 찾았다. 무언가 더욱 더 확장된 기능이 많고 커스터마이징이 직관적으로 가능한 것 같았다. GitHub - sherifabd..

2022. 4. 15. 18:00

2022년/Error

elastic search multi node 가동하는데 다음과 같은 에러가 나왔다. 그리곤 노드가 바로 죽어버렸다. bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch. 메모리 설정을 해줘야한다. sysctl -w vm.max_map_count=262144 References https://stackoverflow.com/questions/42300463/elasticsearch-bootstrap-checks-failing

2022. 3. 29. 16:58

2022년/Developement

도커 허브에서 아래 bitnami airflow를 가져다가 compose up하려고했다. 그런데 코드 구동 시 필요한 라이브러리들이 없었공.. 😣 사수님의 조언을 바탕으로 일일히 image 설치할 때마다 해당 라이브러리들을 설치할 순 없으니 bitnami image base로 requirements를 추가하여 라이브러리를 설치 후 해당 이미지를 사용하기로 했다. 결론적으로 도커 빌드는 임시 컨테이너 생성 > 명령어 수행 > 이미지로 저장 > 임시 컨테이너 삭제 > 새로 만든 이미지 기반 임시 컨테이너 생성 > 명령어 수행 > 이미지로 저장 > 임시 컨테이너 삭제 > … 의 과정을 계속해서 반복한다고 볼 수 있습니다. 명령어를 실행할 때마다 이미지 레이어를 저장하고 다시 빌드할 때 Dockerfile이 변..

2022. 1. 7. 13:15

2022년/Developement

아래 명령어를 입력한 후 반드시 재접속 sudo usermod -aG docker $USER docker ps 전체 shutdown docker stop $(docker ps -aq) docker contatiner 전체 삭제 docker rm `docker ps -a -q` * 위에처럼 docker rm $(docker ps -aq) 가능 docker 컨테이너 실행 docker run 이미지이름 docker image 삭제 docker rmi docker ps 삭제 docker rm docker image 강제 삭제 docker rmi $(docker images -q) -f 컨테이너 전체목록(떠있는거 말고) docker ps -a 원큐에 싹다 sudo docker stop $(sudo docker p..

2022. 1. 7. 09:34

2021년/21.下

# python 설치 sudo apt-get update sudo apt install python3 sudo apt install python3-pip # docker 설치 sudo apt install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" sudo apt update apt-cache policy docker-..

2021. 11. 5. 18:42

2021년/21.下

아래처럼 .. 에러가 뜬다. 1. powersell 관리자권한으로 열고 명령어 2개를 입력한다. dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 2. 아래 프로그램을 설치한 뒤 도커를 리스타트해준다. wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

2021. 11. 4. 17:14

2021년/개발공부

주변 지인들에게 쿠버네티스를 너무 자주 듣는다.. 끙.. 데이터 엔지니어 로드맵에도 기초 요구사항으로 되어있다..ㅠ 공부를 하는게 맞는 듯해서 책을 구매할까하다가 공식 🦆이 너무 잘되어있어서 책을 구매할 필요는 없을 것 같았다. 튜토리얼 운영 수준의 컨테이너 오케스트레이션 kubernetes.io 대신, 그 전에 도커를 먼저 공부해야할 것 같았다. 책들을 봐도 커리큘럼 자체가 도커 선행학습이 필요하다. 근데 검색하다가 아래 글을 보긴했는데,, 결론은 도커자체와 호환이 안된다 이런게 아니라 DOCKERSHIME이 아닌 자체 CRI를 진행한다는것. 쿠버네티스는 v1.20 이후 컨테이너 런타임으로서 도커를 사용 중단(deprecating)합니다. 쿠버네티스의 엔드유저에게는 많은 변화가 없을 것입니다. 이 내용..

2021. 4. 2. 17:57