[error] airflow plugin operator import error [no module, not found]

하.. 정말 많은 곳을 돌아다녔고 많은 시도를 했다.

 

공식페이지에서 custom operator가 분명히 만들 수 있다고 되어있는데, 버전도 동일하고 .. 안됐다. 계속

Creating a custom Operator — Airflow Documentation

 

 

1. 

해결방법은 간단했다. 나는 애초에 bitnami docker compose를 쓰고있었는데 volume 설정을 해주면 되는거였다.

이거때문에 시간을 얼마나 잡아먹었는지 모른다. .하 .... 울고싶어라..

 

 

2.

추가로 local python file import 할 때 꼭 plugins 아래 풀 path로 import 해야한다. 공식 홈페이지에도 있다. 

import a (X)
import path1.path2.a (O)

 

3. 파이썬 경로를 잡지 못하는 경우나 필요한 라이브러리를 설치해야할 때는 이미지를 새로 만드는게 빨랐다.

Docker image 만들기

 

REFERENCES

몰러,, 너무많아서 .,, 다 기억도안ㄴ .. ㅠㅠ 힘ㄷㄹ다..ㅠㅠ 그래도 해결했으니 햅삐해! 

https://stackoverflow.com/questions/61823124/airflow-broken-dag-no-module-named-somepackage

https://tipsfordev.com/airflow-cannot-import-custom-plugin

https://airflow.apache.org/docs/apache-airflow/2.2.3/howto/custom-operator.html

https://aldente0630.github.io/data-engineering/2018/06/17/developing-workflows-with-apache-airflow.html

https://docs.bitnami.com/azure-templates/infrastructure/apache-airflow/configuration/work-with-sample-dags/

https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html

https://aldente0630.github.io/data-engineering/2018/06/17/developing-workflows-with-apache-airflow.html

https://airflow.apache.org/docs/apache-airflow/2.2.2/modules_management.html