Prefect

Prefect?

Airflow를 찾아보다가, 아래와 같은 글을 발견했다.

아래 토론장에서는 만약 새로운 도입이라면 Prefect를 도입할 것이다 라는 의견이 많았다.

Prefect의 단점은 Community가 협소하다는건데, Slack을 운영중이고, 또한 답변도 빠르게 온다고하기에 큰 문제가 될 것 같지않았다.

Airflow vs. Prefect?

 

 

Prefect는 아래에 있다.

어차피 백날 문서만 들여다보고 읽어봤자 얻는건 없다. 써봐야한다.

Prefect - The New Standard in Dataflow Automation

prefect 구조

 

가입하면 금방 대시보드까지 접근이 가능하다.

 

위에 튜토리얼을 따라해보라고 알람으로 뜬다. 튜토리얼을 따라해보자.

 

 

Tutorials

 

아래코드를 복붙해서 실행하면 문제없이 실행이 잘된다.

import prefect
from prefect import task, Flow


@task
def hello_task():
    logger = prefect.context.get("logger")
    logger.info("Hello world!")


flow = Flow("hello-flow", tasks=[hello_task])

flow.run()

[2021-10-18 13:09:24+0900] INFO - prefect.FlowRunner | Beginning Flow run for 'hello-flow'
[2021-10-18 13:09:24+0900] INFO - prefect.TaskRunner | Task 'hello_task': Starting task run...
[2021-10-18 13:09:24+0900] INFO - prefect.hello_task | Hello world!
[2021-10-18 13:09:24+0900] INFO - prefect.TaskRunner | Task 'hello_task': Finished task run for task with final state: 'Success'
[2021-10-18 13:09:24+0900] INFO - prefect.FlowRunner | Flow run SUCCESS: all reference tasks succeeded

 

 

API Key 등록

계정 setting에 가면 api key를 발급받을 수 있다. 이를 발급받고 authrization 관련 설정을 해준다. 

 

create the test project 

test project를 하나 만들어주자. tester project를 하나 만들어준다음에 flow에 등록해준다.

flow.register(project_name="tester")

Flow URL: https://cloud.prefect.io/upsidejiwon-gmail-com-s-account/flow/a553e28d-60e5-4988-9354-6eed881870c3
└── ID: c8fe4ca8-bb50-4fa4-8183-1afcb86c7725
└── Project: tester
└── Labels: ['DESKTOP-2RE5IIN']

 

Agent Run

agent를 실행해준다. 그럼 대쉬보드에 실행된다! Agent는 한마디로 실질적으로 실행을 하는 요소라고한다.

이와 관련된 이론은 아래 블로거분이 너무 자세하게 적어주셨다.

Prefect 주요 구조 - Agent, UI sever

 

대시보드 상단에 보면 RUN이 있다. 이 RUN을 눌러서 Flow를 Run하면 아래와 같이 내가 등록한 task가 돌아가는 대시보드를 보여준다. 

 

캘린더를 열면 아래처럼 깔끔하게 볼 수 있다.

 

REFERENCES

Prefect란? - Task, Flow, Parameter

Prefect - Quick Review