【Airflow 입문】Airflow의 Job을 다른 강한 노드로 처리시키고 싶다
특정 Job을 강한 GPU를 쌓은 workerNode에 일하고 싶습니다. 특히 기계 학습 Job을 돌릴 때 등이 필요합니다. 어떻게 실현하는지 Celery Executor라는 것을 사용합니다. 는 원래 Job을 분산 처리하기위한 미들웨어입니다. 이것을 Airflow는 좋은 느낌으로 사용해줍니다. 그 좋은 느낌에 사용하는 것을 응용해, 특정 노드에 일을 시킵니다. Airflow에는 Celery...
RedisCeleryAirflow2022-10 last update
5 minutes reading
우분투 파이썬에 Celery 설치
개발 환경 우분투 20.04.2 LTS 파이썬 3.8.10 장고 3.2.7 redis 3.5.3 설치되어 있는지 확인 존재하지 않는 경우 설치 pip3 install 장고 pip3 install celery pip3 install redis var 아래에 www 디렉토리를 작성한다 (공통) www 아래에 django_app 디렉토리 만들기 (공통) django_app로 이동 (공통) 프로젝트...
우분투Python3CeleryRedis우분투20.042022-10 last update
7 minutes reading