Orchestration

시스템 관리에서 오케스트레이션(orchestration)은 컴퓨터 시스템과 소프트웨어의 자동화된 구성, 조율, 관리이다.

서버 구성과 관리 자동화를 위한 수많은 도구가 존재하며 여기에는 Ansible, Puppet, Salt, 테라폼, AWS CloudFormation이 포함된다.

오케스트레이션 (컴퓨팅) - 위키백과, 우리 모두의 백과사전

시스템 관리에서 오케스트레이션(ochestration)은 컴퓨터 시스템과 소프트웨어의 자동화된 구성, 조율, 관리이다.[1] 서버 구성과 관리 자동화를 위한 수많은 도구가 존재하며 여기에는 Ansible, Puppet,

ko.wikipedia.org

많은 Flow를 실행하고 모니터링하려는 경우, Flow들의 상태를 유지보수 하거나 그들의 진행상황을 점검하는데 있어 몇몇의 추가적인 Tool없이 하는 것은 어려움이 있다.

Prefect Cloud와 Prefect Server는 GraphQL API를 사용하여 Prefect Core 엔진을 자동으로 확장하여 흐름을 쉽게 오케스트레이션하는 즉시 사용 가능한 상태의 데이터베이스 및 UI 백엔드이다.

Prefect Server를 백엔드로 사용하려면 아래의 명령어를 실행시켜 로컬 오케스트레이션에 대해 Prefect를 구성하면된다.

$ prefect backend server

서버를 실행하려면 Docker 및 Docker Compose가 필요하다.

서버, UI 및 모든 필수 인프라를 시작하려면 다음을 실행한다.

$ prefect server start

서버가 실행 중일 때 http://localhost:8080 으로 이동하면된다.

Architecture Overview

Prefect의 고유한 하이브리드 실행 모델(hybrid execution model)은 코드와 데이터를 완벽하게 Private하게 유지하면서 오케스트레이션 서비스를 최대로 활용한다.

Flow를 등록하면 코드가 인프라에 안전하게 저장된다. 코드는 실행 환경을 벗어나지 않고 Prefect Cloud로 전송되지 않는다. 대신 Flow 메타데이터는 예약 및 조정을 위해 Prefect Cloud로 전송된다.

Prefect Agent는 사용자의 아키텍쳐 내에서 실행되며 Flow의 실행을 관리하고 모니터링하는 역할을 한다. Agent는 Flow 실행 메타데이터를 업데이트하기 위해 Prefect Cloud API에 요청을 보낸다.

Prefect Cloud의 라이브 업데이트 UI를 사용하면 Flow의 실행을 실시간으로 모니터링하고 Prefect Cloud의 광범위한 통합 기능을 활용할 수 있다.

728x90