배치 데이터 처리는 실시간 AI에 비해 너무 느립니다. 오픈 소스 Apache Airflow 3.0이 이벤트 중심의 데이터 오케스트레이션으로 도전을 해결하는 방법

다양한 소스에서 AI 애플리케이션에 적합한 장소로 데이터를 이동시키는 것은 결코 쉬운 일이 아닙니다. 여기서 Apache Airflow와 같은 데이터 오케스트레이션 도구가 등장하여 프로세스를 더 원활하고 효율적으로 만들어줍니다.

Apache Airflow 커뮤니티는 4년 만에 첫 번째 주요 업데이트인 버전 3.0을 출시하며 수년 만에 가장 중요한 업데이트를 발표했습니다. 이는 2024년에 출시된 2.9 및 2.10 릴리스 등 2.x 시리즈의 꾸준한 개선을 이어가며, 특히 AI 향상에 중점을 둔 업데이트입니다.

Apache Airflow는 데이터 엔지니어들에게 필수 도구가 되었으며, 최고의 오픈소스 워크플로우 오케스트레이션 플랫폼으로 자리 잡았습니다. 3,000명 이상의 기여자와 Fortune 500 기업들 사이에서 널리 사용되는 것으로 그 인기가 명확해 보입니다. 또한 Astronomer Astro, Google Cloud Composer, Amazon Managed Workflows for Apache Airflow (MWAA), Microsoft Azure Data Factory Managed Airflow와 같은 여러 상용 서비스가 그 위에 구축되었습니다.

기업들이 다양한 시스템, 클라우드, 그리고 점점 더 많은 AI 워크로드를 조율하는 데 어려움을 겪으면서 견고한 솔루션에 대한 필요성이 커지고 있습니다. Apache Airflow 3.0은 조직이 데이터 애플리케이션을 개발하고 배포하는 방식을 개선할 수 있는 아키텍처 개편으로 이러한 기업의 요구를 충족합니다.

"저에게 Airflow 3는 새로운 시작이자 훨씬 더 광범위한 기능을 위한 기반입니다,"라고 Apache Airflow PMC(프로젝트 관리 위원회) 회원이자 Astronomer의 최고 전략 책임자인 Vikram Koka는 VentureBeat과의 독점 인터뷰에서 밝혔습니다. "이는 기업들이 다음 단계의 미션 크리티컬 채택에 필요하다고 말한 바를 기반으로 한 거의 완전한 리팩터링입니다."

기업 데이터 복잡성이 데이터 오케스트레이션 요구를 변화시켰습니다

기업이 의사 결정을 위해 데이터에 점점 더 의존하면서 데이터 워크플로우의 복잡성이 급격히 증가했습니다. 이제 기업들은 여러 클라우드 환경, 다양한 데이터 소스, 그리고 점점 더 정교해지는 AI 워크로드를 아우르는 복잡한 파이프라인을 관리합니다.

Airflow 3.0은 이러한 진화하는 기업 요구를 해결하도록 설계되었습니다. 이전 버전들과 달리 이 릴리스는 모놀리식 구조에서 분산 클라이언트 모델로 전환하여 더 큰 유연성과 보안을 제공합니다. 이 새로운 아키텍처는 기업이 다음을 수행할 수 있도록 지원합니다:

1. 여러 클라우드 환경에서 작업을 실행합니다.
2. 상세한 보안 제어를 구현합니다.
3. 다양한 프로그래밍 언어를 지원합니다.
4. 진정한 멀티 클라우드 배포를 가능하게 합니다.

Airflow 3.0의 확장된 언어 지원은 특히 주목할 만합니다. 이전 버전은 주로 Python에 초점을 맞췄지만, 새 릴리스는 이제 여러 프로그래밍 언어를 기본적으로 지원합니다. Airflow 3.0은 현재 Python과 Go를 지원하며, Java, TypeScript, Rust를 포함할 계획입니다. 이러한 유연성은 데이터 엔지니어가 선호하는 프로그래밍 언어를 사용할 수 있게 하여 워크플로우 개발과 통합을 더 원활하게 만듭니다.

이벤트 기반 기능이 데이터 워크플로우를 변화시킵니다

전통적으로 Airflow는 스케줄된 배치 처리에 탁월했지만, 기업들은 이제 실시간 데이터 처리 기능을 요구하고 있습니다. Airflow 3.0은 이러한 요구를 충족하기 위해 나섰습니다.

"Airflow 3의 주요 변화는 우리가 이벤트 기반 스케줄링이라고 부르는 것입니다,"라고 Koka는 설명했습니다.

데이터 처리 작업을 매시간과 같은 정해진 스케줄에 따라 실행하는 대신, Airflow는 이제 Amazon S3 버킷에 데이터 파일이 업로드되거나 Apache Kafka에 메시지가 나타나는 등의 특정 이벤트가 발생할 때 작업을 트리거할 수 있습니다. 이 이벤트 기반 스케줄링은 전통적인 ETL(Extract, Transform, Load) 도구와 Apache Flink 또는 Apache Spark Structured Streaming과 같은 스트림 처리 프레임워크 간의 간극을 메우며, 조직이 스케줄된 워크플로우와 이벤트 트리거 워크플로우를 단일 오케스트레이션 레이어로 관리할 수 있게 합니다.

Airflow는 기업 AI 추론 실행과 복합 AI를 가속화할 것입니다

이벤트 기반 데이터 오케스트레이션의 도입은 Airflow가 빠른 AI 추론 실행을 지원하는 능력을 강화할 것입니다.

Koka는 법률 시간 추적과 같은 전문 서비스에 실시간 추론을 사용하는 예를 제시했습니다. 이 시나리오에서 Airflow는 캘린더, 이메일, 문서와 같은 소스에서 원시 데이터를 수집하는 데 도움을 줍니다. 대형 언어 모델(LLM)은 이 비정형 데이터를 정형 정보로 변환합니다. 또 다른 사전 학습된 모델은 이 정형 시간 추적 데이터를 분석하여 작업이 청구 가능 여부를 판단하고 적절한 청구 코드와 요율을 지정할 수 있습니다.

Koka는 이를 복합 AI 시스템이라고 부르며, 이는 다양한 AI 모델을 결합하여 복잡한 작업을 효율적이고 지능적으로 완료하는 워크플로우입니다. Airflow 3.0의 이벤트 기반 아키텍처는 다양한 기업 사용 사례에서 이러한 실시간, 다단계 추론 프로세스를 가능하게 합니다.

2024년 Berkeley Artificial Intelligence Research Center에서 처음 정의한 복합 AI는 에이전틱 AI와 다릅니다. Koka는 에이전틱 AI가 자율적인 AI 의사 결정을 가능하게 하는 반면, 복합 AI는 비즈니스 애플리케이션에 더 예측 가능하고 신뢰할 수 있는 사전 정의된 워크플로우를 따른다고 설명했습니다.

Airflow와 함께하는 공놀이, 텍사스 레인저스가 기대하는 이점

텍사스 레인저스 메이저 리그 야구 팀은 Airflow 사용자 중 하나입니다. 텍사스 레인저스 야구 클럽의 풀스택 데이터 엔지니어인 Oliver Dykstra는 VentureBeat에 팀이 Astronomer의 Astro 플랫폼에서 호스팅되는 Airflow를 야구 데이터 운영의 '신경 센터'로 사용한다고 밝혔습니다. 모든 선수 개발, 계약, 분석, 게임 데이터는 Airflow를 통해 조율됩니다.

"우리는 Airflow 3으로 업그레이드하고 이벤트 기반 스케줄링, 관찰 가능성, 데이터 계보에 대한 개선을 기대하고 있습니다,"라고 Dykstra는 말했습니다. "우리는 이미 중요한 AI/ML 파이프라인을 관리하기 위해 Airflow에 의존하고 있으며, Airflow 3의 추가된 효율성과 신뢰성은 우리 조직 전체에서 이러한 데이터 제품의 신뢰와 복원력을 높이는 데 도움이 될 것입니다."

이것이 기업 AI 채택에 의미하는 바

데이터 오케스트레이션 전략을 평가하는 기술 의사 결정자들에게 Airflow 3.0은 점진적으로 구현할 수 있는 실질적인 이점을 제공합니다.

첫 번째 단계는 새로운 이벤트 기반 기능의 혜택을 받을 수 있는 현재 데이터 워크플로우를 평가하는 것입니다. 조직은 현재 스케줄된 작업을 사용하는 데이터 파이프라인을 찾아 이벤트 기반 트리거로 더 효율적일 수 있는지 확인할 수 있습니다. 이러한 전환은 처리 지연을 크게 줄이고 불필요한 폴링 작업을 제거할 수 있습니다.

다음으로, 기술 리더들은 Airflow의 확장된 언어 지원이 단편화된 오케스트레이션 도구를 통합하는 데 도움이 될 수 있는지 개발 환경을 검토해야 합니다. 현재 서로 다른 언어 환경에 대해 별도의 오케스트레이션 도구를 관리하는 팀은 기술 스택을 간소화하기 위해 마이그레이션 전략을 계획할 수 있습니다.

AI 구현의 최전선에 있는 기업들에게 Airflow 3.0은 기업 규모에서 복잡한 다단계 AI 워크플로우를 조율하는 주요 과제를 해결하는 중요한 인프라 구성 요소를 나타냅니다. 플랫폼의 복합 AI 시스템 조율 능력은 조직이 개념 증명을 넘어 기업 전반에 걸친 AI 배포로 나아가며 적절한 거버넌스, 보안, 신뢰성을 보장하는 데 도움이 될 수 있습니다.