バッチデータ処理はリアルタイムのAIには遅すぎます：オープンソースApache Airflow 3.0がイベント駆動型のデータオーケストレーションで課題を解決する方法

さまざまなソースからAIアプリケーションに適した場所へデータを移動させるのは簡単なことではありません。ここで、Apache Airflowのようなデータオーケストレーションツールが活躍し、プロセスをよりスムーズかつ効率的にします。

Apache Airflowコミュニティは、バージョン3.0のリリースとともに、数年ぶりの最も重要なアップデートを発表しました。これは、2024年の2.9および2.10リリースを含む2.xシリーズでの着実な改良に続く、4年ぶりのメジャーアップデートです。これらのリリースは、AIの強化に大きく焦点を当てていました。

Apache Airflowは、データエンジニアにとって必須のツールとなり、トップのオープンソースワークフローオーケストレーションプラットフォームとしての地位を確立しました。3,000人以上のコントリビューターと、フォーチュン500企業での広範な使用により、その人気の理由がわかります。Astronomer Astro、Google Cloud Composer、Amazon Managed Workflows for Apache Airflow (MWAA)、Microsoft Azure Data Factory Managed Airflowなど、いくつかの商用サービスもその上に構築されています。

企業が異なるシステム、クラウド、そしてますます増加するAIワークロード間でデータワークフローを調整するのに苦労する中、堅牢なソリューションの必要性が高まっています。Apache Airflow 3.0は、アーキテクチャの全面的な見直しを行い、企業がデータアプリケーションを開発・展開する方法を向上させることで、これらのニーズに応えます。

「私にとって、Airflow 3は新たな始まりであり、はるかに幅広い機能の基盤です」と、Apache Airflow PMC（プロジェクト管理委員会）のメンバーであり、Astronomerの最高戦略責任者であるVikram Koka氏は、VentureBeatとの独占インタビューで語りました。「これは、企業が次レベルのミッションクリティカルな採用に必要だと語った内容に基づく、ほぼ完全なリファクタリングです。」

企業のデータ複雑性がデータオーケストレーションのニーズを変えた

ビジネスが意思決定のためにデータにますます依存するにつれ、データワークフローの複雑さが急増しています。企業は現在、複数のクラウド環境、多様なデータソース、そしてますます高度化するAIワークロードにまたがる複雑なパイプラインを扱っています。

Airflow 3.0は、これらの進化する企業のニーズに対応するために調整されています。以前のバージョンとは異なり、このリリースはモノリシックな構造から分散型クライアントモデルに移行し、より高い柔軟性とセキュリティを提供します。この新しいアーキテクチャにより、企業は以下を実現できます：

1. 複数のクラウド環境でタスクを実行する。
2. 詳細なセキュリティ制御を実装する。
3. さまざまなプログラミング言語をサポートする。
4. 真のマルチクラウド展開を可能にする。

Airflow 3.0の拡張された言語サポートは特に注目に値します。以前のバージョンは主にPythonに焦点を当てていましたが、新リリースでは複数のプログラミング言語をネイティブにサポートします。Airflow 3.0は現在、PythonとGoをサポートしており、Java、TypeScript、Rustの追加も計画されています。この柔軟性により、データエンジニアは好みのプログラミング言語を使用でき、ワークフローの開発と統合がよりスムーズになります。

イベント駆動型機能がデータワークフローを変革

従来、Airflowはスケジュールされたバッチ処理に優れていましたが、企業は現在、リアルタイムデータ処理機能を求めています。Airflow 3.0はこの需要に応えます。

「Airflow 3の重要な変更点は、イベント駆動型スケジューリングと呼ぶものです」とKoka氏は説明しました。

データ処理ジョブを1時間ごとなどの固定スケジュールで実行する代わりに、Airflowは、Amazon S3バケットにデータファイルがアップロードされたときや、Apache Kafkaにメッセージが現れたときなど、特定のイベントが発生したときにジョブをトリガーできます。このイベント駆動型スケジューリングは、従来のETL（抽出、変換、ロード）ツールと、Apache FlinkやApache Spark Structured Streamingのようなストリーム処理フレームワークのギャップを埋め、企業がスケジュールされたワークフローとイベントトリガー型のワークフローを単一のオーケストレーションレイヤーで管理できるようにします。

Airflowが企業AI推論実行と複合AIを加速

イベント駆動型データオーケストレーションの導入は、Airflowの高速AI推論実行のサポート能力も向上させます。

Koka氏は、法律時間の追跡のようなプロフェッショナルサービスのためのリアルタイム推論の例を提供しました。このシナリオでは、Airflowはカレンダー、メール、ドキュメントなどのソースから生データを収集します。大型言語モデル（LLM）がこの非構造化データを構造化情報に変換します。別の事前トレーニング済みモデルは、この構造化された時間追跡データを分析し、作業が請求可能かどうかを判断し、適切な請求コードとレートを割り当てます。

Koka氏はこれを複合AIシステムと呼び、異なるAIモデルを組み合わせて複雑なタスクを効率的かつインテリジェントに完了するワークフローです。Airflow 3.0のイベント駆動型アーキテクチャは、このようなリアルタイムの多段階推論プロセスをさまざまな企業のユースケースで実現可能にします。

2024年にBerkeley Artificial Intelligence Research Centerで初めて定義された複合AIは、エージェント型AIとは異なります。Koka氏は、エージェント型AIが自律的なAIの意思決定を可能にするのに対し、複合AIはビジネスアプリケーションにとってより予測可能で信頼性の高い事前定義されたワークフローに従うと説明しました。

Airflowでボールを打つ、テキサス・レンジャーズが得るメリット

テキサス・レンジャーズのメジャーリーグ野球チームは、Airflowの多くのユーザーの1つです。テキサス・レンジャーズ野球クラブのフルスタックデータエンジニアであるOliver Dykstra氏は、VentureBeatに、チームがAstronomerのAstroプラットフォームでホストされているAirflowを、野球データ運用の「神経中枢」として使用していると語りました。選手育成、契約、アナリティクス、試合データはすべてAirflowを通じてオーケストレーションされています。

「Airflow 3へのアップグレードと、イベント駆動型スケジューリング、観測可能性、データリネージの強化を楽しみにしています」とDykstra氏は述べました。「すでにAirflowを重要なAI/MLパイプラインの管理に依存しているため、Airflow 3の追加の効率性と信頼性は、組織全体でのこれらのデータ製品の信頼性と回復力を高めるのに役立ちます。」

これが企業AI採用にとって何を意味するか

データオーケストレーション戦略を評価する技術的意思決定者にとって、Airflow 3.0は段階的に導入できる具体的な利点を提供します。

最初のステップは、新しいイベント駆動型機能から恩恵を受ける可能性のある現在のデータワークフローを評価することです。企業は現在スケジュールされたジョブを使用しているデータパイプラインを特定し、イベントベースのトリガーにすることで効率が向上するものを特定できます。このシフトは、処理の遅延を大幅に削減し、不要なポーリング操作を排除できます。

次に、技術リーダーは、Airflowの拡張された言語サポートが断片化されたオーケストレーションツールを統合するのに役立つかどうかを確認するために、開発環境を見直すべきです。異なる言語環境のために別々のオーケストレーションツールを管理しているチームは、技術スタックを合理化するための移行戦略を計画し始めることができます。

AI実装の最前線にいる企業にとって、Airflow 3.0は、企業規模での複雑な多段階AIワークフローのオーケストレーションという、AI採用における重要な課題に対処する重要なインフラストラクチャコンポーネントを表します。複合AIシステムを調整するプラットフォームの能力は、企業が概念実証から企業全体のAI展開に移行するのを助け、適切なガバナンス、セキュリティ、信頼性を確保します。