airflow

Apache Airflowの紹介(kintoneとの連携編)

Airflowとkintoneアプリを連携して、期日が近づくとメール送信・Slack通知する処理を作成したので紹介します。 処理の概要 kintoneアプリ AirflowのDAG作成 kintoneのデータ取得処理 メール・メッセージ送信処理 動作確認 処理の概要 次のようなイメージで処…

Apache Airflowの紹介(プラグイン編)

前回に引き続きAirflowについて紹介します。 今回はプラグインについてです。 プラグインとは 作成方法 事前準備 フォルダ構成 プラグインクラスの作成 カスタムOperatorクラスの作成 動作確認 参考 プラグインとは Airflowで使用するOperatorやHook、Sensor…

Apache Airflowの紹介(概要・環境構築編)

今回は、ApacheがOSSとして提供しているAirflowを調査しましたので Airflowでできることと、環境構築について紹介したいと思います。 Airflowでできること ワークフローの作成 スケジュール実行 モニタリング Airflowの環境構築 Airflowのセットアップ DAGの…