tdtechに関するtkmotekiのブックマーク (1)

  • メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech - by shigemk2

    digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバーでアプローチすればサーバーで動く Luigi 上から下へワークフローを動かす digdag digdag ネスト出来るようにした グループを作れる ある別のシステムがファイルをアップロードする→アップロードできたらコピーする パラメータは一部ビルトイン tdのクエリを実行する redshiftのクエリを実行する big query td for each ポスグレ メール などなど… slackへ通知も出来る ローカルで実行する→デプロイする サーバAで実行する→サーバBでも実行できるようにする 特定のプログラミング言語を特

    メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech - by shigemk2
    tkmoteki
    tkmoteki 2017/01/13
    気になる、クラスタスケジューラにもなるかな、ジョブスケジューラたくさんあるけどIaaS混在だとなんかやりにくい、 メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発
  • 1
pFad - Phonifier reborn

Pfad - The Proxy pFad of © 2024 Garber Painting. All rights reserved.

Note: This service is not intended for secure transactions such as banking, social media, email, or purchasing. Use at your own risk. We assume no liability whatsoever for broken pages.


Alternative Proxies:

Alternative Proxy

pFad Proxy

pFad v3 Proxy

pFad v4 Proxy