エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
サーバーレスな新ETL基盤で転送時間とコストを大幅削減した話 - SMARTCAMP Engineer Blog
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
サーバーレスな新ETL基盤で転送時間とコストを大幅削減した話 - SMARTCAMP Engineer Blog
はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Funct... はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは!スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送時間 約 1時間 約 10分 本記事では、そのリプレイスの背景や内容についてお話できればと思います。 リプレイスの背景 旧ETL基盤の構成 弊社のデータ分析基盤はもともと以下の画像のような構成になっていました。 データ分析基盤の構成 今回リプレイスしたETL基盤は、画像真ん中あたりに位置す