[B! embulk] syou6162のブックマーク

Digdag + Embulkをクラウド転生させてデータ基盤運用を圧倒的に楽にした話 - エムスリーテックブログ

こんにちは、エムスリーエンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。これはエムスリー Advent Calendar 2020 の19日目の記事です。エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTubeでもご覧いただけます。公式テックチャンネルのご登録、ぜひお願いします!） www.youtube.com これに関連して私のチームでも最近「データ基盤（Digdag + Embulk）のクラウド移行」を行ったため、そのときに考えたことや移行して良かったことを共有したいと思います。エムスリーのデータ基盤についてそれまでの構成クラウド環境でのアーキテクチャ DigdagとEmbulkの分離 Digdag on AWSからBigQueryを操作する併

syou6162 2020/12/19

リンク

Embulk MySQL出力メモ(Hishidama's Embulk output-mysql Memo)

概要 MySQLのテーブルへ書き込むにはembulk-output-mysqlを使う。このプラグインを使う為には、embulk-output-mysqlプラグインをインストールしておく必要がある。 $ embulk gem install embulk-output-mysql $ embulk gem list embulk-output-mysql 2015-09-27 00:45:57.215 +0900: Embulk v0.6.21 *** LOCAL GEMS *** embulk-output-mysql (0.4.1) 例以下のようなDDLで作ったMySQLのテーブルにデータを入れる例。 create table embulk_example ( id numeric primary key, account numeric, time timestamp, purch

syou6162 2019/11/29

embulk

リンク

embulk mkbundle または embulk bundle の使い方 - Qiita

embulk mkbundle および embulk run -b を使うと、embulk のプラグインを Gemfile/Gemfile.lock でバージョン管理できるようになる。その使い方。 [更新履歴] 2019/02/09 embulk >= 0.9.0 で gem 'embulk' が必要になったので注記 2015/11/06 mkbundle コマンドが生えたので記事を修正。v0.7.8 以降で有効 https://github.com/embulk/embulk/pull/334 https://github.com/embulk/embulk/pull/335 基本の使い方１. embulk mkbundle すると、Gemfile やプラグインの雛形(gem にせずに読み込みたいプラグイン)が作られる $ embulk mkbundle bundle_dir Crea

syou6162 2019/10/11

embulk

リンク

83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog

こんにちは。インフラエンジニアの村上です。マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。この記事に書かれる事データ分析基盤としてBigQueryを使用した話とデータ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳マネーフォワードの家計簿は350万人以上のお客様に利用いただき、アクセスログは日々2.500万件程度増えております。サービス開始から

syou6162 2019/09/30

embulk

リンク

Embulkの設定情報（liquid版） - Qiita

概要 Embulkで処理を作成する際、DB接続情報などの環境によって変更したい設定をどう定義すればいいか調べた内容をメモしておきます。 Embulkのテンプレート機能を利用する Embulkに搭載されているテンプレートエンジンLiquidの機能を使って共通化してみます。 ※ Embulk 0.7.7以上ファイル構成 │ # 設定情報 ├ _env.yml.liquid │ | # bundle plugin. ├ bundle │ ├ .bundle │ ├ .ruby-version │ ├ Gemfile │ ├ Gemfile.lock │ ├ embulk │ └ jruby │ │ # 処理内容 └ users.yml.liquid

syou6162 2019/09/24

embulk

リンク

Liquid ファイルを用いて Embulk の設定ファイルを DRY に書く - 約束の地

Liquid Liquid の公式サイトはこちらです。 Embulk Embulk の公式サイトはこちらです。この記事では Embulk そのものについては扱いません。 Embulk の設定ファイルとして Liquid を用いる Embulk の設定ファイルは YAML で書かれます。加えて、「YAML を include 可能にした拡張形式である*1 Liquid という形式」にも対応しています。ここでは Liquid を用いて Embulk の設定ファイルをどのように書けばいいのかを記していきます。原則まず原則をいくつか書き連ねます。 Liquid ファイルの中身の書式は YAML そのものである Liquid ファイルは多段に include することはできない*2 したがって設定ファイル群の構成は次のとおりになる「全ての Liquid ファイルが include される親フ

syou6162 2019/09/24

リンク

ERROR digdag/embulk is marked as an executable but could not be run by the operating system - by shigemk2

fish shellでembulkとかdigdagとか使っていると実行スクリプトにシバンが書かれていないのでエラーになる is marked as an executable but could not be run by the operating system github.com java -jar /path/to/digdag とか java -jar /path/to/embulk とか