EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

New Relicでインフラやアプリケーションをモニタリングする

FluentdがどのようにMulti Process Workersで処理を実行しているのか実装を追う

Kinesis Data Analyticsによる集計遅延箇所の特定

fluentdの<parse>と<inject>でtime_formatを指定しなかった場合の挙動と内部処理

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

Kubernetesの1PodでAppとfluentdコンテナを動かしてBigQueryに送る

Fluentdのout_copyのstoreのエラーは他のstoreに影響する

fluentdのAggregatorをELBで負荷分散し、Blue/Green Deploymentする

NorikraでログをJOINする

NorikraとFluentdで流れてきたログをリアルタイムに集計する

fluentdでKinesis streamsに送るときの性能確認

td-agent2.3.5のfluentdが0.14系になってしまっているのでソースからビルドする

FluentdとKPL(Kinesis Producer Library)でログをまとめてスループットを稼ぐ

fluentdでKinesis Streamsに送ってLambdaで読んでS3に保存する

fluentdのmonitor_agentのデータをGoでGoogle Stackdriverに送って監視する

fluentd自身のログを拾う

fluentdのrecord_transformerでログを加工する

fluentdでElasticsearchに送る

fluentdのforward

td-agentをビルドしてfluentdのバージョンを上げる