Content-Length: 216249 | pFad | http://b.hatena.ne.jp/naka-06_18/fluentd/
LogstashとFluentdの連携方法 - 2018-01-24 - ククログ
はじめに LogstashとFluentdはどちらもログ収集を行うソフトウェアです。 この二つのソフトウェアの内部で扱われているデータのエンコード方法が異なるため、どちらかでデータ形式の変換を行わないといけません。 この記事はLogstashとFluentdの連携方法のうち、Logstash側で変換を行い、連携する方法を解説します。 Logstashのプラグイン LogstashもFluentdと同じくプラグイン機構を持っています。 input output filter codec の4種のプラグインが作成できるようになっています。 実際に接続する Fluentd から Logstashへ FluentdのforwardプロトコルはHALOやHANDSHAKEを省略することもできるTCPの上に乗っているプロトコルです。 そのため、TCPで待ち受けることができます。この時に、msgpack
embulkでgemをバージョン固定する - notebook
embulkでgemをバージョン固定する 参考の記事をそのまま実行しただけではあるが残すために書いておきます サーバを再構築する機会があったので新たにembulkとプラグインをインストールして実行したらあっさり死んだ 現状elasticsearchのバージョンが1系の場合はembulk-output-elasticsearchのバージョンは0.2以上にはあげてはいけない模様 なのでembulk-output-elasticsearchのバージョンを固定させたい いつの間にかbundleが使えるようになったみたいなのでbundleを使ってバージョンを固定する 雛形の作成 embulk mkbundle vendor/bundle Gemfileの修正 vendor/bundle/Gemfile どこまで動かせることができるかの境界を調べていなかったので以前動いていたバージョンにあわせた so
いつも入れているElasticsearchのプラグイン
elasticsearchに、このへん入れるときっと幸せになれるはず・たぶん。 elasticsearch/elasticsearch-analysis-kuromoji/1.6.0 oyrusso/elasticsearch-HQ mobz/elasticsearch-head — toshi_miura (@toshi_miura) 2014, 3月 5 こんなツイートを見かけたので、普段入れてるプラグインを簡単に紹介してみようかと。 ローカルの環境に普段入れているプラグインの紹介です。 ちゃんとクラスタを管理しているというよりは、最新版の動作などを確認するための環境になります。なので、ちょっと視点が異なるかもしれませんが参考になればと。 elasticsearch-analysis-kuromoji URL : elasticsearch-analysis-kuromoji Kuro
td-agent の in_tail プラグインを使っている際に対象ログがローテーションする瞬間を見たい - ようへいの日々精進XP
きっかけ ということで、td-agent(fluentd) のin_tail プラグインでログのローテーションをどのように捕捉して追従していくかを調べたい やってみた 下記の環境においてクライアントから apache に ab でアクセスさせて確認する。 確認したいこと td-agent を介してログを記録している状況において、ログローテーションが発生した場合に td-agent はログの切り替わりを知って、それに追従するか。 純粋に access.log ファイルに記録される内容（件数）と td-agent を介した記録内容（件数）に際が発生ないか。（ちょっとした負荷テスト的なことも） 環境 サーバー Debian 6.0.7 Apache/2.2.16 (Debian) td-agent 0.10.35 redis 2.6.14 クライアント Ubuntu 13.04 ab 2.3 A
FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
FURYU Tech Blog-フリューテックブログ | Furyu Tech Blog
はじめに こんにちは、ピクトリンク事業部開発部サーバサイド開発課のkitajimaです。弊社サービスピクトリンクは、システム再構築の一環として
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/naka-06_18/fluentd/
Alternative Proxies:
fluent-plugin-grepcounter をリリースしました 〜 Haikanko OSS化への道(1) : sonots:blog
fluentdを使ったログ監視 〜 Haikanko OSS化への道(3) : sonots:blog