Content-Length: 251360 | pFad | http://b.hatena.ne.jp/skyriser/%E3%83%AD%E3%82%B0/
覚えるテク [Ruby][Fluentd]ログを消失させたくない話
fluentdのリトライ処理に失敗した場合に、ログを消失させたくない＋処理に失敗したログを復旧させたいという話です。 fluentdのBufferedOutput系のpluginは、retry_limitに記載されているリトライ回数を消費してしまった場合、"throwing away old logs."のwarnメッセージと共に、ログが消失します。 # buffer_type fileの場合は不明 それを防ぐため、secondaryというディレクティブが存在します。 secondaryは、matchディレクティブのretry_limitに記載されているリトライ回数を超過してしまった場合に実行されます。 そのため、処理に失敗した場合のバックアップ用途に使用できます。 例えば、fluent-plugin-xxxを使用してxxx上にデータを書き込む処理中に、xxxへの接続がダウンしている場合、
Fluentdの所感 その１ | 外道父の匠
Agent ログの量やFluentd＆CPUの性能を考えると、負荷的には１サーバ１Agentで十分足りるので、ステータス検知などの監視だけしっかりしておけばOKと考えます。なので例えばWEBサーバに普通に１Agent入れてそれが数百・数千台になることを想定します。 Collector 複数台用意し、Agentからroundrobinで送信することで均一化します。Collectorダウン時や復旧時は、ログのロスト無しにすみやかにroundrobinから外れたり復活することを確認済みです。台数が増えすぎた時の懸念点は、HDFSに対する１ファイルへのAPPEND数が増えることですが、ここまでの試験を見る限りはおそらくかなりの数まで大丈夫ですし、仮にHDFSへの書き込みが問題になる場合はAgent -> Collectorの選択条件や、書き込みファイルパスで工夫すれば大丈夫です。 とはいえ、APP
JavaScript開発にalertを使っている人必見！ログ出力ライブラリ「Blackbird」 | Web活メモ帳
JavaScriptでログを表示するのに使えるライブラリ「Blackbird」のご紹介。 出力したいメッセージを指定するだけできれいに整形して表示してくれます。 例えば、以下のようなJavaScriptを実行してみます。 log.debug( 'this is a debug message' ); log.info( 'this is an info message' ); log.warn( 'this is a warning message' ); log.error( 'this is an error message' ); ↑すると、こんな感じで素敵に表示してくれちゃいます。 アイコンと色で視覚的にメッセージを区別することができるので、後から見分けるのも簡単です。 使い方 使い方は簡単で、ファイルをダウンロードした後、headタグ内でJSとCSSを読み込むだけでOKです。 <
asql - Apache SQL querying
Query Apache logfiles via SQL asql is a simple console shell which allows you to run SQL queries against an Apache logfile, something that can be very useful - especially at getting information which is not easily available via static logfile analysers. Download asql The links below should allow you to download the code in your preferred form: README.txt asql-1.7.tar.gz asql-1.7.tar.gz.asc -1k (GP
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
Visitors - fast web log analyzer
Visitors は Linux、Windows およびその他の Unix ライクな OS で動くとても軽快なウェブログ解析ツールです。 ウェブサーバログファイルを入力すると、統計をいろいろな形のレポートとして出力します。 その設計方針は同じタイプの他のソフトウェアと比較するとかなり異なっています: インストールは必要ありません。高速なコンピュータでは毎秒最大150,000行のログエントリ(作者自身のログファイルの平均では毎秒20MB)を処理します。 コマンドラインで実行するように設計されており、html とテキストでレポートを出力します。 テキストのレポートを less にパイプすることで ssh を通じてウェブ統計をチェックすることができます。 バージョン 0.3 で導入された Visitors ストリームモードによってリアルタイム統計をサポートしています。 ログの書式を指定する必要は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/skyriser/%E3%83%AD%E3%82%B0/
Alternative Proxies:
IDEA * IDEA
読書メーター