Content-Length: 311727 | pFad | http://b.hatena.ne.jp/s-wool/fluentd/
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
Fluentd v0.12 is Released | Fluentd
We are pleased to announce that we have released Fluentd v0.12 today. v0.12 introduces nice features and improves internal structures (in anticipation for v1). RubyGems: fluentd 0.12.0 New Features Configuration --use-v1-config is used by default, which means that the user can use JSON arrays/hashes and embedded Ruby code natively. See the docs for further details. In addition, we introduced the @
Google Apps Scriptで行データを連想配列として扱う | Nikushi's blog
jetsadabet เว็บไซต์ของเราเป็นที่ยอมรับและได้รับการรับรองว่าเป็นที่ดีที่สุดในการเล่นพนันออนไลน์ในประเทศไทย. ระบบการเงินและการเล่นพนันออนไลน์ที่มั่นคงและปลอดภัย สร้างความเชื่อถือและความเป็นส่วนตัวที่คุ้มค่าสำหรับผู้เล่นทุกระดับในระดับเดียวกัน. เข้าร่วมการเดิมพันออนไลน์กับทางเราเพื่อความสนุกสนานและประสบการณ์ที่หลากหลายทันสมัยที่สุดค่ะ! เจษฎา เบท เมื่อท่านมีการเล่นพนันออนไลน์อย่างระมัดระวัง ท่านสามารถ
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
sinatra を使って td-agent(fluentd) のバッファの状態をモニタリングするダッシュボードを作ってみた - ようへいの日々精進XP
はじめに ちゃんとモニタリングしたい場合にはこちらを使うと良いです！ td-agent(fluentd) の内部情報を monitor_agent を有効にして収集するようにしてみた 複数のホストから収集出来る情報を一覧で見たいと思ったので ruby や sinatra 等の勉強も兼ねてダッシュボード的なものを作ってみた the 車輪の再発明 また、td-agent(fluentd) のバッファリングについても自分の中で整理整頓してみた 参考 Buffer Plugin Overview Fluentd out_forward における最適化パラメータいくつかの話 FluentdでバッファつきOutputPluginを使うときのデフォルト値 Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- で、どんなものなの？ ソースコード一式はこちら。 スクリーンショット やってること mo
Fluentd Meetupで発表してきました : slog
2014年05月16日 02:06 カテゴリ Fluentd Meetupで発表してきました Posted by steelwool_oxide こんにちは、スチールです。 ものすごーく久しぶりに勉強会で話してきました。 参加したイベントはFluentd Meetupです↓ Fluentd Meetup 新しい応用事例とv1に関する発表 自分だけ写真がちょっとおかしい人みたいなかんじですね。 僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。 発表スライドはこちら。 実際にマゾいかどうかはみなさまの判断にお任せしますが、 限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。 今後やっていきたいこととして、全てのログを集めるということと、リアルタイ
マゾいログ回収の話と未来
Fluentd Meetup 新しい応用事例とv1に関する発表 http://eventdots.jp/event/49560
Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ
今日はhttp://eventdots.jp/event/49560 に参加してきました。 会場のフリークアウトさんがとにかくシャレオツでビックリ!! せっかくなので興奮が冷めないうちに、ざっくりですが、発表の内容をまとめました。 登壇者の方のスライドは公開され次第リンクさせて頂きます 情報に誤りがあればご指摘ください 誤字脱字もご指摘頂けると幸いです Fluentd v.1に関するアップデートと今後のロードマップ（仮） トレジャーデータ シニアソフトウェアエンジニア 中川真宏さん (@repeatedly) Fluentd v1 and Roadmap from Treasure Data, Inc. v10(現在)のFluentd logのフォワーディングを安全に ハイパフォーマンスに 任天堂他、著名な企業で使われている 公開されているプラグイン数250以上 CRuby想定で書かれてい
FluentdでバッファつきOutputPluginを使うときのデフォルト値 - たごもりすメモ
なんか自分で docs.fluentd.org へのpatchを書いてて混乱してきたのでまとめる。コードを読んでも関係する設定値がいくつものモジュールに分散しており、完全に把握することが困難である。具体的には、この組合せを記憶だけで答えられる fluentd コミッタはおそらく一人もいない。 概要 対象は BufferedOutput および TimeSlicedOutput を継承している output plugin の全て*1。out_forward, out_exec や out_exec_filter も含まれる。 基本的にはいくつかの設定により flush をするタイミングを制御するパラメータ一式、およびflush対象となるデータのチャンクを溜めておく量の上限を決めることとなる。fluentd をうっかり試したときに「アイエエエ、fluent-cat してみたんだけど、設定したと
Fluentd のベンチマークテストに使える dummer (旧称: dummy_log_generator) - Qiita [キータ]
id:0422 time:[2013-11-19 02:34:58] level:INFO method:POST uri:/api/v1/textdata reqtime:3.9726677258569842 foobar:LFK6XV1N id:0423 time:[2013-11-19 02:34:58] level:DEBUG method:GET uri:/api/v1/people reqtime:0.49912949125272277 foobar:DcOYrONH id:0424 time:[2013-11-19 02:34:58] level:WARN method:POST uri:/api/v1/textdata reqtime:2.930590441869852 foobar:XEZ5bQsh 設定パラメータ ちょっと長くなるので読み飛ばしてもらっても良いのですが、
![Fluentd のベンチマークテストに使える dummer (旧称: dummy_log_generator) - Qiita [キータ]](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2F037651b50805e52e87a282aba9f58b9909886afd%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg&q=12&output=webp&max-age=110%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9Rmx1ZW50ZCUyMCVFMyU4MSVBRSVFMyU4MyU5OSVFMyU4MyVCMyVFMyU4MyU4MSVFMyU4MyU5RSVFMyU4MyVCQyVFMyU4MiVBRiVFMyU4MyU4NiVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MSVBQiVFNCVCRCVCRiVFMyU4MSU4OCVFMyU4MiU4QiUyMGR1bW1lciUyMCUyOCVFNiU5NyVBNyVFNyVBNyVCMCUyMGR1bW15X2xvZ19nZW5lcmF0b3IlMjkmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ21pZGRsZSZzPTY3YjVlMjc3MTc4Nzc0ZmZiNGZhZWY4MWVmMTRhYjA0%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc29ub3RzJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jYTQ1Y2Y4NGNkODNjN2E1YmFkYjE4MTE2MmZlNzFjMQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D31c364f2bd98c5c6d048534777344ec2)
fluentd自身のログにまつわるノウハウ - still deeper
fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e
Fluentd＋WebHDFS＆DataNode半死で起きた問題 | 外道父の匠
Fluentd CollectorからHDFSに書き込むのに fluent-plugin-webhdfs を利用していますが、 DataNodeが１台変死した際に色々おかしくなったので書き留めておきます。 原因特定と解決方法の確立はできていません！あしからず。 直接の原因はSLAVEサーバ（DataNode）が中途半端に落ちたこと １台のSLAVEサーバに異常が発生したことが直接の原因であり、状態としては SLAVEサーバがKernel Panic!! ホストへのPingは通る 各種デーモンへのTCP接続は確立できる 各種デーモンは一切お返事をしてくれない 試したのがDataNodeでないのが心苦しいですが、復旧前に確認できたのはSSH接続で、 ssh -p22 host は無応答で、telnet host 22 はリクエスト待ち状態になる半死状態でした。 この状態が、Fluentdまたは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/s-wool/fluentd/
Alternative Proxies:
あんまり知られてない機能について - Qiita
fluent-plugin-event-snifferというプラグインを書いた - still deeper
Fluentd の out_forward プラグインで良く出る warning メッセージとその負荷対策まとめ : sonots:blog
out_forward って詰まると性能劣化する？
fluentd_mailプラグイン · GitHub
fluent-plugin-mail | RubyGems.org | your community gem host
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
