Join three industry experts as they reveal 2025 data and AI trends | Jan 21 Register now
JavaベースのオープンソースであるApache Flumeではアクセスログなどのファイルをリアルタイムに転送可能であり、またInterceptorといった機能を実装することで転送するデータを集計・加工することもできる。 このように自分たちで機能を作り込めば自由に集計・加工ができるが、複雑な要件のものとなると1つ1つ実装していくのは工数が大きく効率的ではない。 そこで、本論文ではFlumeによってデータを転送し、複合イベント処理（CEP：Complex Event Processing）が可能なJavaベースのオープンソース Esper のSQLライクなクエリによって柔軟にストリーム処理ができる仕組みを実現した。 パフォーマンスについてもテストを行い、十分に実用性のある性能であることも検証できた。 1-1. Apache Flume Apache Flume[1]は大量のログデータな
こんにちは、DBAのたなかです。 べんりなべんりなprofilingですが、5.6からは非推奨になってしまいました。 mysql56> SET profiling= 1; Query OK, 0 rows affected, 1 warning (0.03 sec) mysql56> SHOW WARNINGS; +---------+------+----------------------------------------------------------------------+ | Level | Code | Message | +---------+------+----------------------------------------------------------------------+ | Warning | 1287 | '@@profiling' is
社内共有用 dockerに関する情報共有 Dockerの社内プレゼン・ハンズオンやるやるいっててやれていないのでQiitaを使って一部代用。 docker image を自作するには 自作する方法はあるのだけれど、 今時点だとMac OS Xな環境で行う場合どうすれば楽にできるんだろうか、 って思ったので個人的にメモとしてまとめておく。 今回boot2dockerを利用するため、 以下のブログエントリを参考しました。大変ありがたかったです。 m(_ _)m。 boot2dockerでdockerを試す 環境構築 boot2dockerを使おう boot2dockerでdockerを試す の通りインストールすればよいので割愛 homebrewでインストールをして 起動準備をして、起動を行う。 boot2dockerインストール時に合わせてdockerもインストールされる。
DevLOVE 発表資料「あたりまえを、発明しよう。」を支える開発 -リブセンスさんから学ぶ- 2014/02/19 (水) 19:30 - 22:00 http://devlove.doorkeeper.jp/events/8631 ■ 話し手 平山 宗介 ■ エンジニアから強い…
Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout | Amazon Web Services
AWS News Blog Marry Amazon Kinesis and Storm Using the New Kinesis Storm Spout Amazon Kinesis is a fully managed service for real-time processing of streamed data at massive scale. When we launched Kinesis in November of 2013, we also introduced the Kinesis Client Library. You can use the client library to build applications that process streaming data. It will handle complex issues such as load-b
Schema-less Stream Processing with SQL Norikra is a open source server software provides "Stream Processing" with SQL, written in JRuby, runs on JVM, licensed under GPLv2. Schema-less event streams (called as 'target') Input/Output event streams as JSON objects, which can contain any fields with a target name. SQL processing Norikra's query is SQL with window specifier support (It's actually Esper
Scalable, Distributed, Deep Machine Learning for Big Data 1. Scalable, Distributed, Deep Machine Learning for Big Data Yu Huang Sunnyvale, California yu.huang07@gmail.com 2. Outline Big Data - Volume, Variety, Velocity Parallel Computing and Cloud computing Lambda architecture: Batch, Speed and Serving Layers Batch processing MR: a program model from functional programing; Hadoop: MR i
I just tried to run Fluentd instances on Mesos + Docker + Marathon in Vagrant boxes. Here is the sample repository. riywo/sample-fluentd-on-mesos-docker The overview diagram: How? See the github README.md. What? Fluentd Fluentd: Open Source Log Management Fluentd is one of log collector middleware. Most web companies in Japan use this for log collecting. td-agent is a package version of fluentd in
Apache Hadoop NextGen MapReduce (YARN) MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN. The fundamental idea of MRv2 is to split up the two major functionalities of the JobTracker, resource management and job scheduling/monitoring, into separate daemons. The idea is to have a global ResourceManager (RM) and per-application Appl
こんにちは。 最近技術的な内容は大体Qiitaに書いているので こちらは間が空いてしまっていますが、勉強会の参加記録はこちらに。 RCO Study Night "RCOにおける機械学習と次世代量子情報処理技術「量子アニーリング」"に参加してきました。 atnd.org 正直な話、ソフトウェア屋なので物理的な内容に踏み込んだ個所は理解できていないのですが、 その理解なりにわかったことを参加記録として残しておきます。 当然間違った内容も紛れているでしょうけど、まぁそれが現時点の私の理解可能なレベルということで。 参加メモ RCOにおける機械学習（高柳 慎一） リクルートのビジネスは基本マッチングビジネス リクルートコミュニケーションズはリクルートの全事業領域に関わる 世の中の”不”を解消 広告配信の自動最適化 アドテクはコードがそのままビジネス価値につながる 特に重要な要素 大量データのハン
Program against your datacenter like it’s a single pool of resources Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively. Download Mesos Mesos 1.11.0 Changelog What is Mesos? A distributed systems kernel Mesos is built using the same principl
一部巷で人気のビジュアライゼーションツール Splunkを使ってみた。Splunkはインストール版とクラウドサービス版があり、今回はクラウド版のSplunk Stormを試してみた。StormはTwitterが開発したストリームエンジン。旬なもの同士で結構ときめく組み合わせですw さらにこのサービス自体、今時普通だがAmazon EC2のマシンとS3ストレージが利用されているとのことで、いかにもクラウド全開モード。ネタとしていつものようにApacheのログをfluentd経由で送る。 参考 splunkってなんじゃ？（splunk stormでfluentd） 以下も良記事（English） Splunk Storm – Machine Data Processing in the Cloud 実行環境 例によってhttpd + td-agentが動作しているAWS t1.microマシン
Logi Analytics Turn Data Into Powerful, Insight-driven Experiences with Logi Analytics Build lightning-fast embedded analytics experiences while accelerating time-to-value – without requiring additional engineering resources. Logi Analytics is now part of insightsoftware, – a leading provider of reporting, analytics and enterprise performance management software. Read the press release.
LinkedIn operates the world’s largest professional network with more than 645 million members in over 200 countries and territories. This team builds distributed systems that collect, manage and analyze this digital representation of the world's economy, while our AI experts, data scientists and researchers conduct applied research that fuel LinkedIn’s data-driven products and provide insights tha
Chrome Experiments is a showcase of work by coders who are pushing the boundaries of web technology, creating beautiful, unique web experiences. You'll find helpful links throughout the site for creating your own experiments, and you can also explore resources like WebGL Globe and our workshop of tools.
はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出
There’s something I’ve been working on recently, at start just for fun but it turned out I use it everyday, so here it is: butterfly your everyday terminal right in your browser Version 2.0 has been released please see here Try it To try it, it’s as simple as: $ sudo pip install butterfly # Install butterfly $ butterfly.server.py --unsecure # Launch the web server unsecure Then all you have to do
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
