https://jp.techcrunch.com/2013/03/11/jp20130311amazon-redshift/
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
みんな大好き fluentd は素敵だと思うんだけどHDFSへの書き出しをするプラグインが無い！ なんで！ という全世界100万人のエンジニアの怨嗟の声が聞こえてきそうだったので、とりあえずどうにかするべく書いた fluent-plugin-hoop がだいたい動くようになったのでリリースした！ fluent-plugin-hoop | RubyGems.org | your community gem host tagomoris/fluent-plugin-hoop · GitHub → 公式リポジトリの仲間入りしました fluent/fluent-plugin-hoop · GitHub rubygems.org経由でリリースしてあるので gem install fluent-plugin-hoop で入ります。あとはなんだっけ、システム全体の環境に影響を与えたくなければ fluen
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しましたRead less
2012年09月21日19:23 Hadoop 執筆 「Hadoopファーストガイド」を執筆しました あれから1年半の月日が流れました。なんかあっという間でしたね。。 「NoSQLデータベースファーストガイド」を執筆しました そ、そしてなんと！！ 2冊目の執筆が終わりました！！！１ その名も「Hadoopファーストガイド」です。ででーん。 ファーストガイドシリーズです ( ｰ`дｰ´)ｷﾘｯ 前回のと並べるとそっくりですねｗ ファーストガイドなのでHadoopの名前は知っているけど使ったことないな〜くらいのエンジニアが対象です。普段からがしがしHadoopを使ってる人が見ても面白くないと思いますｗ こんな感じ。本書では基本的にAWSのEMR（Elastic Map Reduce）を利用してます。 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって
(※ 2012.7.27追記 : 講演5を追加しました) NHN技術部会、株式会社データホテルの伊勢幸一です。 おまたせいたしました。 お約束通り、来る8月18日（土)、第2回NHNテクノロジーカンファレンスを開催します！ 今回のテーマはこちら！ 「H （エッチ)」 もともと本当は第2回テーマとして今流行のHTML5大特集を予定していたのですが、前回のカンファレンスでスピーカーをして頂いたGREEの藤本さんから、 「LINEで使っているHBaseの話を聞きたい」 という余計な突っ込みというか、プレッシャーを与えられまして、思わず、 「じ ・・・・ 次回に ・・・・」 と言ってしまい(やっべー！次回はHTML5で行く予定だったんだけど)、HTML5とHBaseじゃ全くカテゴリーが違うし関連性も無いのでどうするか、何か共通性が無いか？と、悩んでおりましたところ、 「あれ？両方とも頭文字が「H」
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
先日MapR勉強会に参加した、というか主催者だったので、一応まとめ。 細かい内容とかは以下にまとめてくださった方々がいらっしゃるので感謝でございます。 @znj6さん MapR(GreenPlumHD)の中身説明会参加 http://zenjiro.wordpress.com/2012/01/19/inside-mapr-briefing/ @johtaniさん 2012.01.20 Friday MapR中身説明会に参加しました。 http://johtani.jugem.jp/?eid=57 t_otodaさん [Hadoop][MapR]MapR(GreenPlumHD)の中身説明会に参加してきました。 http://tech.hatenablog.com/entry/2012/01/19/234644 moguzoさん 「MapR(GreenPlumHD)の中身説明会」に参加してき
Hadoopはほんとブームです。バブルだと言っていい気がします。各種セミナーはすぐに埋まりますし、実際に聞きに行くと会場は満員です。 この分野は日本だとNTTデータが先頭をきったように見えます。 NTTデータ、Hadoopの商用ディストリビューション「CDH3」を販売開始 | 日経 xTECH（クロステック） またHadoop専業会社「ノーチラス・テクノロジー」というのもできました。 ウルシステムズとイーシー・ワンが経営統合、Hadoop専業会社を立ち上げ | 日経 xTECH（クロステック） しかし最近では富士通やIBMもHadoopソリューションを展開しておりレッドオーシャンな感じです。 富士通がビッグデータ分析・活用向けのPaaSサービス | 日経 xTECH（クロステック） 日本IBM、表計算のように分析できるHadoopソフト新版「BigInsights」 | 日経 xTECH（
[読了時間：2分] 次の時代の覇者は、大量のデータを取得し、分析する企業ー。国光宏尚さんの記事にある通りだが、そのデータ分析の領域で世界に挑戦しようという日本人技術者がいる。 Hapyrus（ハピルス）社の藤川幸一さん、鈴木健太郎さんで、大量のデータを並列分散処理する画期的テクノロジーとして注目を集めるhadoop（ハドゥープ）をクラウドベースで手軽に利用できるサービスを開発。国内のエンジェル投資家から出資を受け、ビザが取得でき次第、10月にも米シリコンバレーに渡り世界に向けサービス提供を始めるという。 ありとあらゆるものがデジタルデータとして入手、保存、分析可能になりつつある中で、問題は爆発的に増加するデータを処理するコンピューター技術。これまではサーバーにインストールするタイプのデータベース技術を向上させることでなんとかデータの増加速度に追いついてきたが、さすがに昨今のデータの爆発的増
さて今回から新しいテーマです。 分散計算フレームワークであるHadoopを導入から実践までを連載します。よろしくお願いします。 Googleの技術から生まれたHadoop わたしたちは日常、ごく当たり前にGoogleのサービスを使っています。 あそこの店の情報を知りたい、有名人xxさんってどんな人？、あの大事件を振り返って調べたい、などなど。生活に密着した情報だったり、過去を振り返って社会現象を調べたり、あるいは芸能人のゴシップネタを検索したりと、知りたいことは人それぞれで目的も全く違いますが、Googleの検索を利用すれば一発で目的の情報（あるいは近い情報）にたどり着くことができます。 世界中の何億というWebページについて文言によってインデックス化してなければとうていできない芸当です。そしてウェブページは新たに作られ、または消えてしまうものでもあります。ものすごく膨大なテキストデータの
Hadoop Streaming is a utility which allows users to create and run jobs with any executables (e.g. shell utilities) as the mapper and/or the reducer. Usage: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/mapred/contrib/streaming/hadoop-streaming.jar [options] Options: -input <path> DFS input file(s) for the Map step -output <path> DFS output directory for the Reduce step -mapper <cmd|JavaClassName> The
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc In the above example, both the mapper and the reduce
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Hadoopのサンプルコードと言えばwordcountぐらいしか見かけないということで，転置インデックスのサンプルを作ってみました． 転置インデックス作成をMapReduceのモデルで表すと以下になります．google論文に習った擬似コードで表します． Map: 単語ごとに文書名を出力しています． 単語の分割をfor each wordとしていますが，日本語の場合単語の分割が問題ですが，今回は単純なN-gramで実装しました． map(String key, String value): //key: 文章名 //value: 文章の内容 for each word w in value: EmitIntermediate(w, key); Reduce: 重複を取り除くだけです．valuesでソートするとなお良いかもしれません reduce(String key, Iterato
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・UbuntuやdebianのLinux環境1台(手元ではUbuntu Server 11.04/10.04/9.10/8.04, debian 5あたりで試していますが、他バージョンでも大丈夫だと思います) ・インターネット接続 ・Sun(Oracle)のJavaパッケージ(aptでインターネットからインストール) ・Cloudera社のCDH3のHadoopパッケージ(aptでインターネットからインストール) 作業手順 1. インストール: Linux環境にて、rootで作業します。 sudo su 1-1. Sun(Oracle)のJavaを入れます。(Sun(Oracle)のものが必要です。) ※ ここで、ubuntu 10や11の人は/etc
11月にいくつかのカンファレンス、イベント、勉強会に、会社や未踏などいろいろな立場で参加してきました。まったくブログに書けていないので、備忘も兼ねてまとめて書きます。 Hadoop Conference Japan 2009 今やっている未踏のプロジェクトテーマがHadoopなので、この第1回目のHadoopカンファレンスは外すわけには行きませんでした。（実は未踏の合宿と日程がかぶって、調整が大変でした。。管理組織の方、ありがとうございます。。） さらに開催数日前に懇親会中のLT枠があるということで、急遽申し込み、未踏プロジェクトのLTをしてきました。 そのときのスライドも公開しています。 Hadoop Conf Japan 2009 After Party LT - Hadoop Ruby DSLView more documents from Koichi Fujikawa. カンファ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
