Highly available, operationally simple, distributed database
Content-Length: 324209 | pFad | http://b.hatena.ne.jp/a2ikm/riak/
それは半年くらい前のある日のこと。 突然開発マネージャーに呼び出され マネージャ「1ファイルあたり1GiBくらい配信できるファイルサーバを作ってくれ。1ユーザさんあたり5GiBくらいまで使えるようにしたい。納期は2週間くらいで頼むよ。」 私「S3とか使っちゃダメなんですかね...(白目)」 マネージャ「オンプレミスでよろしく。」 私「無茶言わないでくださいよぉ!」 マネージャ「じゃあ、あとよろしく。」 みたいなことを言われ、2週間でファイル配信の仕組みを用意しなければならなくなったので、何がいいのかなー、glusterfsとかどうなんかなー、S3使いたかったなー、そういえばRiakCSってS3っぽいAPIを備えてるんだっけか、みたいなことを考えて、RiakCSを検証、導入することにしてみました。割とタイトなスケジュールでしたが、何とかできたので、構築から運用まで何回かにわけてざっくりとまと
一部の人が愛してやまない(らしい)、Riak CS がオープンソース化されました。 id:kuenishi が【緊急】 Riak Cloud Storage が OSS になりました【速報】なんて記事を書いて、 インストール方法を説明していますが、手順が多すぎてなにいってんだかぜんぜんわかりません。 こんなに複雑な手順なのに、手順番号も振ってないし、クロスチェック用のチェック欄もありません。 手順書としては考えられない構成になっています。 しかたがないので、シンプルな手順で Riak CS が利用できるよう、chef でインストールすることにしましょう。 本家 Basho サイトを見ると Riak CS Using Chef という素敵な記事があります。 どうやら Basho では chef のレシピを提供してくれているようです。 Cheffile を作る いつもどおり、librarian
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)(「ICANNがレジストラとして認定した企業」一覧(InterNIC提供)内に「Japan」の記載があるもの)を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
さて今日はREST API編。今日から三日間は今日のセミナーで離した内容を引っ張れるのでいささか楽であります(スライド)。RESTといってもPUTとかGETとかDELETEしたら終わりだと思ってるアナタ、僕もそう思ってたよ!しかし現実はそんなに甘くない。 PUT Riakは当然立ち上げた?いえーい常識だね。まずは http://localhost:8098/ping でOKが返ってくることを確認しよう。 $ curl http://localhost:8098/ping OK OKがきたかな?OKなら準備OKだ。こんどは サンプル画像その1をダウンロードしてriak.pngという名前で保存しておこう。次にサンプル画像その2を、右クリックからそのままtest_image.jpgという名前で保存しておこう。そして、これらの画像をRiak上に保存だ。 $ curl -X PUT http://l
2. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. 自己紹介 • 佐藤貴彦 • 2013年7月より Basho ジャパン株式会社 • 前職も製品ベンダーで、RDBMSや分散キャッシュ製品を 中心とした、コンサルティングを担当 • インフラ大好き • 著書(共著) • 絵で見てわかるITインフラの仕組み 3. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. Basho Technologies, Inc • 設立:2008年1月設立 • 本社:マサチューセッツ州ケンブリッジ • 製品 • 分散データベース Riak • 分散型クラウドストレージ RiakCS 4. ©2013 BASHO TECHNOLOGIES INC.ALL RIGHTS RESERVED. オ
January 11, 2017 Riak vs. Cassandra blog update January 27, 2014 On the official Riak docs, we compare Riak to multiple other databases. We are currently working on updating these comparisons, but, in the meantime, we wanted to provide a more up-to-date comparison for one of the more common questions we’re asked: How does Riak compare to Cassandra? Cassandra looks the most like Riak out of any oth
まだやっとるんかい、というツッコミをいただきそうですが、ソフトウェアデザイン10月号にRiakでまた記事を書きました。今回はRiakで全文検索をする、というか、JSONログを掘るはなしです*1…が、記事を書いた時と若干手順が変わっているので補足。 Software Design (ソフトウェア デザイン) 2013年 10月号 [雑誌] 出版社/メーカー: 技術評論社発売日: 2013/09/18メディア: 雑誌この商品を含むブログを見る これを書いたときは0.8.0が最新版だったのですが、いまは0.9.0がリリースされていて、インストールの方法が変わっています。そして、年内に出る(と期待される)Riak 2.0の開発ブランチにすでにマージされていて、いくつか変わっています。 設定ファイルのフォーマットが変わった こう、ものすごく…ふつうの.iniフォーマットっぽい感じになっています。どれ
その名もダイコーン。まずはget, set, delete だけなんですが、とりあえず適当に作ってもMemcachedの速度の1/40くらい出ます。そのうちいろんなデータベースのAPI備えて、クライアント側を書き換えなくてもRiakを叩けるようにしたいなーと思っています。memslapの結果だと $ ./clients/memslap --servers=localhost:11211 --non-blocking --concurrency=10 とすると memcached dicorn/mem dicorn/riak 1.987 2.705 88.487 てな感じです(単位は秒)。 構成としては1プロセスで動くただのプロキシで、メモリもCPUもほとんど使いません。Memcachedがいたところに代わりに立ち上げて、Riakの場所を教えてあげるとそれだけでMemcachedとして動いて
ハードウェア層 OS層 クラスタの留意点 負荷分散 ベンチマーク BitcaskとLevelDB コンフィグファイル スケールアウトとスケールアップの手順 運用上の注意点 64ビットCPUアーキテクチャ 最低4GBのメモリ。メモリは最も重要。局所性を活かせるのであれば多くメモリを必要としない。 RAID0、SSDを考慮すると良い。IOバウンドになりがちなので。 ミラーリング(RAID1)は考えなくて良い。 RAID(RAID1?)はやめちゃいな(クラスタ組んでるしいいんじゃない?的な?)。 ディスクサイズ重要。 ギガビットイーサも考慮にいれて。ネットワークも使うよ。 仮想マシンを使う場合は一番良いインスタンスを使う。同じデータセンタ/リージョンに配置するようにする。 クラスタ全体で必要なディスクサイズは次のように計算できる。 オブジェクト数 * 平均オブジェクトサイズ * n_val 50
BashoのRiak CSがオープンソースになり、さらに、同時に Riak CS 1.3.0 がリリースされました。Riak CSの日本語の紹介もあります。概要を知りたいというひとは第五回クラスト研の僕の発表スライドもよいかと思います。 今まではトライアル版と申しこめば無料で使えていましたが、これからはバグを見つけたりすると自分で直してPull Requestすることができるようになります。素晴らしいですね。Bashoジャパンで開発した機能もいくつか入っているらしいですよ。 ドキュメントにあまり時間をかけられなかったらしく(他人ごと)、公式のドキュメントもなかなかなので、ヒジョーにニッチなQuickStartをここに書いておきます。もう開発者向けといっていいレベル。Tarballも配布されると思うので特に心配はしていません。基本的には公式のQuickStartと同じですが、ちょいと長いので
さてそろそろネタも切れかけ…てない!!まだまだある!! みなさんご存知&大好きFluentdは、簡単にログを拾うことができて、しかも集めたログをS3やらHDFSやらいろんなところに書き出せるというスグレモノ。当然だけど、Riakにはまだ書き出せない(Riak CSには書き出せるよ!)。大抵のユースケースだと、長期間の分析用途にはHDFSに貯めつつ、短期間の分析用にはMongoDBに書き出すというのが鉄板だと思う。 Riakはその間くらい、Hadoopを運用する体力はないけどMongoDBじゃスケール感が足りないという人に割と合うんじゃないかと思って作ってみた。fluent-plugin-riakは、fluentdから出てくるログをいい感じでRiakに書き出すことを目指している。Riak自体は実績のあるソフトウェアなので、例えばTBからPBくらいのオーダーなら、データの保存はこなせる。クエリ
Python Hackathon #3で、今手元で作っているモノのバックエンドに使えないかなぁと思ってRiakを調べてみたのでメモ。Riakは、bashoが作っているDynamoクローンにHTTP/JSONなインターフェースを出して、MapReduceもできるようにしたというキワモノ。でもConsistent HashingとMapReduceって激しく相性悪いと思うんだけどどうなっているんだろうという辺りが疑問点。 とりあえずインターフェースはJSON/HTTPだけど、Erlang APIもある。 Riak's primary programming interface is JSON over (RESTful) HTTP, which is as close as you can come these days to a universal language and protocol
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/a2ikm/riak/
Alternative Proxies: