Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大
Redis を使って応答時間を半分にした話 はじめにはじめまして。 5月にFiNCに入社し、サーバーサイドの Rails エンジニアをやっている亀田と申します。 今回は、Redis を使ってチャットのパフォーマンスを改善した話について書きたいと思います。 チャットで起きていたパフォーマンス問題FiNCアプリにはチャット機能があります。ユーザー同士のコミュニケーションにも使えますし、お得情報の配信やユーザーのサポートなどでも利用しています。 その中で、ユーザーサポートの社内オペレーション用ツールに、（業務に支障が出るレベルではないものの）表示が重いという問題が発生していました。具体的には、対象となるルームのレコードを取得するために数百ミリ秒かかっており、レスポンスを返すまでに合計で1秒前後かかっているという状況でした。 分析をしてみたところ、インデックスを使って対象となるレコードを取得した後
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
ビッグデータや非構造データの利用が拡大すると共に、KVS（Key Value Store）の需要はますます高まっている。分散型データベース／ストレージ製品「Riak」を提供している米バショー・テクノロジーズ（以下、バショー）のCEOのアダム・レイ（Adam Wray）氏に最新動向を聞いた。 クラウドストレージからKVSへとニーズが移る 2008年設立のバショーは、オープンソースのKVSである「Riak」の開発を手がけるベンダー。共通のエンジンを用いて、商用版のKVSである「Riak Enterprise」と、S3互換のクラウドストレージプラットフォーム「Riak CS（Cloud Storage）」を展開している。2012年にはIDCフロンティアと資本提携を結び、同年にIDCフロンティアはRiak CSベースのオブジェクトストレージサービスをスタートしている。 米バショーCEOのアダム・レ
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 mrubyでKey-Value Storeにアクセスできるクライアントをこれまでいくつか作ってきたので、VedisやHashの性能が見たいというのと、その他ちょっとした興味でそれぞれのKVSのSET/GETを投げてみて速度の比較をしてみました。 といっても、それぞれの良さを考慮したベンチマークではなくソフトの良し悪しを測るものではないので、この条件だとこういう結果になるという参考程度に見て頂ければと思います。 比較対象は、mrubyのHash、Redis、Vedis（In-Memory）、Vedis（On-Disk）、Memcachedです。それぞれ、Fedora19のyumでインストールした後にserviceコマンドで起動させただけの状態で
Facebook、Key-Valueストア「RocksDB」をオープンソース化：C++ライブラリとして構築 米Facebookは、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 米Facebookは2013年11月22日、同社内で高速ストレージ用に開発・使用してきた組み込み式の永続型Key-Valueストア「RocksDB」をオープンソースで公開したと発表した。 Facebookによると、これまでのアプリケーションでは、ネットワークを介したリモートプロシージャコールによって各アプリケーションが管理しているデータにアクセスするのが一般的だった。しかし12億人のユーザーごとにリアルタイムで動的なページを生成しているFacebookのようなアプリケーションの場合、それでは時間が掛かり過ぎるという難点が
はじめに KVS (Key-Value Store) とは？ KVS とは Key-Value Store の略で、ざっくり言うとキーと値の組み合わせでデータを管理するしくみのことです。 RDB (リレーショナル・データベース) に代わるデータ管理手法 (NoSQL) のひとつで、近年注目を浴びています。 インメモリ KVS の Redis Redis は インメモリ型の KVS です。インメモリ (オンメモリとも呼ばれる) とはデータをハードディスクなどには書き込まずメモリ上で管理するしくみのことで、RDB などに比べ非常に高速にデータを出し入れできるという特徴があります。ちなみに「remote dictionary server」の略らしいです。 今回は Redis をインストールして Ruby, Java, Node.js から使うまでの流れを超ざっくり紹介したいと思います。 Red
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く 分散キーバリューストアのRiakや、Amazon S3互換の分散オブジェクトストレージのRiak CSなどを提供するBashoが、国内での販売活動の本格展開を、代理店の東京エレクトロンデバイスとともに発表しました。東京エレクトロンデバイスはBashoへの投資も行い、国内で事実上の販売窓口となります。 同社CEOのGreg Collins氏とPrincipal ArchitectのAndy Gross氏に、同社製品の展開について聞きました。 Bashoはスタック全体をコントロールしている ──── オブジェクトストアとしてRiak CSが優れているところはどこですか？ グロス氏 私たちは（基盤となるキーバリュー型ストアからオブジェクトストレージに渡る）ソフトウェア全体のスタックをコントロー
どうも、プラットフォームDivでエンジニアをやっている Wataru です。 最近３人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。 さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何？Redisとは「remote dictionary server」から名前が付けられたオープンソースのkey-valueデータストアです。 MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。 つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が
米アマゾン・ウェブ・サービス（AWS）は2012年1月18日（米国時間）、拡張が容易なデータベース（DB）のクラウドサービスである「Amazon DynamoDB」を開始した。同社が独自に開発した分散キー・バリュー型データストア（KVS）である「Dynamo」をベースにしたサービスである。データの保存先にSSD（ソリッド・ステート・ドライブ）を使用しており、高速であるとともにDBの拡張性が高いことを特徴とする。 AWSが2007年に論文発表したDynamoは、「Amazon.com」のショッピングカートのバックエンドなどに使われており、リレーショナルデータベース（RDB）ではない「NoSQL」DBの代表格として知られている。Dynamoは、「キー」と「バリュー（値）」の形式で保存したデータを、複数のサーバーに自動的に分散配置することで、サーバーの台数に比例して処理性能が向上するスケールアウ
はじめまして ブログDivでアプリエンジニアをしている川田です。 今回はV8エンジン上で動作するサーバサイドJavaScriptのnode.jsと 日本製の分散キーバリューストアであるokuyamaについての記事を書かせていただきます。 ■ node.jsとokuyamaの主な特徴 ▼ okuyama ・タグ機能 … データにタグ情報を付加することが可能で、タグに紐づいたデータの検索・取得が可能 ・javaで実装されている … 100% javaで実装されているのでクロスプラットフォームで実行可能 ・データの永続化をサポート … データの永続化・非永続化を選択可能で、永続化は特性を選ぶことも可能。 ・構成要素はすべて冗長化可能 … okuyamaを構成※1するマスターノード、データノード共に冗長化可能。またデータノードはレプリケーション機能も有している。 など。 ※1 okuyamaの構成
クラウドが全盛を迎えた今、従来型のリレーショナルデータベース管理システム（RDBMS）と並んで「NoSQL」の存在が重要性を増している。 今回は、NoSQLの一種として注目されているデータベースシステム「Apache Cassndra」を解説する。 そもそも「NoSQL」というのは「RDBMSではないデータベースシステム」という程度の緩い概念を表す用語なので、一言でNoSQLと言ってもその仕組みやデータ構造には様々な種類がある。 代表的なNoSQLの種類を挙げてみよう。 KVS（Key-Value Store型） キーと値をペアにして保持するシンプルなデータ構造を持つ。キーと、格納したいデータを紐付け、キーを指定することでそれに対応したデータを格納／取得することができる。複数のストレージにデータを分散させて格納するKVSを特に「分散KVS」と呼び、データのレプリケーション（複製）や一貫性、
米オラクルはエンタープライズ向けNoSQLデータベース「Oracle NoSQL Database 11g」の公開を発表。評価版の無償ダウンロードを開始しました。オープンソースライセンスに基づくコミュニティ版も準備中（10月26日現在、ライセンス承認待ち）とのことです。 Oracle NoSQL Databaseは、同社のキーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。大規模なデータを高速に扱うことができ、高い可用性とスケーラビリティを実現すると説明されています。 分散キーバリューストアで単一障害点を排除 NoSQL Databaseの基本的なアーキテクチャは、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリュ
2011年9月30日、オープンソースのKey-Valueストア「Riak 1.0」がリリースされました。RiakはAmazon Dynamoの思想をもとにBashoという企業が開発している分散データストアシステムです。RiakはErlangで作られており、HTTP/JSONインタフェースが用意されています。また単体でMapReduce実行をサポートしており、map関数reduce関数ともにJavaScriptで記述します。今回の1.0のリリースでアップデートされた主な内容は次のとおりです。 セカンダリインデックスのサポート 新しいデータ処理機構「Riak Pipe」の導入 ロギングフレームワーク「Lager」の導入 検索エンジン「Riak Search」を統合 対応ストレージエンジンにLevelDBをサポート RiakはFirefoxのユーザフィードバック収集システムやWikiのホスティン
2011年7月19日、オープンソースの分散Key-Valueストア「Voldemort 0.90」がリリースされました。VoldemortはAmazon Dynamoを意識して作られたプロダクトです。ちなみにAmazon Dynamoクローンという系列ではほかにRiakなどがあります。Voldemortはビジネス向けソーシャルサービス「LinkedIn」の技術者を中心に開発が行われており、LinkedInではもちろんのこと、eBayや論文共有サービスのMendeley、結婚支援サービスのeHarmonyなどでも使われています。今回のリリースで行われたアップデート内容は次のとおりです。 サーバ／クライアント間の処理をノンブロッキングIOに切り替え 読み取り専用のデータを効率的に扱うリードオンリーストレージエンジンの改善 Protocol BuffersによるRuby、Pythonクライアント
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
