列指向RDBMSまとめ。

はじめに

列指向RDBMS(Infobright,InfiniDB,LucidDB,MonetDB)について調査したものを以下にまとめます。

まとめ

• Infobright
  • MySQL上にビルド
  • 開発状況はプロダクション/安定、ドキュメントが充実しており、インストールなど扱いが容易そう。
  • 圧縮性能が特に優れている=>ベンチによると0.18倍まで圧縮される
  • Load timeは3位(4位のluciddbとは差が大きい)
  • クエリ時間はInfiniDBより遅くてLucidDB程度。
    • CPU-bound=>エンジンがsingle cpu/coreしか使用できないという制限があるため。マルチコアを有効利用できない。
• InfiniDB
  • ロード時間とクエリ時間が優れている。
    • IO-bound=>シーケンシャルI/O(120MB/s)を十分活用してデータを処理出来ている
  • 圧縮はしない。むしろオリジナルより増えている？
  • 開発状況はalpha,beta程度でまだ新しい。JDBCからはアクセスできない?
• LucidDB
  • クエリ時間は他dbと比べて早くない
  • ロード時間が他dbと比べると数倍以上かかる
• MonetDB
  • SQLとXQuery(XMLデータ問い合わせ)が叩ける
  • 圧縮とクエリ時間が最悪
  • 開発状況が成熟している

Infobright

Infobright は、MySQL の代表的な特徴である使いやすさと単一サーバでの TB サイズのデータ容量サポートを組み合わせた、MySQL ユーザ向けの現代的なデータウェアハウジングソリューションを提供します。

Infobright は次の機能およびメリットを提供します。

列ベースのデータベースアーキテクチャ

• 分析データウェアハウジング、およびアドホックの予測不可能なクエリのサービスに最適なアーキテクチャ
• すべてのテーブル/行をスキャンすることはあまりなく、実行されても、最終結果の I/O も少なく、レスポンスタイムも高速なので、行ベースのソリューションよりも非常に効率的

業界をリードする圧縮機能

• 非常に高いデータ圧縮率を提供することで、ストレージコストを削減、物理的な I/O を軽減、全体的なパフォーマンスを改善
• 10 : 1 〜 40 : 1 までの圧縮レベルを実現

高い拡張性、優れたパフォーマンス

• TB サイズのデータウェアハウス向けに設計
• 複雑なクエリでも素晴らしいクエリパフォーマンスを発揮
• データベースの成長に伴い一定したロード時間とクエリパフォーマンスを提供

自動管理

• 既存のスキーマを使用したロードアンドゴー
• マテリアライズドビュー、データパーティショニング、インデックスの必要はなし
• Infobright のオプティマイザと組み合わせることで SQL アクセスパスを決定する一意な「ナレッジグリッド」
• 調整や手動による操作が必要なく、すべてのナレッジグリッド構造はデータベースのすべての列で自動的に保持される

高速データロード

• Infobright Enterprise Edition の並列ロードユーティリティでは、バイナリファイル形式で最大 280 GB/時を提供

既製の低コストハードウェア

• 業界標準サーバで稼動
• 高い圧縮率による最小のストレージ要件
• 単一サーバでサポートされる 1 〜 10 TB（以上）のデータを簡単に管理

BI 柔軟性/MySQL 統合

• 一般的な MySQL ストレージエンジンとして提供
• Pentaho、JasperSoft、Cognos、Business Objects、SAS および MicroStrategy などの主要な BI ツールですぐに利用できるサポート
• ODBC などの標準のデータベースインターフェースをサポート
• JDBC およびネイティブ接続
• C、C++、C#、Borland Delphi（dbExpress を利用）、Eiffel、SmallTalk、Java（ネイティブ Java ドライバ実装による）、Lisp、Perl、PHP、Python、Ruby、REALbasic、FreeBasic および Tcl などの API をサポート

開発状況

5 - プロダクション/安定

人気のあるプラットフォームでの簡単なインストール、設定およびサポート

• 小規模なダウンロード、5 分程度の簡単なインストール
• 複雑な設定/調整が必要ない
• コミュニティエディションでは 32 および 64 ビット Red Hat Enterprise Linux、CentOS、Fedora、Debian をサポートn
• エンタープライズエディションでは 64 ビット Red Hat Enterprise Linux、CentOS、Debian をサポート

参考サイト

• MySQLの公式サイト http://www-jp.mysql.com/products/dw/infobright.html

InfiniDB

InfiniDBの特徴

• 大規模データボリュームにおける高速なデータ読み込み機能
• マルチスレッドアーキテクチャをベースとしマルチコアCPUの高い性能
• インデックス化なしで従来のMySQLよりも高速な操作 (INSERT、UPDATEなど)
• トランザクションへの対応

Note

• 以下のサイトによると同じ列指向であるInfoBright,LucidDB,MonetDBと比べて高速な性能を実現していることが分かる
  • http://www.mysqlperformanceblog.com/2010/01/07/star-schema-bechmark-infobright-infinidb-and-luciddb/

開発状況

3 - アルファ, 4 - ベータ, 5 - プロダクション/安定

LucidDB

特徴

• column-store
• bitmap indexing
• hash join/aggregation
• page-level multiversioning
• JDBCからアクセス可能

開発状況

5 - プロダクション/安定

MonetDB

特徴

• 自動的なインデックス管理
• 柔軟な最適化基盤
• データの種類や検索加速器の拡張
• プログラム可能なバックエンド機能を備えたSQLとXQuery

開発環境

6 - 成熟

参考サイト

• monetdb公式サイト: http://monetdb.cwi.nl/