Hiveのメタストアは、何かにつけて、ハマる。分かっているつもりで分かってなかったことも、未だにある。このブログ内や他の場所のあちこちに気づいたことを書いているが、散乱しているのでここでまとめてみる。 以下、過去記事からの引用。 メタストアサービスについて Hiveではメタストアサービスと呼ばれるものを利用する。メタストアサービスはテーブル定義、ここでは「テーブルとHDFS上のデータの対応情報」を管理する。メタストア自体はRDBMSを使用してその情報を管理している。メタストアサービスは以下の3種類があり、要件によって使い分ける。 組み込みメタストア もっとも手軽に利用できる形態。HiveにはJavaで実装されたDerbyというDBが組み込まれており、そのDBをメタストアリポジトリとして利用する。hiveコマンド起動によりDerbyも起動する。同時に一人のユーザーしかHiveを利用できない、
月刊FACTA7月号で、LINEが韓国の国家情報院に通信傍受されているとする記事が掲載された。これに対してLINEの森川亮社長が「国際基準を満たした最高レベルの暗号技術を使って通信されていますので、記事に書かれている傍受は実行上不可能です」と反論、さらにFACTAの阿部編集長が「それが破られているというのが本誌の認識」と再反論している。その後LINEはITMediaの取材に対し「暗号化後データは独自形式、解読は不可能」と回答した。 LINEの開発者向けブログによるとLINEはサーバーとの通信に通常TLS/SPDYを使っているが、3G通信などで遅延が大きい場合には利用者の操作性を優先して暗号化せずに通信を行う場合があると書かれている。データセンターは日本にあるとのことなので、FACTAの記事にある韓国政府のサイバーセキュリティ関係者の発言が仮に事実であったとして、少なくとも韓国国内での遅延の
Finagle is a protocol-agnostic, asynchronous RPC system for the JVM that makes it easy to build robust clients and servers in Java, Scala, or any JVM-hosted language. Rendering even the simplest web page on twitter.com requires the collaboration of dozens of network services speaking many different protocols. For example, in order to render the home page, the application issues requests to the Soc
Schema evolution in Avro, Protocol Buffers and Thrift Published by Martin Kleppmann on 05 Dec 2012. So you have some data that you want to store in a file or send over the network. You may find yourself going through several phases of evolution: Using your programming language’s built-in serialization, such as Java serialization, Ruby’s marshal, or Python’s pickle. Or maybe you even invent your ow
ScalaでMMOのサーバを書くための技術
この記事は、Play or Scala Advent Calendar 2012の25日めです。 Looking back 2012 2012年は、 Playのドキュメント翻訳 Scala、Playのビギナー向けの発表 会社の業務でもScalaが使えるようになった など、個人的にはPlayとScalaが身近な世界で躍進した年でした。そんな年にアドベントカレンダーの最終日を担当するというのは、何か感慨深いものがあります！ 最近はPlayやScalaが実践で使われ始めた影響か、バイナリ互換性やビルドツール、習得面などの実践的な課題が色々と話題になっています。課題に対しては来年移行も粛々と対応をしていき、Scalaの今後の発展に寄与していきたいと思います さて、本題に入ります。先日、AkkaでMMOのサーバ（ほんの小さなものですが）を書きました。その時に使ったScala関連の技術をいくつかご紹介
先週末はThriftのスピード問題にはまり、ガンダム戦記にはまり、ほとんど外に出られませんでした。前回のエントリー(Thriftのスピードについて)の続きとなります。 やっぱりperlのクライアントライブラリに問題がありそう？ 多くの有識者の方にアドバイスをいただき感無量でございます。前回のエントリーでは、perlライブラリ、pythonライブラリでThriftが異常なほどに遅いんじゃないか？といった内容でございました。当方のバグではないかと、おそるおそる前回のエントリーをポストしたのですが、tokuhiromさんがこの現象に関して調査と考察の結果を示してくれました(ThriftのPerl Clientが遅すぎる件について)。 クライアントが Pure Perl で書かれており、かつ実装に適当さが感じられ、「速そうには、みえないな。。。」と感じました。 Facebook 内で実際に使用され
NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
