[B! spark] Asakusa on Spark - 急がば回れ、選ぶなら近道

sh19910711 2015 / "MapReduceを裸で書くことはアセンブラで処理を記述することとそれほど大差はなく / Hadoopが登場した時分では、大規模データ（特にweblogやlifelog）の一斉集計が主要用途 / Better HadoopとしてSparkを利用している"

2023/01/12 リンク

minoru0707 ふむ。全然わからん。

2015/07/29 リンク

mooz すばらし「ユーザーはAsakusaDSLで処理を記述しておけば、今後、より高速な処理エンジンが開発されてきたとしても、Asakusaが対応しさえすれば、そのメリットを享受できる」

2015/07/15 リンク

tacke Sparkっょぃ. / "「業務バッチ処理という観点で見れば、すべからくHadoopMapReduceより、Sparkのほうが高速に処理を終えることができる」というのが結論になっています。"

2015/07/09 リンク

airj12 久し振りと思ったらSpark対応してた / 神林さんが長期どっぷり浸かる案件て興味深い

Asakusa

2015/07/09 リンク

sh2 atode

2015/07/08 リンク

kimutansk すべての処理を無理矢理Map・Reduceの形にしなければならない／Map・Reduceのタスク処理が実態としてはそれぞれが独立したjvmアプリケーションになっている　がコストが大きいと。

2015/07/08 リンク

wyukawa 運用周りとかどうなんですかねえ

spark

2015/07/08 リンク

hoxo_m 「巷では（というかSparkの公式サイトでは）オンメモリー処理によりパフォーマンスが出ているといわれているが多いのですが、実際はそうでもありません」

Spark

2015/07/08 リンク

Asakusa on Spark - 急がば回れ、選ぶなら近道

Asakusa on Spark AsakusaがSpark上で動くようになりました。 Asakusa on Spark (Developer Preview) — ... Asakusa on Spark AsakusaがSpark上で動くようになりました。 Asakusa on Spark (Developer Preview) — Asakusa Framework Developer Preview 0.2.2 documentation すでに実際に本番に利用しています。ノーチラス・テクノロジーズがさくらインターネットにAsakusa Frameworkで開発した大規模データの高速処理基盤を導入し、顧客単位での精度の高い原価計算を実現高速処理基盤はApache Spark™で構築 | NAUTILUS OSSとしての公開を行いましたので、内容や位置づけをまとめておきます。例によってノーチラスは社内でいろんな意見は当然出ていますが、今回は概ね一致している感じです。パフォーマンス概ね「業務バッチ処理という観点で見れば、すべからくHadoopMapR