2015/11/12開催の 【ヒカ☆ラボ】Node.js×MongoDBでのサービス運用が1時間で分かる！3年間の運用での失敗談とその対策に加えて、運用のハマりどころやツールついてもお話します！ 株式会社サイバーエージェント 橋本 純様の資料です。Read less
Content-Length: 342303 | pFad | http://b.hatena.ne.jp/aki77/mongodb/
Node.js×mongo dbで3年間サービス運用してみた話
2015/11/12開催の 【ヒカ☆ラボ】Node.js×MongoDBでのサービス運用が1時間で分かる！3年間の運用での失敗談とその対策に加えて、運用のハマりどころやツールついてもお話します！ 株式会社サイバーエージェント 橋本 純様の資料です。Read less
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
mongodbのObjectIdの生成規則 - としたにあんの左脳
MongoDBのマイグレーションとかしてたら，MongoDBのObjectIdって本当にユニークだっけ？っていう疑問がわいた． 確かいろいろな要素を使って，ユニークになるようにできてたよなぁ．．．と思って，ちゃんと調べてみた． とりあえず公式のObjectIdの説明．ObjectId - MongoDB Manual 2.4.9 4バイトの，Unixエポックからの経過秒数(Unix時間) 3バイトのマシンID 2バイトのプロセスID 3バイトのカウンタ(開始番号はランダム) からできているらしい． ↑がんばって書いた． 実験！ 同じマシンで生成してみる． 以下の２つのObjectIdは同じマシン上で生成したObjectId. 52fcf106 0af12b af9e 8d5bba 52fcf108 0af12b af9e 8d5bbb 確かに最初のUnix時間は2秒ずれていることがわかる．
MongoDB2.6リリースノート斜め読み！ - 中年engineerの独り言 - crumbjp
ご存知の通りMongoDB2.6がリリースされました！ 相変わらず乱文で解説！！ Aggregation Enhancements Aggregationが強化された。 db.collection.aggregate() がカーソルを返却するようになった 今まで最終結果には64MBの制約があったが、解消されたようだ。 というかそれが普通。。。 パイプラインがexplainをサポート 今までは感覚で是非を判断していたので嬉しい改善！ ディスクソートが効率的になった $out オペレータで指定のコレクションに結果出力が可能 今までは結果をforで回して入れなおしてたのでこれも便利。 $redact でパイプライン中にデータの微修正ができる あんまり使う機会が思い当たらない。。 多分この様な用途でMongoDBを使うこと自体が詰んでる。 新しいoperator $let, $map $liter
Robo 3T | Free, open-source MongoDB GUI (formerly Robomongo)
3T is halting development work on Robo 3T and we are setting the code repository to read-only. Users can continue to download the application but we recommend that they download Studio 3T Free to evaluate it. Robo 3T is deeply based on the Mongo shell client. This older client has been deprecated in MongoDB 5.0 and is not expected to be maintained in the future. The new Mongosh client is a Node-ba
MongoDBのCapped CollectionとTailable Cursorを使ったRealTimeAccess集計 - Y's note
Index RealTimeAccess集計 Capped Collection Tailable Cursor まとめ RealTimeAccess集計 RealTimeAccess集計をするためにMongoDBの利用を考えます。サーバーの構成は上図のようなイメージで各種ApplicationServerからFluentdでLogAggregatorにRealTimeでLogデータを転送し、LogAggregator MasterがMongoDBにFluentdで書き込んで行きます。ここで言うRealTimeAccess集計の機能要件を整理すると以下のようになります。 Access発生後、1分以内で集計結果をWebツール上で確認したい。集計区間も1分単位など。 複数条件が指定可能で、柔軟なCross集計がしたい。 RealTimeAccess集計のSystem負荷を出来る限り抑えたい。
ルーク、 MongoLab を使え！ - @kyanny's blog
五月の終わりから Quipper で働いている。 Quipper は DeNA の co-founder である渡辺雅之氏がロンドンで創業したモバイル学習プラットフォームの会社で...みたいな話は長くなるし、読者の興味を引きそうにないのでやめておく。このへんの話を詳しく知りたい人は渡辺によるハーバード・ビジネス・レビューの連載をどうぞ。 ソフトウェア開発者にとって一番気になるのは、会社の事業内容とか売上利益よりも、「どんな環境でソフトウェア開発をしているのか」じゃないだろうか。どんなインフラを使っているのか、バージョン管理やタスク管理はどうしているのか、自動テストはどのくらいやっているのか、開発手法はアジャイルなのか、 Mac で開発できるのか、椅子は六万円以上か（冗談ですよ）、などなど。 こういった、ソフトウェア開発者が日々過ごす広義の「環境」について言えば、 Quipper はかなりい
時系列データとMongoDB2.4の新機能Hash based sharding - 中年engineerの独り言 - crumbjp
実は数年前（MongoDB 1.6〜1.8の時期）にログをリアルタイムに全てmongodbに叩き込んで期間毎に解析する仕組みを作ろうとして挫折した事がある。 理由は幾つかあったのだが主に cappadコレクションでは解析時の負荷とログ投入負荷が重なってしまう。 → 最終的には書き込みが負けてoplogが溢れる。 時系列カラムをshard keyにするとchunk migrationが辛すぎる。 そもそもshardingの信頼性が・・・ という理由だった。 今ならストレージエンジンが早くなったし再挑戦しても良いかもしれない。 ログは非同期に準リアルタイムに拾って投入。 出力元＋時間でshard key。 なるべくグループコミットの効率が上がる塊を作る。 とか、、 お題 ともかく、今回は 時系列データを投入した時chunk migrationがどう動くのか？ の話。 そもそも時系列カラムをsh
MongoDB版 phpMyAdminのphpMoAdminを試してみた - hrendohの日記
普段、MySQLではWebの管理ツールPhpMyAdminを使って居るのですが、MongoDBを使った開発もするようになったのでWebのツールあるかなあと探してみたところphpMoAdminというツールがあったので試してみました。 PHP+Apache+MongoDB環境を一から作成するには以下のブログがまとまっています。 http://www.giantflyingsaucer.com/blog/?p=1826 phpMoAdminのインストール ここでは、PHP+Apache環境がある状態から新たにPHP+MongoDBの環境を作るための手順のみ説明します。 OSはUbuntu10.10です。 1. phpMoAdminの入手 公式サイト http://www.phpmoadmin.com/ の中程にある[DOWNLOAD phpMoAdmin]リンクをクリックしてphpmoadmin
mongodbを使ってみる (7) - MapReduce - - kinjou_j (転職中)のメモログ
2013-01-17 mongodbを使ってみる (7) - MapReduce - MongoDB fluentd MongoDBにもれなく付いてくる(笑)MapReduceを使ってみる。ただ使っても面白くないので fluentdを使ってnginxのアクセスログをtailする fluentdでパースされたアクセスログをfluent-plugin-mongoを使ってMongoDBにプッシュする MongoDB MapReduce APIを使って、アクセスカウント統計を作る という流れで fluentd側のセットアップ sudo /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-mongo でとりあえずfluent-plugin-mongoを入れる。んで <source> type tail format apache pa
db.collection.mapReduce() - MongoDB Manual v8.0
Starting in MongoDB 5.0, map-reduce is deprecated: Instead of map-reduce, you should use an aggregation pipeline. Aggregation pipelines provide better performance and usability than map-reduce. You can rewrite map-reduce operations using aggregation pipeline stages, such as $group, $merge, and others. For map-reduce operations that require custom functionality, you can use the $accumulator and $fu
Query Mongo: MySQL to MongoDB Query Translator
Mongo and MongoDB are registered trademarks of MongoDB, Inc. This site is for educational and demonstration purposes (and because we think MongoDB is pretty cool). More helpful tools for working with data: Getting Your Data into Redshift, Postgres, BigQuery, Snowflake, or Panoply | Customer Lifetime Value | Churn Rate | Cohort Analysis | SQL Join | Columnar Database | ETL Database | The Sta
MongoDB Aggregation Framework について
仕様を覗いてみると、見慣れない感じになっていて、あぁ、また新しい事を習熟しないといけないという気持ちにさせられます。 ただ、この Aggregation Framework によって、SnapDishにある膨大なデータをより柔軟・迅速に集計することが可能になると判断したので、今回は勇気を振り絞って、首を突っ込む事にしました。また、今後のバージョンで Javascript の エンジンが v8 になり、更なるパフォーマンス向上も期待できますので、先に習熟することにしました。 Aggregation Framework 以前は、 MongoDB で 集計を走らせる場合、色々と工夫をしなければいけませんでした。例えば、M/R を使ったり、別のRDBに取り込んだり、集計用のプログラムを別途作るなどして、個別に対応する必要がありました。それぞれ、どれも手間のかかっていました。
アプリを支えるFluentd+mongo dbを使った大規模ログ解析
アプリを支えるFluentd+mongo dbを使った大規模ログ解析 Presentation Transcript アプリを支えるFluentd +MongoDBを使った大規模 ログ解析 2013/03/2513年3月25日月曜日 自己紹介 • 田中 勇輔(@csouls) • ハッカーLv.3（ホイミが使えるようになっ た） • 8ヶ月くらい前にユーザ系SIer→Web業界へ 転職13年3月25日月曜日 変化を善とする文化 • 転職して一番変わったことは、周りの人の技 術変化に対する価値観の基準が悪→善になっ たこと • 停滞はゆるやかな死。しかし、変化する方向 を間違え続けるとすぐに死ぬ13年3月25日月曜日 分析 • 変化の方向を決める道標 • 分析基盤も変化(発展)し続ける13年3月25日月曜日 ログ分析基盤 • fluentでログを集めてMongoDBで集計して Ruby o
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/aki77/mongodb/
Alternative Proxies:
月間10億pvを支えるmongo db
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
MongoDBの監視
HadoopとMongoDBを活用したソーシャルアプリのログ解析
Loading...