SREチーム(新卒)の市川恭佑です。 カヤックのサービスでは、信頼性の担保を目的として、ステージング環境を作成する方針を取っています。 ステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。 そこで今回は、Tonamel という自社サービスにおける、検証用データベースの立ち上げを自動化する取り組みについて紹介します。 サービスの置かれていた状況と解決方針 Tonamel の実行基盤は Amazon Web Services (AWS) 上にあり、本番環境とステージング環境は別のアカウントとして、同一の AWS Organizations 組織内に構築されています。 もともと、ステージング環境では、本番環境のデータは利用せず、手作業でダミーデータを作成していました。 それゆえに、データベースに格納されているデータ量は本番環境と
こんにちは。昨晩のお夕飯は鮭のカレー風味ムニエル定食だったインフラ部 SRE グループの @mozamimy です。 鮭のカレームニエル定食 pic.twitter.com/G2c1ij2wpp— ᕱ⑅ᕱ もざみ (@mozamimy) February 6, 2018 今回は、SRE グループでの取り組みのひとつであるマルチクラウドバックアップを題材にして AWS SAM、CodePipeline (CodeBuild および CodeDeploy を含む) を用いたサーバーレスアプリケーションの構築、ビルドおよびデプロイについて書いていきたいと思います。また、1月に Lambda で Golang が利用可能になった こともあり、CodePipeline の進捗を Slack に投稿する Lambda function を Golang で作ってみたので、そちらもあわせて解説したいと思
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
内部ストレージ少なすぎ・・・ならばアプリの格納場所を変更しよう！ いくらSDに移動できるといっても条件を満たしたアプリでないとだめだし、基本的にデータを置くところにアプリも一緒ってのは精神衛生上よくない。 ゲームなどは結構SDに置く事ができるが、逆転裁判はインストールサイズ60MBぐらいあるわりにはSD移動不可というアプリもあったりもする。 60MもあるくせにSD移動不可に異議あり そこで以下の Link2SD が強力にアシストしてくれる。 もともと昔からこのアプリの存在は知っていたが、まあいずれやるか・・だったが、arcの内部ストレージのこころもとなさもあり導入することにした。 早い話がandroidに差しているSDカードをパテーション分けしてそこにアプリをインストールするってことです。 制限はとくにないためほぼなんでもSDに放り込める。 必要なもの Root権限 Link2SD PCで
皆さんは、FirefoxやThunderbirdの大切なデータのバックアップは定期的に取っていますか？ブラウザに大量のブックマークやパスワードを保存しているようなヘビーユーザーならば、万一の事態に備えて常に最新のデータをUSBメモリなどにバックアップしている人も多いはずですが、中には面倒でついさぼりがちだったり、そもそもバックアップのやり方がよく分からないという人もいるかもしれません。 また、FirefoxやThunderbirdには無料で利用できるバックアップツールが充実していて、誰でも簡単に使える、分かりやすいユーザーインターフェースを備えたフリーソフトもたくさんありますが、それゆえデータバックアップを取るためには必ずこのようなツールを使わなければいけないと思っている人もいるのではないでしょうか。 Firefox/Thunderbirdではブックマークやパスワードだけでなく、アドオン、
おでこです。自宅では Windows のデスクトップマシン、出先や勉強会では MacBook Air を使っているのですが、それぞれに作っている XAMPP のローカル環境がバラバラなのがずっと不満でした。勉強会で一からローカル環境作り直したり。自宅と MBA で同じバージョンの WordPress を2回もインストールしたり。 でも、そんなこととももうおさらば！Dropbox を使って ローカル環境を同期することにしてみました。具体的な手順は以下をご覧あれ。 XAMPP のファイル構成は OS によってまったく違う 複数クライアントの XAMPP 環境の同期と聞いて、「そんなの XAMPP フォルダを Dropbox フォルダに入れて同期すれば終了だろ、JK」と思う方もいるかもしれません。XAMPP 環境を扱うクライアントがすべて同じ OS であればこの方法でも解決できますが、Windo
Linuxにて、ext2/ext3ファイルシステムを使用しているときのシステムバックアップリストア方法。 （TOPICSに投稿したのを再編集して静的ページにしました） dumpを使用してファイルシステムイメージでバックアップしているのでaclやselinuxにも対応できます。（aclやselinuxの場合は権限の箇所を適時読み替えてください) 以下の条件がそろっていることを前提とします。 リストアにはlvm2およびNFSマウント restoreコマンドが扱えるレスキューCD（インストールCD）を利用する。（CentOSあたりがよさそう） （↑わかってるならKNOPPIXや他のLiveCD Linuxでも可。こちらのほうが融通利きやすい） バックアップイメージは他サーバーのNFSエクスポート領域に配置 ファイルシステムはext2またはext3を使用
MozBackup is not being developed anymore. There are known issues and there is no time on my side to fix all issues and develop new features. Use MozBackup only on your risk. Thanks for understanding. Source code is available on GitHub. What's MozBackup? MozBackup is a simple utility for creating backups of Mozilla Firefox, Mozilla Thunderbird, Mozilla Sunbird, Flock, SeaMonkey, Mozilla Suite, Spic
年の暮れといえば大掃除です。ということで身の回りをいろいろと整理してました。モノの整理はすぐに終わったのですが、データ整理は時間がかかります。 モノはアルバム類はここ、食器類はここ、電化製品はここ、といった感じで決まった場所にはめ込んでいけば終わりです。不要になったものはバシバシ捨てればよい。簡単です。 一方で、電子メールは日々整理しているから問題ないにせよ、書籍、スクラップした新聞・雑誌、ウェブ上で集めた資料を含めたデータ類の整理は結構面倒です。整理の要諦は「必要なモノ（情報）を必要なときに取り出せる」ようにすることです。モノと比べて、データはその容量（数量）が桁違いに多いので、整理の際には効率性はもちろん後々の検索可能性を考慮して行う必要があります。 ドラッカーの言葉で「整理して体系化しないかぎり、データは情報とならず、データにとどまる。意味をなすには、体系として把握しなければならな
■編集元：ソフトウェア板より「ファイルバックアップ比較お勧め総合スレッド Part6」 1 名無しさん＠お腹いっぱい。 :2010/03/04(木) 16:17:12 ID:kpVMzmE70 ファイルバックアップについて語るスレッドです。 前スレ ファイルバックアップ比較お勧め総合スレッド Part5 http://pc12.2ch.net/test/read.cgi/software/1231707102/-100 イメージでのバックアップに関しては、以下のスレでどうぞ ▲▽バックアップソフト徹底比較スレ△▼ No.13 http://pc11.2ch.net/test/read.cgi/software/1225206470/ 名無しさん＠お腹いっぱい。 :2010/03/04(木) 16:17:26 ID:kpVMzmE70 市販、シェア ・B's ラク～だ！
HDDは突然壊れる ２年使ったら新品交換しろ Tweet 1：シナリオライター(茨城県)：2010/08/07(土) 06:19:46.36 ID:teVQMfgM● 「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた 複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが 故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用い られているだけでなく、最近では市販の外付けのハードディスクにも採用されており、 個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ 大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 ■大容量時代のバックアップのとり方は？ みなさん保
複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用いられているだけでなく、最近では市販の外付けのハードディスクにも採用されており、個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 より確実にバックアップをとるコツや、万が一の際にはどう対処すればよいのかを、過去１万台以上ものRAID復旧の実績を持つデータ復旧専門会社「日本データテクノロジー」の内部に潜入し、技術者の方々にいろいろと聞いてきました。 詳細は以下から。データ復旧|PC・サーバー・RAID機器のハードディスク復旧ならデータ復旧.com 日本デー
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
Unlike Light’s older phones, the Light III sports a larger OLED display and an NFC chip to make way for future payment tools, as well as a camera.
バックアップとってなくって泣きを見たのは過去に1回。あれはつらかったな。 バックアップってみなさんどうしてますか？ あたしは、たまに外付けハードに必要なファイルをガーーーっ!! っと保存してますけど、それでもついついさぼりがちになってます。よくないですねぇ。 何かパソコンに問題があると必ず言われる1言。 ｢最後にバックアップしたのいつ？｣バックアップは大事なんです。わかっているんです。でも、パソコンの調子が悪くなったことないし。いつ必要になるかわからない（もしかしたらずっとうまくいけば必要ない）バックアップ用の外付けにお金だすくらいなら、なんか他のことに...なんて思ってついついバックアップ先延ばしにしてる人いませんか？ そんなあなたのために、無料でバックアップする方法紹介します！ 注）ここで紹介するのは、フルバックアップではありません。ドキュメントや、写真、音楽等、必要なファイルのコピー
lsyncdというツールをご存じでしょうか？これを導入することで、リモートのホストとディレクトリ単位で同期をすることができます。 先日のエントリーでも紹介していますが、実は設定や導入がすごく簡単です。した設定でリモート間でファイルの同期をとれるのはやはり便利ですよね。 さて、今回はlsyncdの簡単な導入方法を紹介したいと思います。 lsyncdの仕組み lsyncdはlinux kernel2.6.13で導入された、inotifyというAPIをつかって動作しています。 inotifyはファイルシステムのイベントを取得することができるAPIで、ファイルの作成や削除などをそれぞれイベントとして取得をすることができます。 この仕組みと、rsyncを組み合わせてファイルの同期を行うことを実現しています。 lsyncdのインストール まず、以下のページからsourceをダウンロードしてください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger