Content-Length: 369059 | pFad | http://b.hatena.ne.jp/rabbit2go/DynamoDB/
SORACOM GPSマルチユニットのデータをTerraformでIoT RuleとDynamoDB作って受け取ってみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回は案件で初めてTerraformを使うことになったので軽く肩慣らしとして、IoTデバイスからのデータ受信する構成を作ってみました。 せっかくなので、最近買った「GPS マルチユニット SORACOM edition」からデータを飛ばして試してみます。 全体的には以下のような構成です。 現在はSORACOM HarvestやSORACOM Lagoonでデバイスデータの可視化は非常に簡単にできるので、すぐにデータを可視化したい場合はそちらの使用をおすすめします。 Terraformの設定 基本的に以下の書籍でCLIなどはセットアップしました。Terraformのバージョン管理には、tfenvを使っています。 項目名 バージョン コードの内容 Terraformのコードは以下になります。基本的にDynamoDBとIoT Rule、実行に必要なロールと
AWS LambdaからPython Boto3を使用してDynamoDBを操作してみた - Qiita
DBとtableを自分の環境に書き換えてもらえれば、コピペで試せます。 バージョン Python3.7 準備 import boto3 dynamoDB = boto3.resource('dynamodb') table= dynamoDB.Table('sample') def main(event, context): search(event) insert(event) update(event) delete(event) return def search(event): query_data = table.get_item( Key={ 'id': event['id'] } ) print("GetItem succeeded:") # 取り出す時は sample_value = query_data['Item']['sample_value'] return
【詳解】JavascriptでDynamoDBを操作する - Qiita
ややこしいドキュメントを何度も挫折しそうになりながら突き進んでみて、（なんとなく）分かったことを備忘録がてらまとめます。 #前提：DynamoDB.DocumentClientを使う JavascriptでDynamoDBを操作するには、AWS.DynamoDBを使う方法と、AWS.DynamoDB.DocumentClient（以下、"docClient"）を使う方法の２つがあります。後者のdocClientを使うと、ネイティブなJavascriptのデータ型を自動的にDynamoDB上の型に変換してくれるので、コードが簡潔になります。この記事ではこのdocClientを使うことを前提にします。 例）AWS.DynamoDBを使う場合 var dynamodb = new AWS.DynamoDB(); var params = { TableName: 'DogTable', Item
DynamoDBについて今更調べたのでメモ - メグリ株式会社
事前に作りたいキーがはっきりしていればLSIが作成できるが、パーティションキーとの組み合わせに限定される。 GSIなら後から作成可能で、パーティションキー以外での検索要件も満たすことが出来るためRDBの様な柔軟な検索も可能になる。 課金 DynamoDBはプロビジョニングされたスループットに対して課金される。 スループットは読み込み・書き込み用に予約されたキャパシティのみ使用できる。 – 書き込み 1ユニット=1KBあたりのアイテムについて、1秒あたり1回の書き込みが可能 – 読み込み 1ユニット=最大1KBのアイテムに対して、「強い整合性のある読み込み」を1秒あたり1回できる(「結果的に整合性のある読み込み」については1秒あたり2回) ユニット数の計算 必要な容量のユニット数 = 1秒あたりの項目書き込み/書き込み数 * 項目のサイズ(KB切り上げ) （書き込みは読み込みの5倍のユニット
Amazon DynamoDBがBatchWriteItemに対応しました | DevelopersIO
BatchWriteItem Amazon DynamoDBが複数アイテム同時処理に対応しました。1つのアイテムを追加/削除したいならば、PutItem/DeleteItemを用いれば事足りるのですが、例えばElasticMapReduceによって大量のデータをDynamoDBにアップロードする等の場合に効果を発揮します。クライアント側でJavaを使っているならばスレッド処理によって並行的に操作を行う事ができますが、コードが複雑になり管理の面とリソース使用の面で劣ります。その他の言語を用いる時はスレッド処理自体に対応していないかもしれません。ということで、BatchWriteItemを使う事によって多くの恩恵を得る事が出来ます。以下に特徴を示します。 1回のリクエストにまとめて追加/削除/置換を指示するため、スループットが向上する。 サーバー側で同時に処理を行ってくれるため、クライアント側
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの江川(@daiti0804)です。本日は、AWS のソリューションアーキテクトであるGowri Balasubramanian が、AWS Database Blogに投稿したChoosing the Right DynamoDB Partition Key をご紹介します。 このブログ投稿では、リレーショナルデータベースから DynamoDB へ移行するにあたって、適切なパーティションキーを選択するための重要な考慮事項と戦略を説明します。これはDynamoDB を利用するスケーラブルで信頼性の高いアプリケーションの設計と構築において重要なステップです。 パーティションキーとは DynamoDB では二種類のプライマリキーをサポートします: パーティションキー(Partition key): ハッシュキー(以前の名称)としても知られていますが、パーテ
BatchWriteItemを利用してAmazon DynamoDBのテーブルを空にする｜Developers.IO
こんにちは。サービスグループの武田です。 DynamoDBを使用しているシステムのテストや動作検証をしていると、一旦テーブルの内容をクリアしたいことがあるかと思います。 DynamoDBのテーブルを削除して再作成ができれば早いんですが、今回は以下のようなケースで再作成が難しい状況でした。 CloudFormationで作成したリソースのため手動での再作成は避けたかった テーブル名の一部にランダム値が入りスタックの再作成はやりたくなかった - 別アプリケーションの設定ファイルにテーブル名がハードコーディングされていた 3. 本番環境構築にも使用しているテンプレートで 正直触りたくなかった 変更が難しかった さて、デーブルの再作成ができないとなると、データを一つ一つ消していくという手段になります。 実はAWS コンソールでは100件ずつではありますが、一括削除することができます。 最初はこの方
コンセプトから学ぶAmazon DynamoDB【複合キーテーブル篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。DynamoDB楽しいです。みんなもっと使えばいいのにと思って最近のエントリーを書いています。今回は、前回名前だけ触れた「複合キーテーブル」について。DynamoDBについて全くご存知無い方は、まずは下記エントリーを読んで頂ければと思います。 Amazon RDSとの比較で学ぶDynamoDB コンセプトから学ぶAmazon DynamoDB【ハッシュキーテーブル篇】 今回のサンプルデータ フォーラム・スレッド・返信投稿という3要素で構成した掲示板のデータベースとして、それぞれForum, Thread, Reply というDynamoDBのtableがあり、下記のようなitemがそれぞれのtableに入っているようなイメージをしてみてください。 // Forum { "Name": "DynamoDB", "Category": "Amazon We
【AWS】今更ながらDynamoDB入門 - ニクニクドットミー
NoSQLデータベースであるDynamoDBに今更ながら入門してみようと思います。 こちらの記事を参考に手を動かしながら、感覚をつかもうと思います。 AWS再入門 Amazon DynamoDB 編 ｜ Developers.IO また、DynamoDBにはハッシュキー、レンジキーといった概念があるので、それらを理解する為にこちらを参考にさせて頂きます。 コンセプトから学ぶAmazon DynamoDB【Amazon RDSとの比較篇】 ｜ Developers.IO コンセプトから学ぶAmazon DynamoDB【ハッシュキーテーブル篇】 ｜ Developers.IO コンセプトから学ぶAmazon DynamoDB【複合キーテーブル篇】 ｜ Developers.IO Amazon DynamoDBはマネージドなNoSQLデータベースです。RDBMSとは違い、リレーションやトランザ
DynamoDB の Scan でテーブルのデータを漏れなく取得する為のメモ - ようへいの日々精進XP
これは これはやらかしの記録である 結果セットに 1MB 制限がある 実装例 環境 ダメなやつ 1MB 以上の結果を取得するやつ 1MB 以上の結果を取得するやつ(2) ということで 教訓 自分を殴りたい これは qiita.com 初老丸 Advent Calendar 2017 6 日目の記事になる予定です. これはやらかしの記録である 一年前に作った DynamoDB テーブルの Scan した結果を解析処理して REST API で返すだけのシンプルなシステム. ところが, 最近になって返却する値がとても不安定（意図した結果が返ってくる時と返ってこない時がある）になってしまい調査したところ... Scan した結果に全てのレコードが含まれていないことを確認... 勢いでドキュメントを読むと... 結果セットに 1MB 制限がある docs.aws.amazon.com Dynamo
ここにハマった！DynamoDB - Technology Topics by Brains
はじめまして。Impulse開発チームの木村です。 今回は、Amazon DynamoDBを、 Apache Cassandraと同じように扱おうとした際に、ハマった点とその解決策を紹介します。 なお、DynamoDBの操作には、AWS SDK for JavaScript (Node.js)を使用しています。 テーブル定義編 テーブルをまとめる機能がない 複合primary keyに使える属性は、最大で2つ 日付・時刻型がない NS/SS/BS型は、配列ではない AttributeDefinitionsにkey属性以外を入れてはならない データ取得編 Range属性のみのkey条件指定はできない SQL(ライクな)文が使えない Expressionに、数値や文字列を直接書けない Range属性に対して2つの条件を指定できない Expressionには、含めてはならない予約語がある 一度に
Aws::Record を使用して DynamoDB のテーブルを Rails から操作するチュートリアル - Qiita
DynamoDB テーブルとクライアントのクラスをマッピングする Aws::Record を使用して DynamoDB を Ruby on Rails から操作する方法をチュートリアル風にメモっとく。 Java や C# 向けには高レベルプログラミングインターフェイスが公式に用意されている。しかし、公式な Ruby 向けの高レベルプログラミングインターフェイスの Aws::Record は2016年8月にリリースされたばかりで、開発者ガイドにも詳細な記載はない。（AWS SDK for Ruby バージョン1には似たような機能が搭載されていたが、AWS SDK for Ruby バージョン2には搭載されていない。）この記事では Aws::Record と Ruby on Rails を使用して Amazon DynamoDB 入門ガイドの Ruby および DynamoDB のチュートリア
DynamoDB ベストプラクティス - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年は始めて、re:Inventに参加してきたので、その際に見た「Amazon DynamoDB: Data Modeling and Scaling Best Practices」というセッションの内容を共有したいと思います。 内容をだいぶ端折ってるので、間違っている場合には、びしばしツッコミいただければと思います。 では、まいります。 1. CacheはCashなり なんでDynamoDBを使うかといえば、やっぱり、ポチポチっと設定するだけで簡単に読み込み、書き込み性能を上げたり、下げたりできるっていうのが大きなポイントかと思います
【AWS】今更ながらDynamoDB入門 - Qiita
DynamoDBの特徴 データは3箇所のAZに保存されるので信頼性が高い ストレージは必要に応じて自動的にパーティショニングされる テーブルごとにReadとWriteそれぞれに対し、必要な分だけのスループットキャパシティを割り当てることができる 例えば下記のようにプロビジョンする Read : 1,000 – Write : 100 書き込みワークロードが上がってきたら Read : 500 – Write : 1,000 この値はDB運用中にオンラインで変更可能 – ただし、スケールダウンに関しては日に４回までしかできないので注意 使った分だけの従量課金制のストレージ データ容量の増加に応じたディスクやノードの増設作業は一切不要 DynamoDBの整合性モデル Write 少なくとも２つのAZでの書き込み完了が確認とれた時点でAck Read デフォルト 結果整合性のある読み込み 最新の
AWS再入門 Amazon DynamoDB 編 | DevelopersIO
はじめに コンニチハ、千葉です。 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の15日目のエントリです。昨日14日目のエントリは川原の『AWS CodeDeploy』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日15日目のテーマは『Amazon DynamoDB』です。 Amazon DynamoDBとは？ 一言で言うと、マネージドなNoSQLデータベースです。 マネージドなため、利用者はOSやミドルのことを意識しなくてよいサービスとなります。可用性や堅牢性が考慮したインフラの構築、パッチの適用等は全てAmazo
Node.js+Dynamo DBでレコードを検索する - Sanwa Systems Tech Blog
こんにちは、AWS担当のwakです。 前回・前々回の記事ではLambdaからSlackへの通知を行いましたが、そこではスクリプト内部にパラメーターをハードコードしていました。これを改善するためにDynamoDBを使おうと思ってコードのサンプルを探してみたのですが、古い記事や新しい記事が入り交じっていて何が最新なのかよく分からなくなってきたためまとめることにします。 この記事の内容 AWS Lambda(Node.js)からSDKを使ってDynamoDBを利用する際、クライアントオブジェクトを生成するためのやり方がいくつかあります。その内容について説明しています。 前提条件 以下のコードは全てDynamoDBにアクセスする権限のあるロールでLambdaから実行しています。また、DynamoDBには事前にテーブルを作成し、数レコードのデータを投入してあるものとします。 DocumentClie
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/rabbit2go/DynamoDB/
Alternative Proxies:
Node.jsでDynamoDBを操作するためのチートシート[DynamoDB.DocumentClient][AWS] - Qiita![Node.jsでDynamoDBを操作するためのチートシート[DynamoDB.DocumentClient][AWS] - Qiita](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2F1e2dae292d1eba8b8c58f9d4c0478aea72489b43%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fqiita-user-contents.imgix.net%25252Fhttps%2525253A%2525252F%2525252Fcdn.qiita.com%2525252Fassets%2525252Fpublic%2525252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png&q=12&output=webp&max-age=110%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNTIxNDElMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTI2NTA_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZDU3YTIxYjY1YWFmYzQ3MWU3ODQxMzNmMmY0NWNkMTk%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D8fc118c6d4201dd9940dece44613886a%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9Tm9kZS5qcyVFMyU4MSVBN0R5bmFtb0RCJUUzJTgyJTkyJUU2JTkzJThEJUU0JUJEJTlDJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgzJTgxJUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgyJUI3JUUzJTgzJUJDJUUzJTgzJTg4JTVCRHluYW1vREIuRG9jdW1lbnRDbGllbnQlNUQlNUJBV1MlNUQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1hNjJhNjg5Yzg1YWJjNDM3OTYwOGMzYjRmZWU0ODcwNw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBZdWtpX0JCMyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTBmZGY2ODliYTc5NzA1NzQ2ODFiZmFjNTQ3YmIyYzVi%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd248f40551d0149d0019d7e87365fb13)
https://techte.co/2017/04/25/dynamodb-usage-item/
DynamoDB のテーブルに対するクエリの実行 - Amazon DynamoDB
Scan Function in DynamoDB with reserved keyword as FilterExpression NodeJS