Content-Length: 326754 | pFad | http://b.hatena.ne.jp/t2y-1979/object-storage/
AWS製のS3マウントツール「Mountpoint for Amazon S3」を試してみた | DevelopersIO
札幌オフィスの中川です。 少し前に S3 バケットをローカルファイルシステムとしてマウントするためのファイルクライアントツールとして、Mountpoint for Amazon S3 が登場していました。 ファイルシステム上の操作を Get や List のような S3 オブジェクト API に変換し、アプリケーションが open や read といったファイル操作を通じて S3 にアクセスできるようにします。 ツールは Rust で書かれており、ペタバイトクラスのデータ処理を必要とするような読み取り負荷の高いワークロード向けに最適化されています。 また、先日のアップデートで書き込みも一部サポートされました。 ※2023 年 7 月時点では新規ファイルの作成のみサポートされており、既存のファイルへの更新や削除はサポートされてません 本記事では Mountpoint for Amazon S
Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin
ストレージオーケストレーターRookへのサイボウズのコミット方針 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。 NecoではKubernetes上のアプリケーションが使うストレージをCephによって提供すること、およびCephクラスタの管理にKubernetes上で動作するストレージオーケストレーターRookを使うことを決めています。本記事はNecoがなぜRook/Cephを選択したのか、Rookに対する現在のコミット状況、および今後のコミット方針について紹介します。 CephやRookがどういうものなのかについては以下の記事をごらんください。 blog.cybozu.io blog.cybozu.io なぜRook/Cephなのか まずはNecoがなぜストレージをRook/Cephによって提供することにしたのかを簡単に書いておきます。 Ceph Necoで提供するストレージには、既存のインフラで苦労した点を無くす、あるいは軽減するために次の
日本IBM
生成AIによりAIのROIは13%から31%に急上昇。ビジネスを飛躍させるAIとは AI特集ページを見る ニュースリリース 最新情報 日本IBM とIIJが協業し、地域金融機関向けに「分散基盤共同プラットフォーム」を提供開始 三菱UFJ銀行、IIJとの協業により、既存の枠組みを超え、地域金融機関向けに新たに「金融ハイブリッドクラウド・プラットフォーム」の提供を開始 IBMとNASA、気象・気候への応用に適したオープンソースのAIモデルをHugging Faceで公開 ジェイアイ傷害火災保険、AI画像解析によるスーツケース破損検知と自動送金サービスを活用した「スーツケース破損保険金自動支払いサービス」を提供開始 IBM、欧州委員会とAI協定を締結 IBM、オラクルのユーザー企業向けに生成AIの拡張を支援する新サービスを開始 IBMがKubecost社を買収し、ハイブリッドクラウドのコスト管理
安全性・信頼性・可用性を強化、Yahoo! JAPANに学ぶオブジェクトストレージ活用 - ホワイトペーパー [クラウドストレージ]
「Yahoo! JAPAN」を運営するヤフーは2018年10月、プライベートクラウド基盤のストレージ環境を非構造化データに強いオブジェクトストレージに移行した。導入したのは同社のストレージの中でも、最も機密性を求められるデータ保存領域である高セキュリティエリアだ。 移行に踏み切った理由の1つは技術面にあった。同社の開発環境でコンテナ技術やPaaSなどのニーズが高まっていたのはもちろん、さらなる俊敏性や柔軟性を強化するため、オンプレミスにおけるクラウドネイティブ技術との親和性が高いストレージが求められていた。 加えて、問題となっていたのがパフォーマンスだ。Yahoo! JAPANのページビューは2018年2月時点で月間で約725億、ユーザーアクセスも1日当たり4000万に達するなど、トラフィックが膨れ上がり、従来の環境では限界に近づいていたのだ。同社はオブジェクトストレージを活用して、どのよ
![安全性・信頼性・可用性を強化、Yahoo! JAPANに学ぶオブジェクトストレージ活用 - ホワイトペーパー [クラウドストレージ]](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2F26824ea25c49e4d8b7d5f5a586be1e09c4d39d50%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttps%253A%252F%252Fwp.techtarget.itmedia.co.jp%252Fimages%252Ftt_logo.gif&q=12&output=webp&max-age=110){kind=logo}
Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub
はじめに ドワンゴではniconicoの配信系サービスのバックエンドで利用するために、Frugalosという名前の分散オブジェクトストレージを開発しているのですが、この度OSSとして公開することとなりましたので、この場を借りて軽く紹介させて貰います。 FrugalosはRustで実装されており、現時点では以下のリポジトリが公開されています: raftlog_protobuf: raftlogへのProtocol Buffersサポートの追加 “Frugalos"って何？ “Frugal object storage"の略です。 “frugal"は日本語では「倹約な」や「節約する」といった意味となり、「読み書き性能を犠牲にせずに、膨大な数のBLOB（Binary Large OBject）を、容量効率良く保持する」ことを目指して開発されているオブジェクトストレージです。 提供されている機能は
Rook.io
Open-Source, Cloud-Native Storage for Kubernetes Production ready management for File, Block and Object Storage Try it out now Storage Operators for Kubernetes Rook turns distributed storage systems into self-managing, self-scaling, self-healing storage services. It automates the tasks of a storage administrator: deployment, bootstrapping, configuration, provisioning, scaling, upgrading, migration
メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイト
2017年09月09日 障 害 発 生 の お 知 ら せ さくらインターネット株式会社 平素よりさくらインターネットをご利用いただき、誠にありがとうございます。 9月9日より、ご提供サービスにおきまして、以下の通り障害が発生いたしました が、収束いたしました。 ご利用中のお客様には大変ご迷惑をおかけいたしましたことを深くお詫び申し上 げます。 障害が収束いたしましたので、本障害について報告書として下記にご説明いたし ます。 ＜ 記 ＞ 発生日時 : 2017年9月9日10時27分 影響範囲 : さくらのクラウド（オブジェクトストレージ） 障害内容 : バケットに接続しにくくなる障害が発生いたしました --------------------------------------------------------------------- 2017年10月11日 さくらのクラウドサービスに
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
GitHub - linkedin/ambry: Distributed object store
Ambry is a distributed object store that supports storage of trillions of small immutable objects (50K -100K) as well as billions of large objects. It was specifically designed to store and serve media objects in web companies. However, it can be used as a general purpose storage system to store DB backups, search indexes or business reports. The system has the following characterisitics: Highly a
Reflections on S3's architectural flaws
On 28th February 2017, Amazon Web Service’s S3 storage service experienced a period of unavailability. While we are awaiting a postmortem and explanation of root-cause, I thought I would share my thoughts on the storage guarantees provided by S3, the implications of S3’s closed model for metadata, and a prediction of the re-emergence of cloud-scale hierarchical filesystems as a replacement for obj
CTCSP | シーティーシー・エスピー株式会社 [新たな潮流、オブジェクトストレージとは？ 『オブジェクトストレージが求められる背景』]
従来のストレージの概念では、個々のディスクからRAIDグループやLUNが作られ、その上にファイルシステムが作成されておりました。また、アプリケーションからファイルシステム上のディレクトリやファイルへのアクセスには、古くからIEEEで標準化されているPOSIXというライブラリが使われております。 これに対して、オブジェクトストレージでは、ソフトウェア上で展開された領域に、ファイルに相当するオブジェクトを直接書き込むという仕組みが取られております。アプリケーションとオブジェクトストレージのインタフェースは、Webシステムで使われている、RESTです。 ファイルシステムではデータを保管する際、「ディレクトリ」と呼ばれる階層構造が取られますが、オブジェクトストレージではそのような構造はありません。オブジェクトストレージでは、仮想的で単一なデータ格納領域(バケットと呼ばれることもある)に対して、オ
![CTCSP | シーティーシー・エスピー株式会社 [新たな潮流、オブジェクトストレージとは？ 『オブジェクトストレージが求められる背景』]](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2F70ecedb8625628ee2ae1d6bec8b6a707c31e4898%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttp%253A%252F%252Fwww.ctc-g.co.jp%252F%7Ectcsp%252Fsp%252Fimages%252Fostf_02h.gif&q=12&output=webp&max-age=110)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/t2y-1979/object-storage/
Alternative Proxies:
Enigmaの解説
GitHub - minio/minsql: High-performance log search engine.
http://dprg.cs.uiuc.edu/docs/SIGMOD2016-a/ambry.pdf
AWS S3 open source alternative written in Go | Hacker News
Session_A1_01 - Large LDPC Codes for Big Data Storage
Storj - Smarter cloud storage for your business.
Goでヤフーの分散オブジェクトストレージを作った話 Go Conference 2017 Spring
https://docs.aws.amazon.com/s3/