[B! MLOps][AWS] clavierのブックマーク

機械学習ソフトウェアにおけるテスト手法

2023/11/29(水)の第36回MLOps勉強会に登壇した際の資料です。

clavier 2024/01/15

リンク

インフラだけではないMLOpsの話

MLOpsの前提となる「ML」がプロダクトの成長に貢献している状態を実現するために、AWSが実施している ML Enabl ement Workshop の内容や提供の経緯をお話しした資料です。 ML Enabl ement Workshop は GitHub で公開しています。 https://g…

clavier 2023/10/08

リンク

AWS MLOps Workload Orchestrator で機械学習モデルのデプロイ/検証の自動化を体感してみた - Taste of Tech Topics

こんにちは、DevOpsチームの@buzz_tkcです。最近枕を「ヒツジのいらない枕」に買い換えました。2020年にクラウドファンディングで話題になっていた時から、キャッチーなネーミングと興味がそそられるフォルムが気になっていたはいたのですが、やっと重い腰を上げて買い換えました。弾力があり高さのある枕が好みの自分にとてもフィットしており、おかげさまで睡眠が捗っております。さて、今回は AWSが公開している「MLOps Workload Orchestrator」を、試してみたいと思います。機械学習プロジェクトにおいて、以下のような課題に直面したことがある人は多いのではないでしょうか？学習リソース不足 GPUマシンが足りず、並列実験ができない、、、ローカルで検証したモデルを本番環境へ適用するのに時間がかかるデプロイの自動化が大変、、、実験が再現できず、品質保証ができない何個か

clavier 2022/02/16

AWS MLOps Workload Orchestrator

aws
MLOps

リンク

SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ

皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です．本エントリーはコネヒトアドベントカレンダーの15日目の記事になります．今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います．アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ

clavier 2022/01/08

リンク

機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ

みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job