はじめに
こんにちは。Developer Engagementブロックの@wirohaです。10月22日に「ZOZO Tech Meetup ～データガバナンス / データマネジメント～」を開催しました。ZOZOTOWNを支える開発において「データガバナンス / データマネジメント」にフォーカスして、弊社エンジニアが具体的な事例を交えながら紹介するイベントです。
登壇内容まとめ
弊社から次の5名が登壇しました。
| コンテンツ | 登壇者 |
|---|---|
| #1 データガバナンスチームの結成で得た学び | 事業推進部 田中 |
| #2 ZOZOのデータマネジメントの取り組み：これまでとこれから | データ推進ブロック 髙木 |
| #3 dbt-coreで実現するCore DataMartsのデータモデリング〜dbt編〜 | 推薦基盤ブロック 栁澤 |
| #4 dbt-coreで実現するCore DataMartsのデータモデリング〜Cloud Composer編〜 | データ基盤ブロック 奥山 |
| #5 全部見せます！BigQueryコスト削減の手法とその効果 | データ基盤ブロック 塩崎 |
#1 データガバナンスチームの結成で得た学び
田中からのコメント
抽象度の高い学びの共有で恐縮ですが、データガバナンスに取り組んでいる/これから取り組むみなさまのお役に立てれば幸いです。これから迎えるZOZOのデータ活用の成熟期を、今回ご紹介したデータエンジニア、アナリティクスエンジニア、データマネージャに加え、ビジネス職のあらゆるスタッフやMLエンジニア、データアナリスト、データサイエンティストといった専門家たちと楽しんで行きたいと思います。
#2 ZOZOのデータマネジメントの取り組み：これまでとこれから
髙木からのコメント
ZOZOで行っているデータガバナンス / データマネジメントについて一部ですがお話させていただきました。多くの方へ届けるためにオンライン開催も検討したのですが、オフラインならではの意見交換も活発に行うことができ、個人的にもとても楽しい時間を過ごすことができました！
まだまだデータマネージャーとして働いている方は少ないかと思いますが、これからどんどん発展していく領域でもあるので、今回のイベントをきっかけにZOZO含めて興味を持っていただければとても嬉しいです。絶賛採用中なので、気軽にカジュアル面談をお申込みいただければと思います！
#3 dbt-coreで実現するCore DataMartsのデータモデリング〜dbt編〜
栁澤からのコメント
dbt-coreを使ったデータモデリングの実践についてお話しさせていただきました。会場では多くの方々にご質問をいただき、またデータモデリングに関する議論もできて、とても楽しかったです！ 限られた時間の中で全てをお伝えできませんでしたが、スライドをご覧いただくことで、少しでも同じ悩みをお持ちの方々のお役に立てると嬉しいです。
#4 dbt-coreで実現するCore DataMartsのデータモデリング〜Cloud Composer編〜
奥山からのコメント
Cloud Composer(Airflow)からdbtモデルの更新・データ品質チェックを依存関係を保ちながら行うためのポイントについて発表しました。dbt導入を検討しているものの、実行基盤・インフラ部分の実装に悩んでいる方々の一助になれば幸いです！ 参加者にはデータエンジニアの方も多く、データパイプラインの設計やツールの選定などたくさんの知見を交換できて嬉しかったです！
#5 全部見せます！BigQueryコスト削減の手法とその効果
塩崎からのコメント
BigQueryの裏技めいたコスト削減手法などを紹介しました。昨今の様々な事情によりコスト削減熱の高まりを観測することが多くなってますので、コスト削減に取り組んでいる方々の一助になれば幸いです。
いただいた質問への回答
当日は進行の都合上、発表ごとに質疑応答の時間を取れなかったため、後日回答するという形で質問を募りました。一部の質問についてテキストにて回答いたします。
Q. 聞き洩らしたかもしれませんが、データマネジメントチームの影響がつかめていないです。プロダクトに依存せず横ぐしですべてのデータを見ている印象を受けましたが合っていますでしょうか...？
A. プロダクトに依存せず横串で対応するチームの認識で間違いありません。データマートで言えば全社で使える汎用分析データマートをデータマネジメントチームから提供し、その先のより細かい分析やBI用途のデータはデータアナリストや事業部のメンバーが作成しています。ただ、プロダクトによっては内部で完結しているケースもあるので、新たに領域を拡大していくのも課題としてはあります。
Q. LookMLを運用するうえでのツラいという話の詳細が気になりました。
A. 前提として、LookMLは優れたデータモデリング言語であり、今後もLookerをBIツールとして利用する予定です。ただ、データモデリングの全てをLookMLで行うと、管理の複雑化やパフォーマンス最適化の難しさという課題がありました。また、一時的にLookMLに詳しい人材が不足したこともあり、運用面での問題が浮き彫りになりました。そこで、重要なビジネスロジックはdbtに集約してデータモデルの安定性を確保しつつ、柔軟な表現が求められる部分はLookerのセマンティックレイヤーで対応することで、効率的な運用を目指しています。これにより、一貫性を保ちながらも、ビジネスニーズに柔軟に対応できる体制を整えたいと考えています。
Q. dbt docsがビジネスユーザーにツラいという話の詳細が気になりました。
A. 言葉足らずでしたが、奥山からあったように弊社ではSQLデータマートとdbtデータマートをBigQuery上で共存させています。dbt docsではdbtデータマートのみしか対応できないため、処理の方法に関わらず全体を俯瞰できるデータカタログが必要となっています。
Q. 誰でもSQLを使える点に驚きました。アクセスコントロールをどうやっているのか気になりました。
A. 個人情報や広く公開すべきではない営業秘密などに対してはBigQueryの列レベルセキュリティ機能を使っており、一部の限られた人のみが閲覧可能です。一方でそれ以外のほぼすべての情報は全社員が活用できるようにアクセス権限を設定しています。
最後に
非常にたくさんの方にご参加いただき、ありがとうございました。懇親会では登壇者への質問・意見交換が活発に行われ、有意義な時間を過ごすことができました。今後もイベントを開催していきますので、ぜひご参加ください！
ZOZOではデータアナリスト、データマネージャー等のさまざまなポジションで一緒に働く仲間を募集中です。カジュアル面談も実施しておりますので、ご興味のある方は以下のリンクからぜひご応募ください。
