Baseconnectのデータ分析基盤変遷の歴史 - Baseconnect Tech blog挨拶 どうも！BaseconnectのBIチームに所属してます。おこどんです。 弊社BIチームは ユーザー行動のログ化 <=> データ収集・蓄積 <=> データ可視化・分析までの領域を社内で担当しております！ 担当領域の都合から、クライアントサイドログ収集関連リソース, ETL, データレイク, データウェアハウス, BIツールなどなどデータ分析基盤周りのインフラリソースの作成と管理も担当してまいりました。 立ち上げから2年ちょっとの歳月が経ち構成も一旦落ち着いたので、弊社の分析基盤周りの構成の歴史・変遷を今回記事にすることとしました！ （※社員1人インターン1,2名のチームでずっと作ってきたため、人的リソース依存の課題感や技術選択があります。ベストプラクティスの参考としてではなく、失敗の歴史を温かく見守ってもらえたら幸いです） 黎明期(2020/02~) 〜データレイクという概念の不在〜
Embulk / Presto / Sparkを用いたETL事情
AWS ETL祭り - AWS Glue活用事例@primeNumber
IBM Developer
