pyarrowでCloud Storage 上の Parquet ファイルのスキーマ情報を取得した場合、ファイル全量ではなくメタデータのみ取得しているか確認してみた

Cloud Run FunctionsからAWSのリソース(S3)をアクセスキー払い出しなしで操作する

[プレビュー]Workflowsの詳細な実行履歴を確認できるオプションが追加されました

[プレビュー]Pipe構文が利用申請不要でBigQueryとCloud Loggingで使用できるようになりました

Cloud Storage上の大量のオブジェクトをバッチリクエストでコピーしてみた

[2025年2月18日から] Cloud Run Functions（第1世代）のデプロイが自動的にArtifact Registryに移行します

Cloud Storage上の大量のオブジェクトを並行処理でコピーしてみた

Cloud Storage上の大量のオブジェクトをバッチリクエストで削除してみた

DataflowのSplunkテンプレートを用いてSplunk CloudにログをPUSHしてみた

Google CloudのCloud Shellでアクセスキー情報なしで AWSのリソースを操作してみる

Cloud Loggingにリージョン別のログデータ取り込みクォータが追加されます

GCEでAssumeRoleWithWebIdentityを使用してアクセスキー情報なしで S3を操作してみる

Dataplex Premium処理ティアの課金体系が変更されます

[プレビュー]BigQueryのData Transfer ServiceでMySQLと連携できるようになったので試してみた

Storage Transfer ServiceがS3へアクセスするときのIP範囲の変更検知方法を考えてみた

Cloud DNSの限定公開のプライベートゾーンをTerraformで作成する

Workflowsが多重起動されないようにする方法をCloud Run Functionsを用いる方法で考えてみた

Cloud Run FunctionsでサーバレスVPCアクセスコネクタ経由でCloud DNSの限定公開のプライベートゾーンのレコードを解決できるか試してみた

Workflowsで使えるBigQueryのqueryコネクタを用いてBigQueryにクエリ発行する時はtimeoutMsフィールドに注意

WorkflowsでWorkflowsコネクタを用いて同じワークフローが多重起動できないようにする方法を考えてみた

Google CloudのGCEインスタンスにSplunk Enterpriseをインストールしてみた #cm_google_cloud_adcal_2024

Google Cloudの組織ポリシー(制約)の一覧をExcelに出力してみた #cm_google_cloud_adcal_2024

[小ネタ]Cloud Storageの概要ページから選択できるバケットから現在選択しているプロジェクト以外のバケットを選択した場合の注意点

[アップデート]Cloud Run jobsのタスクのタイムアウト時間上限が7日間になりました(プレビュー)

Google CloudのログをPub/SubからPULLしてSplunkに連携する

Cloud DNSの転送ゾーンを試してみた

WorkflowsのCloud Storage用コネクタを用いてCloud Storage上のオブジェクトの内容を取得する

Cloud DNSの一般公開ゾーンのDNSクエリログを観察してみた

WorkflowsでFirestore用コネクタを用いてFirestoreから複数のドキュメントを一括で取得する

WorkflowsでStorage Transfer Service用コネクタを用いてCloud Storageバケット間のファイル転送を行う

Cloud DNSで限定公開のプライベートゾーンを作成して指定したVPCだけで名前解決できるか検証してみた

WorkflowsでCloud Storage用コネクタを用いてオブジェクトのコピーと削除する方法

お名前.comで取得したドメインをCloud DNSで管理できるようにする

WorkflowsからFirestoreコネクタを用いてドキュメントを書き込み＆取得してみる

DataformをGCEインスタンス上のGitリポジトリとHTTPSで連携してみる

DataformをGCEインスタンス上のGitリポジトリとSSHで連携してみる

WorkflowsをCloud Schedulerでスケジュール実行する

Dataformのコンパイル時にDataformがGitリポジトリと接続できない場合の動作を観察してみた

Workflowsで別のワークフローを並列実行した時に割り当て上限まで並列実行できるか検証してみた

Workflowsでワークフローから他のワークフローを並列実行してみる

WorkflowsでCloud Storage用コネクタを用いてオブジェクト一覧を取得してみた

Dataformのコンパイル済みSQLをDataform CLIで作成してSQLをファイルに抽出するスクリプトを作ってみた

Dataformのクライアントライブラリを使ってワークスペース内のファイルを全て取得してみた

BigQuery workflowsがPreviewになったから試してみた

[初心者向け]DataformでViewを作ってみる

Dataformのクライアントライブラリ(python)を使ってみる(その１)

Dataformでresolve関数を使って依存関係を持たせずにテーブル参照する

DataformのREST APIを用いてDataformのGitリポジトリのファイルを複製するスクリプト

Dataformのdependenciesオプションで依存関係を宣言する

[組織ポリシー]Soft Deleteの保持期間などを設定できる組織ポリシーを試してみた

Workflowsからコネクタを用いてCloud Runジョブを起動する

[アップデート]Cloud FunctionsがCloud Run Functions(Cloud Run関数)になりました

[アップデート]最近気になったGoogle Cloudのアップデート(2024/08/16)

Dataformの内蔵GitリポジトリからAPIでcommit履歴を取得してみた

Professional Cloud DevOps Engineer試験を受けてみた

[組織ポリシー]リソース サービスの使用を制限するポリシーを試してみた

[アップデート]最近気になったGoogle Cloudのアップデート(2024/08/01)

[組織ポリシー]均一なバケットレベルのアクセスの適用を試してみた

[組織ポリシー]リソース ロケーションの制限の組織ポリシーについて調べてみた

[組織ポリシー]Dataform のサードパーティリポジトリへのリンクを制限する組織ポリシーについて調査してみた