パターンとしてありそうなケースの備忘録 たとえば何かしらのAPIのデータを定期的にBigQueryに同期している機能において API側でレコードが削除された場合、ものによっては削除フラグがあったりするが、ない場合はレスポンスからレコードがなくなる ある時点…

はてなブログで特に設定せずに記事を書いているとURLが次のような形式になる /entry/年/月/日/時分秒 この規則的な文字列から日付の情報を取り出すというのをBigQueryのSQLで行う 具体的な例としてはURLのパス/entry/2022/07/22/120000から2022-07-22を取り…

BigQueryで連続した日付のデータを生成して集計データと突き合わせる - notebook swfz.hatenablog.com これのAthenaバージョン サンプルデータの生成などは下記あたりを参考にして生成した 配列のクエリ - Amazon Athena docs.aws.amazon.com SQL WITH repor…

スクリプティングを使ってみたくて題材探してみようと思ったがこのケースならSQL組み合わせるだけで良かった SQL WITH # 歯抜けサンプルデータの用意 sample_data AS( SELECT * FROM UNNEST(ARRAY<STRUCT<d DATE, item STRING, sales INT64>> [ ("2020-10-04", "hoge", 100), ("2020-10-19", "fuga", 5</struct<d>…