notebook

都内でWEB系エンジニアやってます。

Dataform

GoogleCloudのDataformでAPI経由の手動実行をやってみる

Google CloudのDataformがGAになり旧版のDataformも使えなくなるとのアナウンスがあったので、いくつか個人で作っていたプロジェクトを移行し始めた DataformのパイプラインをAPI経由で実行している部分も移行したためそのときに調べたことなどのメモ パイプ…

GoogleCloudのDataformで編集中にショートカットキーでプレビューしたい

先日GoogleCloud版のDataformに移行してねというアナウンスが流れたので重い腰を上げてプライベートのDataformプロジェクトを移行し始めた 色々試していく中で旧版のDataformではCtrl+EnterでSQL実行できたのにな…という気持ちが強くなってきたためさっとブ…

DataformでAPIからパイプラインを実行する

Dataformで個人プロジェクトのデータ整形を行ってみた そのときにAPIでパイプラインを実行したときのメモ REST API ドキュメントはこちら Use the REST API | Dataform docs.dataform.co まだREST API自体がBetaらしく今の段階ではプロダクション導入とかは…