notebook

都内でWEB系エンジニアやってます。

Embulk

BigQueryのパーティション(日付と取り込み時間の違いについて)

取り込み時間パーティションと日付 / タイムスタンプ パーティションの違いについて しっかりしたドキュメントがあるのでそっち読むほうが断然良いと思います 実際に触ってみたら分かるがドキュメント読むだけだといまいちピンと来なかったので触りながら把…

BigQueryで特定パーティションへのデータ書き込み

BigQueryのパーティションについてのメモ やりたいこと BigQueryにレポートなどの日次データを持たせているテーブルで特定日付のバッチ処理のみ再実行できるようにしたい パーティション分割について そもそもBigQueryのパーティションには色々種類があるよ…

GrafanaとTimescaleDB使ってみる

TimescaleDB Time-series data simplified | Timescale www.timescale.com PostgreSQLベースで時系列データを扱うことができるらしい GrafanaなどはElasticsearchやInfluxDBなどをバックエンドにグラフ化できたりするがそれのうちの1つにTimescaleDB(Timesca…

embulkでgemをバージョン固定する

embulkでgemをバージョン固定する 参考の記事をそのまま実行しただけではあるが残すために書いておきます サーバを再構築する機会があったので新たにembulkとプラグインをインストールして実行したらあっさり死んだ 現状elasticsearchのバージョンが1系の場…

fluentd+embulk+elasticsearchでクエリパラメータを可視化する

アクセスログで、クエリパラメータで集計したいという要件があったのでembulkを使ってみました そもそもfluentd -> elasticsearchの時点で何とかできるかなと思ったものの 既に動いてるものに変更を加えるのが手間だった いまいちいいやり方を見つけられなか…

embulkでmysqlからelasticsearchに送ってグラフ化

以前embulkでCSVからelasticsearchへというのをやってみました サービスのデータからグラフ作成したいとかそういった場合に、MySQLからデータ取ってきてelasticsearch+kibanaですぐ確認できるよねっていうことを思いついたためやってみた embulkのインストー…

embulkでelasticsearchへ過去のログを入れ込む

embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやれ…