notebook

都内でWEB系エンジニアやってます。

Elasticsearch

elasticsearch5を試してみる(on Docker)

手元の環境でdocker使って試してみた CentOS7.2にdockerを立ててその中にelasticsearchを立ち上げた感じです 単純にDockerfileのバージョン指定を5に上げただけでは動きませんでした。 そもそもkopfとかHQとか入れていたのですが、そういうプラグインは別の…

fluentd+embulk+elasticsearchでクエリパラメータを可視化する

アクセスログで、クエリパラメータで集計したいという要件があったのでembulkを使ってみました そもそもfluentd -> elasticsearchの時点で何とかできるかなと思ったものの 既に動いてるものに変更を加えるのが手間だった いまいちいいやり方を見つけられなか…

elasticsearch unassignedになってしまったシャードの割り当て

elasticsearchを運用していて、たまにshardの割り当てがうまくいかずにずっとunassignedのままになってしまうシャードが出てきた時 一件づつならelasticsearchのAPIを利用して下記コマンドで解決できます curl -XPOST 'http://10.0.21.60:9200/_cluster/rero…

elasticsearch シャードとか、インデックスとか

運用で使いそうなコマンドとか インデックス操作 インデックス一覧 インデックス一覧を取得する pretty で見やすく改行してくれる curl -XGET http://localhost:9200/_aliases?pretty curatorを使ったほ方が楽に確認できる monitorで始まるインデックス全て…

embulkでmysqlからelasticsearchに送ってグラフ化

以前embulkでCSVからelasticsearchへというのをやってみました サービスのデータからグラフ作成したいとかそういった場合に、MySQLからデータ取ってきてelasticsearch+kibanaですぐ確認できるよねっていうことを思いついたためやってみた embulkのインストー…

fluentd + elasticsearch ではまったところ

fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ と…

EC2 で Elasticsearch + kibana

EC2 で Elasticsearch + kibana 何番煎じかって話ですが、やってみて初めて分かることもあるのでまとめてみます EC2でelasticsearchのクラスタ構成+kibanaをやりましょうってやつです 結局以前使ったansibleにちょっと修正を加えてやることにしました ansibl…

embulkでelasticsearchへ過去のログを入れ込む

embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやれ…

# ansibleでelasticsearch + kibana4

ansibleでelasticsearch + kibana4 経緯 ログのvisualizeしたいよね kibana使ってみよう!4が出てるみたいだ! という感じでやることになったのですが、クラスタ構成での検証とか何かと作っては壊してっていう作業が行えたほうが便利そうなのでansibleでぱぱ…