notebook

都内でWEB系エンジニアやってます。

Fluentd

railsアプリのログ(複数行)を整理する

なんでもかんでもRailsのLoggerに投げているといろんなログが一つのファイルにまとまってしまって調査、分析が時間がかかったりストレスになっていたので内容によって出力するファイルを分類するようにした時のメモ 集約したログをいったんファイルに保存し…

fluentd+embulk+elasticsearchでクエリパラメータを可視化する

アクセスログで、クエリパラメータで集計したいという要件があったのでembulkを使ってみました そもそもfluentd -> elasticsearchの時点で何とかできるかなと思ったものの 既に動いてるものに変更を加えるのが手間だった いまいちいいやり方を見つけられなか…

td-agent2を使ってみる

FluentUIを使ってみたい! 色々面倒なことになる前に、バージョン上げたい! ということで試してみました。 環境: CentOS6.4 参考 Treasure Agent(td-agent)の1と2の今後 設定ファイルは後方互換性があるようなので問題ないらしい なにはともあれ使ってみま…

fluentd + elasticsearch ではまったところ

fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ と…

embulkでelasticsearchへ過去のログを入れ込む

embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやれ…

fluentd + dstat + growthforecastではまったところ

fluentd + growthforecast + dstat AWSの環境だとcloudwatchは2週間しかデータもてないので長期的にグラフが見たい場合に困ります そこで、お手軽にできそうなfluentd + dstat + growthforecastを試してみようってことで、そのときのメモ fluentd fluentdを…

fluentdでサーバ間通信

fluentdでサーバ間通信 めちゃくちゃいまさら感があるけどfluentdの勉強 今回はwebサーバ(送信側)、logサーバ(受信側)で分けてみます 構成 送信側 192.168.60.11 192.168.60.12 受信側 192.168.60.13 環境はCentOS6.4 インストール,起動 シェルスクリプト一…

Fluentdを使ってみる

今回はFluentdです。 仕事で関わるところで使ってるので勉強がてらインストールして使ってみます。 ログを特定のフォーマットで一括で扱えるというのがウリのよう 複数サーバ間でのやりとりも出来るようなのでsyslog-ngとかでやってたみたいにログサーバを用…