2015-01-01から1年間の記事一覧
オートスケーリンググループで今アクセスできるインスタンスのプライベートIPが欲しかったのですがAWS-CLIを組み合わせなくてはいけないようだったのでワンライナーで書いてみました やる事は二つ オートスケーリンググループのインスタンスIDを取得 リクエ…
autoscalingの通知先として選べるので使いそう、ということで触ってみました やってる事はいたってシンプルです cliでqueueへメッセージを登録、同じくcliでqueueからメッセージを取得するだけ 事前にコマンドを発行するEC2にIAM Roleを適用させておくかcred…
kibanaをデーモン化したときに使うことがあったのでメモ kibanaのインストールに関してはここでは触れません CentOSのyumだと2系がインストールされるのでrpmを持ってきて直接インストールしました インストール --script-dirを入れているのはAmazonLinuxで/…
rundeckのEC2プラグイン rundeck ec2 plugin EC2上のノードを自動的に探してrundeckのノートして扱う事が出来るプラグイン いちいちリソースファイルを更新しなくていいっていうとても便利そうです、早速使ってみます install 最新版を取得し$RUNDECK_BASE …
アクセスログで、クエリパラメータで集計したいという要件があったのでembulkを使ってみました そもそもfluentd -> elasticsearchの時点で何とかできるかなと思ったものの 既に動いてるものに変更を加えるのが手間だった いまいちいいやり方を見つけられなか…
日々の業務で「これ人力でやる必要あるの？」みたいなものって結構ありますよね そんな面倒な確認や告知は自動化してしまいましょう という事で今回はslackのincoming webhooksを使ってslackへ通知をしてみます slack integrationの設定 Incoming WebHooksの…
rundeckでjobの一元管理が出来るようになりました。 次は通知が欲しい！となりますよね。 デフォルトでメール送信機能やwebhook機能がついていますがwebhookに関してはURLしか指定できないのでPOSTで色々送るということが出来ないようです 職場でもちょうどs…
仕事で使ってみようということで実際にインストールしてみたメモ インストール java yum install java rundeck rpm -ivh http://repo.rundeck.org/latest.rpm yum install rundeck 設定の変更 /etc/rundeck/rundeck-config.properties #grails.serverURL=htt…
1時間以内に解けなければプログラマ失格となってしまう5つの問題が話題に いまさらながらscalaの勉強を兼ねて実際に解いてみました intellijのscala worksheetを使いましたがとても便利ですね 問題1 forループ、whileループ、および再帰を使用して、リスト内…
RDSのデフォルトではslowlogを出すような設定にはなっていないので出す場合は別途設定が必要です マネジメントコンソールのparameter groupsから対象RDSに適用されているパラメータグループを編集します 入力フォームが用意されているので変更します パラメ…
EC2起動時にサービス投入までに定型作業がある場合など、毎度同じコマンドを打つのが面倒になってきたので調べました User Dataというのを使えば出来る模様 Linuxインスタンスでの起動時のコマンドの実行 Amazon LinuxのCloudInitによって起動時に実行される…
実際に使ってみたのでメモとして残しておきます bowerはフロントエンドパッケージマネージャと言われているようです jqueryとかangularとかそういうのをまとめて管理できるようにしたツールというイメージ rubyでいうbundlerとかに近いイメージですね bower…
AWSを利用しているなら使ってないほうが少ないと思われるサービス RIについて知る機会があったのでメモ コスト計算は下記 SIMPLE MONTHLY CALCULATOR 概要 あらかじめ使用すると決まっているインスタンスのリソースを契約することでボリュームディスカウント…
前回 cheatを使ってよく使うコマンドとかを出せる話をしました これをpecoと組み合わせるだけでコマンド貼り付ける手間もいらなくなるじゃないか！ ということでやってみました チートシートの書き方は下記のようにコマンド以外の行には「#」をつけることで…
長めのワンライナーとか、よく使うけど1からタイプするには長いし、覚えられないし..... 結構使うけど忘れがちなコマンドオプションとか、manを読んで探すのも長くて面倒だし..... 自分で作ったコマンドの使用例は、毎度コード読んで使い方思い出したり.....…
FluentUIを使ってみたい！ 色々面倒なことになる前に、バージョン上げたい！ ということで試してみました。 環境: CentOS6.4 参考 Treasure Agent(td-agent)の1と2の今後 設定ファイルは後方互換性があるようなので問題ないらしい なにはともあれ使ってみま…
調査とかでこんな感じのファイルに対してgrepなりしたりする場合 access_log.2015-08-01.gz access_log.2015-08-02.gz access_log.2015-08-03.gz access_log.2015-08-04.gz access_log.2015-08-05.gz access_log.2015-08-06.gz access_log.2015-08-07.gz acc…
elasticsearchを運用していて、たまにshardの割り当てがうまくいかずにずっとunassignedのままになってしまうシャードが出てきた時 一件づつならelasticsearchのAPIを利用して下記コマンドで解決できます curl -XPOST 'http://10.0.21.60:9200/_cluster/rero…
ファイルからの実行 前回はspark-shellをとりあえず使ってみたので今回はそれをまとめてjarファイルから実行したいと思います Quick Start 上記参考に一連の流れをまとめてプロジェクトにして実行してみます レスポンスコードのカウント sample.scala packag…
scala を使ってみたいなということでscalaで書けるsparkを見てみたいと思います javaが入っていることが前提 今回はopenjdk1.8をインストールしてます scalaのインストール $ rpm -ivh http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.rpm $ scala…
メモとか、ブログの原文とかをmarkdownで保存していたのですが、管理方法をどうしようかと思っていたところでたまたまMkDocsの話を耳にしたので試してみました カスタマイズも設定も簡単にできるし見た目も十分なのでローカルでのmarkdownドキュメント管理を…
運用で使いそうなコマンドとか インデックス操作 インデックス一覧 インデックス一覧を取得する pretty で見やすく改行してくれる curl -XGET http://localhost:9200/_aliases?pretty curatorを使ったほ方が楽に確認できる monitorで始まるインデックス全て…
5.3.10 -> 5.6.10 もはや、化石と化したシステムのメンテ 特にフレームワークを使っているわけでも難しいことをやっているわけではないので特に問題はなかったけど、色々作業はしたのでその時のメモ テスト環境 コンパイルオプションの確認 $ php -i | grep …
以前embulkでCSVからelasticsearchへというのをやってみました サービスのデータからグラフ作成したいとかそういった場合に、MySQLからデータ取ってきてelasticsearch+kibanaですぐ確認できるよねっていうことを思いついたためやってみた embulkのインストー…
fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ と…
AWSのCloudwatchで色々な値が見れますが、そんなに多くありません、そこでカスタムメトリクスを使って知りたいデータを計測しましょうっていうお話 なにはともあれ使ってみました アクセスできるようにする まず、CloudwatchへEC2からアクセスができるように…
plenvのroleがないかansible-galaxyを見ていたらなかったのであげてみました 公開するほどのものでもない気もしますが何事もやってみないとねということで どこかで誰かのお役に立てれば幸いです ロールの作成 ディレクトリの作成 $ ansible-galaxy init ple…
mysql slow-logのlogrotate 今まで動いていたログローテーションが動かなくなったので何だと思って調べたら色々はまったのでメモ $ ls -al /var/lib/mysql -rw-rw---- 1 mysql mysql 0 May 14 04:08 mysql-slow.log -rw-rw---- 1 mysql mysql 7416685154 May…
EC2 で Elasticsearch + kibana 何番煎じかって話ですが、やってみて初めて分かることもあるのでまとめてみます EC2でelasticsearchのクラスタ構成+kibanaをやりましょうってやつです 結局以前使ったansibleにちょっと修正を加えてやることにしました ansibl…
embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやれ…
