調査とかでこんな感じのファイルに対してgrepなりしたりする場合 access_log.2015-08-01.gz access_log.2015-08-02.gz access_log.2015-08-03.gz access_log.2015-08-04.gz access_log.2015-08-05.gz access_log.2015-08-06.gz access_log.2015-08-07.gz acc…

elasticsearchを運用していて、たまにshardの割り当てがうまくいかずにずっとunassignedのままになってしまうシャードが出てきた時 一件づつならelasticsearchのAPIを利用して下記コマンドで解決できます curl -XPOST 'http://10.0.21.60:9200/_cluster/rero…

ファイルからの実行 前回はspark-shellをとりあえず使ってみたので今回はそれをまとめてjarファイルから実行したいと思います Quick Start 上記参考に一連の流れをまとめてプロジェクトにして実行してみます レスポンスコードのカウント sample.scala packag…

scala を使ってみたいなということでscalaで書けるsparkを見てみたいと思います javaが入っていることが前提 今回はopenjdk1.8をインストールしてます scalaのインストール $ rpm -ivh http://downloads.typesafe.com/scala/2.11.6/scala-2.11.6.rpm $ scala…