読者です 読者をやめる 読者になる 読者になる

notebook

都内でWEB系エンジニアやってます。

proxyサーバを立ててみる

概念自体は知っていたけど実際にやってみたことがなかったのでとりあえずやってみる 記事上ではIPは適当な値に書き換えています あらかじめ適当なサーバを立て(52.111.111.111)、nginxを起動させておく アクセスログのフォーマット とくにデフォルトのままい…

CSVや標準入力からのデータをSQLライクに集計

q CSVファイルや入力に対してSQLを実行できるというとても便利なツールらしい q install CentOS6.4にインストールしてみます rpm -ivh https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm 導入 何はともあれ試し…

xargsで連番ファイルを処理する

調査とかでこんな感じのファイルに対してgrepなりしたりする場合 access_log.2015-08-01.gz access_log.2015-08-02.gz access_log.2015-08-03.gz access_log.2015-08-04.gz access_log.2015-08-05.gz access_log.2015-08-06.gz access_log.2015-08-07.gz acc…

IPから国を地域を判定

IPから国を地域を判定 簡単だけど備忘録がてら.... IPをが分かっていてそのアクセスがどこのIPか知りたいみたいな案件がありました。 MaxMind社のGeoIPというものを使ってIPにひもづく国や地域の情報を取得する事が出来ます http://www.maxmind.com/ 今回は…

アクセスログから時間ごとのアクセス数を集計する

アクセスログから時間ごとのアクセス数を集計する cat access_log | grep -P -o 'Dec 12 \d{2}:' | sort | uniq -c 特定のアクセスでカウントしたい場合はcatをgrepにしてパイプで渡す感じにすればOK grep 'path' access_log | grep -P -o 'Dec 12 \d{2}:' |…

E437: terminal capability "cm" required

E437: terminal capability "cm" required tmuxで何個かペインを開いてそれぞれ別のサーバへsshでつないだ先でのviでエラーが発生しました。 エラー文でぐぐったらとりあえずTERMを変えたら解決するような事が書いてあったので $ echo $TERM screen-256color…

logrotateの設定について

何度か設定周りの作業を行ってたりするけど毎回調べなおしているのでメモ /etc/logrotate.conf で/etc/logrotate.d/***以下のファイルをインクルードしている 共通設定は/etc/logrotate.conf 例としてnginxのログをローテートさせる際の設定 /etc/logrotate.…

エスケープ

今日はバックスラッシュエスケープのお話。 grepとかで正規表現を用いる時「.」や「-」など正規表現で使う文字列をエスケープしたい時にバックスラッシュを使うと思います。 perlでサーバのアクセスログを解析するスクリプトを書いていたんですが、「.」を検…

grepの色

はじめまして、こんにちは、swfzです。 文章を書くことに慣れた方が良いなと思ったのでブログという形で発信していこうとおもいます。 主な用途は備忘録。主に誰でも知っているようなことですが、いつか価値あるものを発信していけたらと思います。 今日はgr…