notebook

都内でWEB系エンジニアやってます。

MySQL

sqlparseを使い特定のSQLを抽出する

クエリログの中から特定のクエリを取り出したいという状況になったことがあったのでその際のメモ 今回はsqlparseというライブラリを使った sqlparse Python製のSQLパース用のライブラリ、パースだけでなくフォーマットなども行える andialbrecht/sqlparse: A…

CSVや標準入力からのデータをSQLライクに集計

q CSVファイルや入力に対してSQLを実行できるというとても便利なツールらしい q install CentOS6.4にインストールしてみます rpm -ivh https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm 導入 何はともあれ試し…

RDSでslow-logを出力する

RDSのデフォルトではslowlogを出すような設定にはなっていないので出す場合は別途設定が必要です マネジメントコンソールのparameter groupsから対象RDSに適用されているパラメータグループを編集します 入力フォームが用意されているので変更します パラメ…

embulkでmysqlからelasticsearchに送ってグラフ化

以前embulkでCSVからelasticsearchへというのをやってみました サービスのデータからグラフ作成したいとかそういった場合に、MySQLからデータ取ってきてelasticsearch+kibanaですぐ確認できるよねっていうことを思いついたためやってみた embulkのインストー…

mysql slow-logのlogrotate

mysql slow-logのlogrotate 今まで動いていたログローテーションが動かなくなったので何だと思って調べたら色々はまったのでメモ $ ls -al /var/lib/mysql -rw-rw---- 1 mysql mysql 0 May 14 04:08 mysql-slow.log -rw-rw---- 1 mysql mysql 7416685154 May…

mysqlのレプリケーション

MySQLのレプリケーション設定 基本的なレプリケーションについて、master-slave1台づつの構成をサンプルにしてます。 master(192.168.1.11) slave(192.168.1.12) masterの設定 レプリケーション用ユーザーの作成 slave(192.168.1.0/24)からserver2というユー…

CentOS6.4にMySQL5.6をインストール

CentOS6.4にMySQL5.6をインストール 今回はrpmで入れました wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.15-1.el6.x86_64.rpm-bundle.tar tar xvf MySQL-5.6.15-1.el6.x86_64.rpm-bundle.tar rpm -ivh MySQL-devel-5.6.15-1.el6.x86_64.rp…

mysqldump

テスト用にデータ持ってくるときとか、開発時にたまに使うけど、いざ使おうとする時に忘れているパターンがあったので備忘録として。 mysqldumpで条件指定したりするときのメモ データ構造のみ取得したい場合 mysqldump -u user -d database table > dump.sq…

MySQLでのRAND()関数

RAND関数の話 大量のレコードから100件をランダムで取得したいときの話 Softelメモ :【MySQL】ランダムにレコードを取り出す方法のひとつ http://www.softel.co.jp/blogs/tech/archives/2274 上記記事を読んでなるほどと思ったので実際に試してみました。 my…