notebook

都内でWEB系エンジニアやってます。

ruby

job形式のファイルダウンロードをスクレイピングでやってみる

この記事はクローラー/Webスクレイピング Advent Calendar 2017 - Qiitaの25日目の記事です。 qiita.com 最近仕事でもスクレイピングをすることが多くなってきました 今回はCSVダウンロードをフロント側でポーリングしてるページにスクレイピングでダウンロ…

centos7 + headless chromeでスクレイピング

chromeをスクレイピングで使う必要があったので開発環境から作ってみたときのメモ 特にメモすら必要ないかもしれないくらい環境整ってるなと感じました google chrome install yum install https://dl.google.com/linux/direct/google-chrome-stable_current…

railsアプリのログ(複数行)を整理する

なんでもかんでもRailsのLoggerに投げているといろんなログが一つのファイルにまとまってしまって調査、分析が時間がかかったりストレスになっていたので内容によって出力するファイルを分類するようにした時のメモ 集約したログをいったんファイルに保存し…

middlemanを使ってみる

middleman 静的サイトジェネレータといわれているものの中の一つです 日本語の公式があるのもありがたいですね 今回はダーツの自宅練習用のスコア管理のページをmiddlemanで作ってみます 下記ダッシュボードテンプレートを使って見た目にあまり時間とらない…