notebook

都内でWEB系エンジニアやってます。

aws

cloudformationを使ってみる

1からインフラを構築する機会があったのでどうせなら次やるときも楽できるようにある程度定義ファイルを用意することにしました terraformと迷ったのですがterraformは以前個人的に使ったことがあったので今回はcloudformationを使うことにしました yaml対応…

CLIからEC2を起動する

aws

terraformとか使いたかったけど急いでたのと、インスタンスの数的にGUIぽちぽちがつらくなりそうだったのである程度固定してコマンド一発で起動できるようにする CLI経由だとjsonを直接かけるがファイルを読み込ませてAPIを叩くのが良さそう スケルトンの生…

minioを使ってS3の環境をローカルで再現する

aws

minio S3互換の環境を立ててくれるS3のクローンプロダクトだそうです minio/minio: Minio is an object storage server compatible with Amazon S3 and licensed under Apache 2.0 License github.com 開発環境などでS3を用いたCIをまわすときとかに料金を気…

apexを使ってlambda functionの管理

serverlessとapexがあるようですがなんとなくapexを使ってみます github.com インストール curl https://raw.githubusercontent.com/apex/apex/master/install.sh | sh プロジェクトの作成 apex init Enter the name of your project. It should be machine-…

dynamoDB-localでローカル開発環境を整える

【AWS発表】 デスクトップ開発を可能にする DynamoDB Local dynamodbをローカルで扱えるようにするものだそうです 早速やってみます インストール awscliもインストールします pip install awscli 公式からダウンロードします DynamoDB Local curl -LO http:…

Auto Scaling(lifecyclehook)を使ってみる

aws

いまさらながらEC2でAutoScalingをやってみました そのときのメモ 要件 VPC内のバッチ処理をするサーバのスケーリング 忙しい時間帯が決まっているのでその時間帯のみスケールアウト スケジューリング lifecyclehookを使ってスケールイン時に処理の正常終了…

Cloudwatch + SNS + SQS でSlackへ通知

ChatOpsの一環としてサービスのアラートをSlackに投げれるようにします さっと調べた感じ今だとCloudwatch -> SNS -> Lambda -> Slackというのがlambda to slackのblueprintもあるので楽そう + 使ってみたかったのですが担当サービスがそもそもlambdaが使え…

cloudwatch alarm を cliから登録する

下記参考にたたいてみました put-metric-alarm Diskスペースが80%以上使っていたらSNSに通知を飛ばす設定 aws cloudwatch put-metric-alarm --alarm-name testalarm \ --comparison-operator GreaterThanThreshold \ --threshold 80 \ --alarm-description t…

jqとAWS CLIでautoscaling groupのprivate ip addressを取得するワンライナー

aws

オートスケーリンググループで今アクセスできるインスタンスのプライベートIPが欲しかったのですがAWS-CLIを組み合わせなくてはいけないようだったのでワンライナーで書いてみました やる事は二つ オートスケーリンググループのインスタンスIDを取得 リクエ…

Simple Quere Serviceを使ってみる

autoscalingの通知先として選べるので使いそう、ということで触ってみました やってる事はいたってシンプルです cliでqueueへメッセージを登録、同じくcliでqueueからメッセージを取得するだけ 事前にコマンドを発行するEC2にIAM Roleを適用させておくかcred…

rundeck EC2 plugin

rundeckのEC2プラグイン rundeck ec2 plugin EC2上のノードを自動的に探してrundeckのノートして扱う事が出来るプラグイン いちいちリソースファイルを更新しなくていいっていうとても便利そうです、早速使ってみます install 最新版を取得し$RUNDECK_BASE …

RDSでslow-logを出力する

RDSのデフォルトではslowlogを出すような設定にはなっていないので出す場合は別途設定が必要です マネジメントコンソールのparameter groupsから対象RDSに適用されているパラメータグループを編集します 入力フォームが用意されているので変更します パラメ…

EC2起動時にスクリプトを実行する

aws

EC2起動時にサービス投入までに定型作業がある場合など、毎度同じコマンドを打つのが面倒になってきたので調べました User Dataというのを使えば出来る模様 Linuxインスタンスでの起動時のコマンドの実行 Amazon LinuxのCloudInitによって起動時に実行される…

リザーブドインスタンス(RI)

aws

AWSを利用しているなら使ってないほうが少ないと思われるサービス RIについて知る機会があったのでメモ コスト計算は下記 SIMPLE MONTHLY CALCULATOR 概要 あらかじめ使用すると決まっているインスタンスのリソースを契約することでボリュームディスカウント…

fluentd + elasticsearch ではまったところ

fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ と…

カスタムメトリクスを使ってみる

aws

AWSのCloudwatchで色々な値が見れますが、そんなに多くありません、そこでカスタムメトリクスを使って知りたいデータを計測しましょうっていうお話 なにはともあれ使ってみました アクセスできるようにする まず、CloudwatchへEC2からアクセスができるように…

EC2 で Elasticsearch + kibana

EC2 で Elasticsearch + kibana 何番煎じかって話ですが、やってみて初めて分かることもあるのでまとめてみます EC2でelasticsearchのクラスタ構成+kibanaをやりましょうってやつです 結局以前使ったansibleにちょっと修正を加えてやることにしました ansibl…