orenoblog

エンジニアになりたいExcel方眼紙erの物語

AWS

EBSスナップショットでMySQL用データディスクをバックアップ

突貫版を直したもの。 EBSスナップショットでMySQLデータディスクをバックアップします。 スレーブDBで実行することを想定してます。 jq必要です(入ってないならインストールするを追加しておこう..あとで間違いなく忘れる) service mysqld stop してるけど…

MariaDB Galera Clusterのバックアップ・リストア - EBS Snapshotパターン

EC2で稼働しているMariaDB Galera Clusterのバックアップ/リストアプランについて考えています。 mysqldump Percona Xtrabackup Clusterグループのメンバーノードを切り離してbackup 4.データベースのテーブルをFLUSH TABLES WITH READ LOCKしてストレージの…

AWSのRootアカウントはHardware MFAで守ろう

aws

プライベートで作ったAWSアカウントをHardware MFAに紐付けました。 怖い人にアカウント乗っ取られて別の意味でクラウド破産しないように、自身のRootアカウントはHardware MFAで守りましょう。 やりかたスクショ撮ろうかと思ったけど、ドキュメント最高だっ…

オートスケール

aws

オートスケール実装してるですが、結構時間かかりますね。人力よりはやいけど。 スケールアウト条件 bootstrapにかかる時間 ELBのヘルスチェック間隔 アプリデプロイ含めたbootstrapにかかる時間が結構厳しいので、実質10分ぐらいかかる。 bootstrapを短縮す…

CloudformationでEC2にPublicIP+固定PrivateIPを割り当てる

いつからCloudformationだと思った? やったーー!!kumogata(winebarrel/kumogata · GitHub)でした! JSON書くのはExcel方眼紙のプリントレイアウト設定するのと同じぐらいに辛いので、kumogataを使いました。 cloudformationドキュメントを読んでいるとEC2…

RDS Oracle 起動時に指定するDB Engine Versionのv*について

世間でOracleが9iR2だった頃、Oracle 7.1と戯れていた私です。初めて触れたOracleは7.1.6でした。 runInstallerではなくorainstで、メディアもテープでした。インストールに丸一日。失敗したらもう一日。 自分と同世代でsqldba lmode=yをご存じの方はは少な…

Amazon S3の操作ポリシーを設定する

すぐ忘れてしまうのでメモ。 Amazon S3バケットへのアクセス制限を設けたいケースが多々あると思います。 カジュアルに必要な項目だけ書き換えて渡しておけるほうがよいのでメモを残します。 これはCyberduckを利用して、特定IPからhogehogebucketへのフルア…

openssl serverをインストールしたEC2を利用してinternal ELBで内部Webサイトを閲覧する

こんばんは。 cloudpackブログ: VPCのプライベートなサブネットにOpenVPNでVPN接続を参考にしながら 各種VPNクライアント -> OpenVPN(NAT) -> internal ELB -> Web Serversも作れるようねと思ってやってみたけど、 OpenVPNサーバとVPN張ってからcurl -vでチ…

aws cliでサーバ証明書を削除する

aws

ゴールデンウィーク空けに喉が膿んで絶不調になった私です。体調管理は気をつけましょう。 ELBでSSL Terminationをよく利用されると思うのですが、私自身使用したことがなく、 アップロード済みで、不要になったサーバ証明書はどうやって削除するのかよくわ…

RDS Oracleは共有サーバ接続をサポートしているのか?

どうもこんにちは私です。 嫌いなものはラッチです。 好きなOracleのサーバプロセスはアーカイバです。 RDS Oracleへの接続方式は、専用サーバ接続が標準です。 共有サーバ接続はサポートされているのか調べてみました。 古いフォーラムですが、サポートして…

X-forwarded-forにIPが2つ記録される

aws

ELB->EC2となっているWebサイトのアクセスログを解析しておりまして、 このように一部つらい形式でアクセスログに記録されたのでなんだろうと思ったところ 10.0.0.0, 172.16.0.0 192.168.0.0 Proxyを経由してELBへアクセスすると記録されるみたいですね 勉強…

Vagrantでインスタンスを指定したVPC subnet配下で起動してEIPを割り当てる方法

指定したVPCのSubnetにvagrant up --provider=awsでインスタンスを起動する方法です。 現時点でvagrant-awsのREADME.mdに下記のようなことが書いてあったけど、動かなかったので README.md associate_public_ip - If true, will associate a public IP addre…

SQSをIAMで制御してfogも使ってみる

AWS

こんばんは私です。 さてSQSの操作をIAMで制御してみました。 ドキュメントにSQSをIAMで制御するための説明が書かれています。 いつもありがとうIAM. Sendだけ許可するポリシーを作成してみました。 { "Version": "2012-10-17", "Statement": [ { "Action": …

RDS(MySQL)でRead Replicaが作成できないのは日頃の行いだと思っていたら違っていた

AWS

自戒を込めてメモ Read Replicaが作成できず悩んでいたのですが理由は簡単。 Auto BackupをOFFっていたからでした。 注意。 ありがとうCDP COBOL Destroy Patternはまだですかね。

読まずに食べるSQSとDynamoDB 作成編

aws

たいしてドキュメント読まずに使ってみた。LANG=ja坊にはつらい。 CLI縛りしたら思った以上に時間がかかった。訓練なので早く慣れてドヤ顔したいです。 VPC内のEC2を使ってSQSとDynamoDBを操作するのが目的です。 SQS作成 まず何も考えずキュー名だけ指定し…

CloudFormationでVPCを成長させよう

aws

これを元にVPCを少しずつ成長させていきたいと思います。 デバッグはcreate-stackを実行する前にvalidate-templateでチェックしましょう。 aws cloudformation validate-template --template-body file://vpc.json 残 In/ SecurityGroup In/Outbound Network…

初めてのCloudFormation

aws

初めて自分でCloudFormation用テンプレートを書いてみた。 といってもほぼドキュメント写経でMappingsつかってみたぐらい。 テンプレート 作り方 $ aws cloudformation create-stack --stack-name hello-stack --template-body file://cloudformation/hello.…

Route53 HostedZoneをfogのdestroyで消してみる

aws

以前vagrant-cloudstackとvagrant-awsの同居ができず、 fogのバージョン依存エラーで困ったことがあったのですが 改めてfogとはなんだったのだろうと簡単ですが調べてみました。 fogは様々なクラウドサービスのAPI(Provider)を扱うためのRubyライブラリです…

AWS SDK for RubyでCloudFormation

aws

CloudFormationをSDKで処理してみました。 ありがとうAPIリファレンス ClientクラスとStackクラス... Clientクラスだけでも良さそうですね。 作成と削除 require 'json' template = nil open("VPC.json") do |io| template = JSON.load(io) end cfm = AWS::C…

VagrantfileにAPIキーを記述しないようにした

ぼーっとvagrant-awsを利用していたせいかVagrantfileにaccess_key_idやsecret_keyをベタ書きしたままgit commitしてしまった。 他の方には読まれたくない情報を誤ってcommitしないようにYAMLからロードするように変更してみた。 複数人がVagrantで共通のAMI…

[CDP] Stampパターンを試す

aws

今更ながらCDP基礎勉強中です。 Stampパターンを試してみました。 いつものGUIポチーをやめてCLIで実行しました。 1. ベースAMIの起動 巣のAmazon Linuxを起動し、ベースパッケージとしてhttpdをインストールします。 client$ aws ec2 run-instances --image…

Amazon SES使ったけど(´;ω;`)ブワッ

AWS

Redmineで送信するメールはAmazon SESを利用しています(使ってみたかったから) 10チケット程一斉にクローズしたら一通程届かずどういうわけかoh....利用するドメインのDNS設定は完了しており SES利用のProduction申請は通ってるのですがうーん。 ちょっく…

rails超入門 S3バケット一覧を表示するだけのサンプル

こんばんは。 S3に保管されたバケット一覧を取得するだけのerbをかきますた。 viewで全部..ぐぬぬみたいな感じ。 <p id="notice"><%= notice %></p> <p> <strong>Access key:</strong> <%= @account.access_key_id %> </p> <p> <strong>Secret access key:</strong> <%= @account.secret_access_key %> </p> <p> <strong>Your Buckets</strong> <% s3 =</p>…

s3fs-cのメモリ使用量がスカイツリー

AWS

s3fsのメモリ使用量がとんでもなく多くなっていたので、定期的にremountしないと駄目ですよというのが昨日わかったので、autofsで制御できるかやってみよう。

E-Mail送信上限解除

AWS

ここで逆引き依頼する。https://aws-portal.amazon.com/gp/aws/html-forms-controller/contactus/ec2-email-limit-rdns-requestちなみにIDCフロンティアのクラウドは問合せチケットで依頼をだせますよ

VPC Subnetをap-northeast-1bに作成できない

AWS

Value (ap-northeast-1b) for parameter availabilityZone is invalid. Subnets can currently only be created in the following availability zones: ap-northeast-1a, ... entire message ???

OpsWorks使ってみた

AWS

待ち望んでたこの機能!!眠いのでコンソール操作&インスタンスにsshしていて気づいた点を書く 利用可能なインスタンスはm1.small以上 コンソールに表示されるタイムゾーンはみんな大好きUTC('A`)y-~ Built-in Recipeは消せないのかな インスタンスセットア…

AWS Cost Allocationで幸せになった

AWS

先週金曜日にこの機能を有効化してみたけどいつになったらCSVができあがるんだヽ(`Д´)ノウワァァァン!!と思っていた所、ついさっき作られていた。 2日ぐらい待てば作られることが愛=理解できました。

Manage Cost Allocation Report

AWS

Manage Cost Allocation Reportを有効にして、タグ指定してみた。4時間待ってみたけどcsvに変化なし。うーん

S3 Glacier自動アーカイブからのファイルリストア

AWS

Glacier自動アーカイブリストアするよー。 AWS Management Consoleから、Storage ClassがGlacierのものをDownloadしようとすると InvalidObjectStateが発生するので、Initiate Restoreを選択する <Error> <Code>InvalidObjectState</Code> <Message> The operation is not valid for the o</message></error>…

Macでec2-tools使うと時々Javaがゲロ吐く件

sleepモード復旧時にec2-***コマンド使うと1回目は必ずエラーになるんですよ。 二回目以降は問題なく実行できる。 なんすかねこれ。 Unexpected error: org.codehaus.xfire.XFireRuntimeException: Couldn't load DatatypeFactory.. Nested exception is ja…

s3fsをIAM Policyで制御してみる

AWS

こんにちはブータです。公開サーバにs3fsを仕込んだのですが、 標準アカウントのアクセスキーを/etc/passwd-s3fsに仕込むのは嫌だったので IAMでs3fs操作ユーザとグループポリシーを作ってみました。(1)IAMにグループを作る (2)IAMにユーザを作る (3)作成し…

s3fs上でgit cloneできない

s3fsにgit cloneしてコンテンツ公開しようと試した時のこと。 $ s3fs <bucket-name> ~/s3/ $ df -m Filesystem 1M-blocks Used Available Capacity Mounted on /dev/disk0s2 114892 69323 45318 61% / devfs 0 0 0 100% /dev map -hosts 0 0 0 100% /net map auto_home 0 </bucket-name>…

s3fsの不思議

AWS

前回Mac OS X Lionでs3fsを使ったときファイルの確認ができない状況になっていましたが、 どうやらAWS Management ConsoleやCyberduckで作成したディレクトリやファイルが見えないだけで UNIXコマンドで作成したディレクトリやファイルは確認できる模様です…

Mac OS X Lionでs3fsを使う

AWS

こんばんはブータです。S3をファイルシステムのように扱うs3fsなるものがあったので、OS Xで使えないか試してみました。 s3fsに必要なものはMac Portsとmakeで準備します1.s3fs インストール $ sudo port install macfuse $ sudo port install sshfs-gui $ c…

EC2インスタンスをS3にバックアップする

AWS

とりあえずnginxを稼働させたので EC2インスタンスをS3にバックアップしてみますx.509証明書をAWSインスタンスに転送します(/mnt/keyとします) 以下EC2インスタンスでの作業稼働中インスタンスバックアップ EC2$ cd /mnt/key EC2$ sudo ec2-bundle-vol -d <Backupイメージ作成ディレクトリ名> -</backupイメージ作成ディレクトリ名>…

EC2メモ

AWS

こんにちはブータです。 久しぶりの更新です。Windowsに泣かされる仕事が一息ついたので、 最近個人で契約したAWSのEC2を触ってみようと思います。 (今更感満載ですが)以下EC2触れたメモ ・セキュリティグループはインスタンス稼働後変更できない? ・Amazon…