orenoblog

エンジニアになりたいExcel方眼紙erの物語

2013-01-01から1年間の記事一覧

12月31日

はてなダイアリーから移行しました。Markdownが利用できるので。 2014年度こそJP1/File Transmission Server/FTPのように 何故いるんだ・・・のようにうっすらと。

2013振返り

学ぶことは多かったけどしんどかった。道が見えないなら自分で作る。 多様性を認める。 菩薩の心2013おしまい。

postfixの腹ン中がパンパンだぜとおまけ

postfixのメール遅延対策@mailqの情報削除 spoolがパンパンになってしまったとき、不要なメールがqueueにたまっているのであれば削除してしまいましょう。mailqの情報取得 $ sudo mailq mailq内の情報全て削除 $ sudo postsuper -d ALL 特定のメールだけ削除…

Amazon SES使ったけど(´;ω;`)ブワッ

AWS

Redmineで送信するメールはAmazon SESを利用しています(使ってみたかったから) 10チケット程一斉にクローズしたら一通程届かずどういうわけかoh....利用するドメインのDNS設定は完了しており SES利用のProduction申請は通ってるのですがうーん。 ちょっく…

elasticsearchのエラーtips

動かしてる時に発生したエラー環境: CentOS5(1)max_content_lengthのエラー http.max_content_lengthのデフォルト値は100MBです。 これを超えるログをPOSTする場合発生します。 [WARN ][http.netty ] [Nebulos] Caught exception while handling client http…

VagrantでIDCフロンティアのcloudstackと遊ぶ

普段IDCフロンティアさんのクラウドサービスにお世話になってまして、 IDCFさんのCloudstack対応Vagrant Pluginなんて都合のいいものないですかねと伺っていたところ、 対応しましたよとご連絡を頂いたので試してみた。(0)自分の環境 Mac OSX Vagrant 1.3.1P…

elasticsearchのインデックスメンテナンス

ディスクリソースが逼迫してきたので利用しないインデックスを削除しよう $ curl http://localhost:9200/logstash-2013.11.26 |jq . $ curl -XDELETE http://localhost:9200/logstash-2013.11.26/ |jq .

elasticsearch利用中困ったこと

countしか利用できない。どうやらfluent-plugin-elasticsearchが転送するデータがString型で登録されているのが原因みたい。送信時に型変換するよう修正するのが当面の目標。 今まで作られたINDEXは削除ですかね〜〜

s3cmd実行時のエラー

EPELリポジトリからインストールしたs3cmd 1.0.1を利用し、 S3からファイルを同期しようとした時に発生したエラー $ time s3cmd sync --bucket-location=ap-northeast-1 s3://bucket/ /tmp/sync !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! An unexpected er…

Magentoのsystem.logをfluentdで収集

正規表現できない情弱です。 Magentoのsystem.logも収集したいなあと試しに頑張った結果まずはこのようになりました。 <source> type tail path <MAGENTO_LOG_DIR>/system.log format /^(?<date>[^ ]+) (?<debug_type>[^:]*\:)(?<message>[^:].*)$/ tag magehost.magento.systemlog pos_file /var/log/td-agent/ma</message></debug_type></date></magento_log_dir></source>…

Kibana3 + Elasticsearch + fluent-plugin-elasticsearchに魅せられて仕事に手がつかない

ひとまず環境ととのえたのでメモ。試行錯誤して使ってます。QueryをPinすると編集できなくなる。Query @logname:<ログ名> AND 条件..

fluentdの警告

buffer_type file buffer_chunk_limitを増やした。 今は発生してない 2013-11-22 16:07:18 +0900 [warn]: Size of the emitted data exceeds buffer_chunk_limit. 2013-11-22 16:07:18 +0900 [warn]: This may occur problems in the output plugins ``at th…

fluentdで死の宣告queue size exceeds limit

最近fluentdでアクセスログやスロークエリログを収集しています。しかし困ったことにqueue size exceeds limitが発生してしまい、アクセスログの集計ができなくなってしまいました。 2013-**-** **:**:** +0900 [warn]: emit transaction failed error_class…

percona toolkit pt-query-digest

メモ。 pt-query-digestで解析対象の時間を絞る。 pt-query-digest --since '2013-11-20 21:00:00' --unti '2013-11-20 23:59:59' <slow_query_logfile></slow_query_logfile>

innobackupexを利用したバックアップ/リストアの世界

mysqldumpはリストアが遅い。遅い。 そこで最近はSQLベースではなく、データファイルを一貫性のある状態でまるごとバックアップしてくれる神ツール innobackupexを利用しています。xtrabackupというツールのラッパーみたいです。スレーブサーバの複製にも活…

Magentoログテーブルのレコード削除

Magentoはユーザーの行動履歴など全てログテーブルへ記録します。 Google Analyticsを利用している場合や、記録されたデータを活用しない場合は不要です。管理者画面よりログ取得OFFにすると、ロギングしないらしいのですが、 私の環境では無効化しても動作…

iodrive2ほしい…そんな言葉は使う必要がねーんだ。iodrive2をブッ挿したッ!なら言ってもいい。

ioDrive2に触れる機会があったのでメモ。HW: HP Proliant DL360 G7(ちと古い) OS: CentOS5.10(x86_64)・服を脱ぎます ・金属に触れます。つめたぁーい ・サーバの電源を停止し、ラックから外します ・ioDrive2を箱から出します ・PCI-Expressに挿します ・サ…

magentoのログテーブルをTRUNCATEしたい

ご無沙汰ですブータです。Magentoを使ってサービス運営をしているサーバは log関係のテーブルを放っておくと泣きを見ます。 ログ関係、削除するにはlog.phpを叩けばいいらしいのですが怖くて叩けず。。 $ <MAGENTO_DIR>/shell/log.php clean MySQLのinnodbデータファイル</magento_dir>…

Splunkで nagiosのログを食わす。

Nagiosで利用しているログのタイムフォーマットはUNIXタイムなので、UNIX Timeへと変えましょう TIME_FORMAT="%+"

rvmとknife

[[]]workstationのセットアップ。 自分用@OS X Mountain Lion $ bash -s stable < <(curl -s https://raw.github.com/wayneeseguin/rvm/master/binscripts/rvm-installer) $ echo "$HOME/.rvm/scripts/rvm" >> ~/.zshrc $ rvm install 1.9.3-p327 $ rvm 1.9.…

rails超入門 S3バケット一覧を表示するだけのサンプル

こんばんは。 S3に保管されたバケット一覧を取得するだけのerbをかきますた。 viewで全部..ぐぬぬみたいな感じ。 <p id="notice"><%= notice %></p> <p> <strong>Access key:</strong> <%= @account.access_key_id %> </p> <p> <strong>Secret access key:</strong> <%= @account.secret_access_key %> </p> <p> <strong>Your Buckets</strong> <% s3 =</p>…

install.shが失敗した

片っ端からchef-clientをインストールしているブータですこんにちは。 とある都市伝説を抱えるサーバにchef-clientをインストールしようとしたところ失敗したので、 rpmをwgetしてインストールしましたとさ。 $ uname -a Linux 2.6.18-348.4.1.el5 #1 SMP **…

Vagrantfileの書き方が変わった模様

自分が利用しているPCのVagrantを 1.1 -> 1.2.1へバージョンアップしました。 ついでにVagrantfileが変わったみたいですので、メモを残します config.vm.box = "CentOS6.4_x86_64" config.vm.network :private_network, ip: "192.168.101.11" config.vm.prov…

chef-serverとchef-clientの時刻ずれの許容範囲は15分

chef-serverノードとchef-clientノードの時刻ズレは15分位内じゃないと、 node登録時に下記エラーが発生し、chef-serverへnode/clientを登録できないみたいですよ。 The request failed because your clock has drifted by more than 15 minutes.Syncing y…

qiitaがおもしろい

qiitaのkobito使ってます。ブログからこっちに移行しよう。

knife upload実行時に 413 Request Entity Too Large 発生

私が仕事で立てたChef-ServerのリバースプロキシにNginxを利用しています。cookbookのfilesに6MB程のzipファイルを格納したままuploadすると このようなエラーが発生。 $ knife cookbook upload aws Uploading aws [0.1.0] kniERROR: Failed to upload : 413…

s3fs-cのメモリ使用量がスカイツリー

AWS

s3fsのメモリ使用量がとんでもなく多くなっていたので、定期的にremountしないと駄目ですよというのが昨日わかったので、autofsで制御できるかやってみよう。

ohaiでCloudwatch用メトリクスを収集

思いの外簡単だった。 #!/opt/chef/embedded/bin/ruby #!coding=utf-8 # 指定したディスクデバイスの使用率をゲッツ require 'rubygems' require 'ohai' ohai = Ohai::System.new ohai.all_plugins if ARGV[0] == nil exit end diskdevice=ARGV[0] percent_u…

KyotoTycoon使ってみた

Magentoのセッション管理にmemcachedではなくKyotoTycoonを導入してみました。課題Magento Cacheを共有しないと駄目ー。セッションとキャッシュに矛盾が生じてしまい、 ログイン情報等が引き継がれない。激しくキもい。MagentoCacheをどうやって共有するか N…

E-Mail送信上限解除

AWS

ここで逆引き依頼する。https://aws-portal.amazon.com/gp/aws/html-forms-controller/contactus/ec2-email-limit-rdns-requestちなみにIDCフロンティアのクラウドは問合せチケットで依頼をだせますよ