orenoblog

エンジニアになりたいExcel方眼紙erの物語

fluentdで死の宣告queue size exceeds limit

最近fluentdでアクセスログやスロークエリログを収集しています。

しかし困ったことにqueue size exceeds limitが発生してしまい、アクセスログの集計ができなくなってしまいました。

2013-**-** **:**:** +0900 [warn]: emit transaction failed  error_class=Fluent::BufferQueueLimitError error=#<Fluent::BufferQueueLimitError: queue size exceeds limit>

buffer_type memoryで運用するにはリソースに余裕のないサーバなので、
buffer_typeをfileに変更してみました。

<match *.apache.access>
        type forward
        <server>
                host <forward_host>
                port <port>
        </server>
        buffer_type file
        buffer_chunk_limit = 8m
        buffer_queue_limit = 2
        flush_interval 2s
        buffer_path /var/log/td-agent/buffer/apache.access.buffer
</match>

今のところ大丈夫。
これで良いログライフできるかな。