本日も乙

ただの自己満足な備忘録。

fluentd

WinlogbeatでWindowsのイベントログをFluentdサーバに転送する

[toc] Windowsイベントログを収集する目的 監査ポリシーを設定することでWindows内で何が起こっているのかを詳細にイベントログに残すことができます。セキュリティの要件としてこのログを監査ログとして収集し、誰にも改ざんされないように保全する仕組みを…

Fluentdプラグインを作ってRubyGems.orgに公開するまでの手順をまとめた

Fluentdプラグイン作りました ohsawa0515/fluent-plugin-grepcount-filter どういうプラグインかというと、正規表現でマッチしたログが閾値以上になった場合のみ通すというものでfluent-plugin-grepcounterとfluent-plugin-datacounterを合わせたようなプラ…

FluentdからAmazon Elasticsearch Serviceへログ転送する時の注意点

昨年10月にAmazon Elasticsearch Service(Amazon ES)がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は…

fluent-plugin-s3で「aws_key_id or aws_sec_key is invalid...」が出る場合の対処方法

td-agent(1.1.21)をEC2インスタンスにインストールし、fluent-plugin-s3でログをS3に送ろうとしたら、ログに以下のようなエラーが吐き出されていました。 2015-01-19 15:46:58 +0900 [error]: failed to configure/start sub output s3: aws_key_id or aws_s…

Elasticsearchの古いインデックスを削除するBashスクリプトを書いた

td-agent(Fluentd)で集めたログをElasticsearchに格納して、Kibanaで見るということをやっています。 とりあえずということで、200G程度のVPSでログ収集環境を構築したのですが、問題なのはElasticsearchにログを格納し続けるとディスク容量を圧迫していまい…