こんにちは、CRE部 技術支援チームです。
サーバー、ネットワーク、ストレージなどのシステムを構成するコンポーネントの安定運用に、ログ管理は大変重要です。ログファイルには、システムの状態を知るための多量の情報が記されていますが、常にログの内容を監視している方はあまりいないと思います。とりあえずログを蓄積しておいて、後で何かがあった際に追跡できるよう、管理されている方も多いのではないでしょうか。
また、ログを細かく管理しようとすると、例えばサーバーの台数分、個別にログを参照しなければならず、運用コストが増大します。蓄積されたログを効果的に活用するためには、ログを集約、可視化し、統合監視できるシステムがあると便利であり、運用コストを下げることができます。
当ブログ記事では過去に、fluentdとオブジェクトストレージを使用したログ収集や、telegraf+influxdb+chronografでログを可視化してみるといった、ログ管理に関するtipsをご紹介してきました。
今回も「ログの可視化」に焦点を当て、オープンソースのElasticsearch・Logstash・Kibanaを使用し、収集したログの参照やグラフ化を行ってみたいと思います。この3つのツールはELKスタックとして知られ、それぞれを組み合わせることにより、ログの収集、統合管理、そして可視化を実現可能です。
本記事では、Apache HTTP Serverのアクセスログを対象に検証していきます。
構成イメージ
