本当に必要なアラートだけを選別したい

2018年09月12日水曜日

【この記事を書いた人】
ayano

広報部所属。普段は社内報の中の人。得意分野はオフィス界隈のプチプラグルメ情報。

CONTENTS

大量のアラートを、どうさばくか

サーバやネットワークが正常に作動しているかどうか監視しつづけ、障害発生にすばやく対応するのは、運用担当者の大事な仕事です。IIJではネットワークだけでなく、アウトソーシングとしてお客様のシステムを多数運用していますが、それらの中にはオープンソースの統合監視ソフトウェア「Zabbix」を使っている案件もあります（もちろん、他の監視システムを使っている案件もあります）。Zabbixで対応しているアラート件数は、年間1000万件にのぼります。

これだけの数があると、ワーニングや単なるノーマルメッセージなど「対応不要」なアラートは最初から見たくありません。瞬間的にアラートが大量発生するときの「重複」も我慢できません。真に対応すべきものの選別すら、できれば人間の手を動かしたくはありません。

そこでIIJは、自分たちが使うための運用自動化ツールを開発しました。この自動化ツールは、あくまで「アラート対応」に特化したものです。アラート対応の自動化を狙って、監視ツールごと乗り換えるのは、設定変更や人の教育などで、結構手間がかかりますが、我々のツールは既存のZabbixをそのまま使いつづけながら、アドオンして使うことができます。

自動化ツールの効果は目覚しく、IIJでは現在、Zabbixを利用している案件における94%のアラートは人手を介することなく処理しています。人が対応する6%のアラートのうち、48%のアラートはオペレーション自動化の恩恵を受けています。運用コストは80%減り、アラート発生から初動の開始時間は約半分になりました。

そして

となるだろうと予想し、ツールをお客様向けにサービス化しました。現在はZabbix以外のアラートも処理できるように進化しています。

運用業務を設計していくなかで生まれてしまう単純作業を、サービスを使って省力化すれば、担当者は本来行うべき前向きな運用改善にとりくめるでしょう。人の確保が多くの企業で課題となっているシステム運用の現場で、IIJの運用自動化ツールがお役に立てることがあれば、こんなにうれしいことはありません。

運用自動化ツールの使い心地は？

運用自動化ツールの使い心地を試していただくために、IIJは時々、ハンズオンセミナーを開催しています。以下は、6月27日の午後に開催した「Zabbixユーザ限定自動化ツールを体験できるハンズオン」のレポートです。おかげさまでイベントページを立ち上げるとすぐに「満員御礼、キャンセル待ち」のステータスになりがちな人気のセミナーに育ちました。

最初に講師より、システム構成の簡単な説明があります。

（講師：IIJクラウド本部エンタープライズソリューション部 M&Oサービス開発課柳井浩平）

その後、参加者は持参のパソコンからサービスにログインし、以下の項目を体感します。

初期設定（連絡先、輪番、対応時間など）
アラート発生→自動架電
自動チケット起票
チケットの自動タイムライン生成
自動オペレーション実行
自動フィルタによるアラート削減

トップ画面はシンプルなデザインです。

優先順位、対応日、通知先を「連絡先」として登録すれば、アラートをシステムが自動通知してくれます。たとえば自動電話機能で、リストに従ってシステムが自動音声で電話をかけてくれるように設定します。すると、リスト内の誰も応答しない場合は2巡まで再呼び出しが実施されます。

API、メール、監視システムから発生したアラートは同一監視項目について5分単位で集約された上で、自動的にチケット管理システムで起票されます。

アラートメールの内容、受電した担当者、自動オペレーションの結果等はタイムラインから確認でき、メーラーから返信した内容もタイムライン上に記録されます。

アラートをトリガに、Windows、UNIX/Linux系OS、Ciscoなどのネットワーク機器に対して自動オペレーションを実行することも可能です。あらかじめ登録した自動オペレーションはチケット管理システムからも操作できます。自動オペレーションの実行結果はメールで通知され、チケットのタイムラインに自動連携されます。