大規模で実験的なネットワークにおける異常検知の効率化（山下記念研究賞）

次世代の技術を追求しインターネットへ貢献することを目指す「IIJ技術研究所」の研究員が、情報処理学会が主催する「平成29年度山下記念研究賞」を受賞しました。

受賞者プロフィール

阿部 博（あべ　ひろし）
IIJでエンジニアとして各種開発業務に従事した後、研究者に転身。クラウドコンピューティングを実現するためのシステム/ネットワーク基盤技術が専門です。
現在はIIJ技術研究所に所属しながら、国立研究開発法人 情報通信研究機構の協力研究員、Interop Tokyo ShowNet NOCチームメンバーも務めています。

研究サマリ

研究タイトル

イベントネットワークにおけるsyslogを用いた異常検知手法の提案と実データを用いた評価

背景

最新のネットワークテクノロジーと最新の関連ビジネスが出会う「Interop Tokyo」は、1994年から続くインターネット業界の一大イベントです。

Interop Tokyoの展示会場では、「ShowNet」という最先端の技術を取り入れた実験的なネットワークを第一線のエンジニアたちが現地で構築・運用し、展示会場に提供します。

阿部さんは2015年からShowNetの中心であるNOCチームメンバーとして、ShowNet全体のモニタリングを担当していました。

ShowNetトポロジー図（出典：Interop Tokyo公式サイト）※画像をクリックするとPDFが開きます。

このイベントに関わるエンジニアは力を合わせ、ShowNetの名にふさわしいネットワークを安定提供するのがミッションです。

しかし、最先端のネットワークであるShowNetを構築するために様々な企業や研究機関から提供される大量のネットワーク機器は、開発過程の機器やソフトウェア、また最新のファームウェアが適用されるため不安定な挙動を見せることがあります。構築中に発生するトラブルは、世界初の事例も多く見受けられます。ShowNetでは出力されるログの総量が膨大なため「ログの意味解析を行い、スコアリングに基づく異常値解析を行うことは可能であるが、キーワードの出現頻度だけでは、そのログが正常か異常かの判断を行うことは運用者にとって難しい」*1のが実情です。さらにShowNetは「開催期間が短すぎてネットワーク安定状態における学習データを集めることが難しい。」*3「機械学習を行う上ではノイズとなるデータが多すぎる。」*2といった、機械学習を用いて異常を検知するには難しいネットワーク特性を持っています。

そこで阿部さんは、個々のネットワークやサーバ・セキュリティ機器が出力するsyslogの総量と変化に目を付けました。

研究内容

機材の不調、不具合、設定ミス、攻撃、大量な正常アクセスなど、ネットワークに異常が発生すればsyslogの量が増える可能性があります。そこで「異常」の疑いがある急激なログの増加を検知するアルゴリズムが、論文内で提案されています。具体的に「計算が軽量で誤検知が少ないアルゴリズム」*4として採用されたのは、移動平均と標準偏差を用いた「ボリンジャーバンド」という金融アルゴリズムです。システムが安定しているときのsyslogの総量には統計的な推移が存在すると仮定し、移動平均±2σが標準偏差の範囲から外れた場合は「異常の疑いあり」だと判断します。なお事前の予想では、アラートの発生率は2.28%です。

実験はShowNet終了後、収集した管理ログを用いて実験環境でおこなわれました。準備期間からイベント当日の15日間に収集されたログは6.4GB（約4,350万行）で、アルゴリズムを適用した結果アラートの発生率は5.50%でした。アラートの発生率は事前予想を上回ったものの、イベント当日が近づくにつれて増加するログ量に対するアラートの発生率に大きな変化はありませんでした。さらにアラートのレベル分けをアルゴリズム追加することで、大きな変動をすばやく通知することができるようになり「結果として運用者に対してトラブル対応への初動をすばやく行動させることが可能となり、イベントネットワーク運用に大きく貢献できる可能性がある」*5と言えることがわかりました。

*1～5　阿部博、敷田幹文(2016)、「イベントネットワークにおけるsyslogを用いた異常検知手法の提案と実データを用いた評価」IOTS2016

評価

推薦に当たっては、大規模なイベントネットワークにおいて、「ログの内容を全く解釈せず行数のみから異常を検出するという新しい着眼点」*6 による運用監視手法の改善を、実際のデータに基づいて有効な形で発表したことが評価されました。経験豊富なエンジニアの気づきをベースとして行っていた運用監視の現場に、この手法が取り入れられることは、ネットワークオペレーションの大きな負荷軽減につながります。

*6　情報処理学会、2017年度（平成29年度）山下記念研究賞詳細

IIJ技術研究所のご紹介

阿部さんが所属するIIJ技術研究所は、IIJの一組織として1998年4月に設立され、現在は100％子会社の株式会社IIJイノベーションインスティテュートに所属する研究機関です。クラウド技術、ネットワークの計測と解析、インターネットの経路制御、実在空間のアプリケーションモデル、ソフトウェアの開発と公開の5分野で、人と人のコミュニケーションを豊かにする技術を研究し、インターネットに貢献することを目指しています。

参考：IIJ技術研究所