IIJバックボーンアップデート2019

【IIJ 2019 TECHアドベントカレンダー 12/20（金）の記事です】

こんにちは、ネットワーク技術部の蓬田 裕一です。
今回はIIJバックボーンと2019年のアップデートについてご紹介します。

IIJバックボーンの基本設計

IIJのバックボーンネットワークはIIJが提供するすべてのサービストラフィックが経由するネットワークです。バックボーンネットワークの品質低下がIIJのサービス品質低下に直結するため、高い品質が求められています。そのため基本コンセプトとして、大規模な災害や不測の事態が起こったときなどでも、絶対に止まることの無い設計を追求しています。

ネットワーク拠点内の機器や設備は冗長構成を基本としています。採用するネットワーク機器についてもマルチベンダーで構成しており、なおかつソフトウェアの脆弱性等のリスクを軽減させるために異なる安定バージョンのソフトウェアを導入した機器を平行稼働させています。全てのネットワーク構成機器が単一要因で影響を受けないように設計されています。

ネットワーク拠点間の通信回線は、回線事業者(キャリア)の専用線だけでなく、短距離であればWDMとダークファイバを使用して自社構築した伝送網も使っています。

IIJはネットワークサービスプロバイダーですが、回線事業者ではありません。自分たちで敷設した光ファイバを持っていないため専用線でもダークファイバでも他社の回線を仕入れ(借りて)て使用しています。他社の回線を仕入れて使うことはコスト的にはデメリットでもあるのですが、メリットもあります。複数の回線事業者の回線を使い分けることができるため、IIJの設計に基づき拠点間を物理的に異なるルートでつなぐ冗長設計を構成することや、回線事業者の障害に対するリスク分散を図ることができます。期待通りの冗長性を得るために、新しい回線導入時は各回線事業者と綿密なコミュニケーションを取り、導入回線のケーブルルートの詳細を出来る限り確認し、運用中の回線との差異や状況を詳しく共有してIIJが期待する構成になっていることを確認しています。

このようにIIJバックボーンは様々なリスクを想定し、可用性向上を目指して設計されていますが、最初からこれらのリスクを網羅し想定できていたわけではありません。IIJで過去に発生した設備障害や大規模災害による経験からノウハウを蓄積した結果の賜物だと思っています。

IIJバックボーンが大きく変わった転機として2011年3月11日に発生した東日本大震災があります。震災以前のネットワークも大規模な災害を想定して回線事業者やルートを分散していましたが、東日本大震災ではIIJバックボーンでも仙台データセンター向け回線が全断、保有していた日米国際回線の1/3以上が回線断となる影響を受けました。この一件を受け、想定する災害の規模を大きくすることにしました。

当時の設計は、東日本の各拠点は東京エリアで、各西日本の拠点は大阪エリアで集約し、国際回線は東京および大阪エリアで収容していました。しかしながら、広範囲で大規模な災害が発生し、東京エリア・大阪エリアでエリア全体にわたる障害が発生すると、そこに依存する拠点で通信断が発生します。そこで、名古屋エリアに集約拠点を追加し、東日本は東京エリアと名古屋エリア、西日本は大阪エリアと名古屋エリアに収容を変更、一つのエリアに依存しない形に改めました。また、名古屋エリア向けの回線は、東京・大阪を通過しないケーブルルートとしています。

トラフィック状況

IIJバックボーンを経由するトラフィックは日々増加しています。総務省が発表した2019年5月の日本のブロードバンドサービスにおける総ダウンロードトラフィックでは、前年の5月に比べて17.5%の増加があったと報告されています。我々のネットワークにおいても、固定回線やモバイルなどの種別や個人、法人等のユーザ種別に関わらずトラフィックがのびており、バックボーン全体で同程度の増加水準を計測しています。 トラフィックの傾向を分析してみると、IIJユーザやIIJ内部からインターネットへのアップロードトラフィックにおいて動画やコンテンツを配信するトラフィックが伸びていることが確認されました。過去の集計からも暫くトラフィック増加が止まることは考え難く、今後も右肩上がりの増加が予想されます

また、昨今のインターネットトラフィックで注目すべき事象に、日常的なトラフィック以外に特定のイベントによって発生する突発的なトラフィックがあります。突発的なトラフィックの要因ととして、パソコンやスマートフォンのOSアップデートファイルのダウンロードやゲームコンテンツの配信が推測されています。特に後者はダウンロードファイルの容量が大きく、また発売日にアクセスが集中する傾向にあるため定常のピークトラフィックの2倍以上の量が突然流れ、バックボーン帯域的にも無視できないトラフィックとなりました。バックボーンの帯域設計ではこうした突発的トラフィックを計算に入れておかなければなりません。IIJでは同様のトラフィックが今後も発生することを想定し、余裕をもったバックボーン帯域の確保とコンテンツ発生源からのトラフィックを効率よく流せる収容設計を検討しています。

とあるゲームの配信トラフィック傾向。通常時の2倍以上のトラフィックを観測

2019年のアップデート

新規拠点追加

2019年は2箇所の新拠点を構築しています。

IIJの国内自社構築データセンターとして松江データセンターパークに続き、白井データセンターキャンパス(以下白井DCC)が今年5月に完成しました。白井DCCの構築目的として、顧客へのDCファシリティ提供のみならず、現在データセンター界隈で注目度が上がっている印西・白井エリアへのネットワーク提供、IIJサービス基盤の設備配置もあります。いち早くサービス提供基盤を整えるために、IIJバックボーンも白井DCC開所に合わせてネットワーク構築を行いました。バックボーン帯域としては東京NOCと池袋データセンターにそれぞれ100Gbpsの広帯域で接続を行い、設備レベルも都内のコア拠点と同レベルで行いました。将来、東日本におけるIIJバックボーンネットワークやサービス提供基盤のコア拠点となることを見据え、設備構築を完了しています。

白井DCCの外観（左）とサーバルーム（右）

白井DCC以外でも現在の日本のインターネットの中心と言われている大手町エリアへ新拠点を開設しました。近年の大手町エリアの再開発に伴い、昨年度建築された新大手町プレイスにデータセンターが設置されています。同地の株式会社ブロードバンドタワーのエリアにIIJバックボーンの張り出しを行い、インターネット接続サービスの収容設備を構築しています。

大手町エリアは再開発により接続事情が日々更新されています。大手町エリアでは現在KDDI大手町ビルとサンケイビルにインターネット接続サービス収容設備を構えており、新大手町プレイスは3箇所目の設置となります。新大手町プレイスには多くの回線事業者の回線が入線しており、古くから事業者が集まるNTTデータ大手町ビルへの接続も容易に提供できるため、多くのユーザへよりサービスを提供しやすい拠点であると言えます。

帯域増強

トラフィックの増加に伴い、国内および国際バックボーンについて帯域の増強を行っています。

国内バックボーンにおいては、東京エリアのコア拠点間(東京NOC-池袋データセンター、東京NOC-渋谷データセンター)と、東京NOC-大阪NOC間で100G回線を追加し帯域を増強しています。コア拠点間の回線は拠点間で通信するトラフィックが経由するため、トラフィックがもっとも集中する箇所となります。単純なトラフィック増の要因だけではなく、前項で述べたイベントトラフィックや動画コンテンツへの帯域確保対策も含まれています。 それ以外でも東京湾岸エリアである豊洲NOCについて、昨今の接続ユーザ増加に伴い10G回線から100G回線へ増強を行っています。

国際バックボーンにおいては、日米間のトラフィック増加に伴いシアトルNOC-東京NOC間に100G回線を追加しています。IIJの国際バックボーンにおいては日米間のトラフィックが多くの割合を占めており、特にアメリカから日本への通信が多く、安定的にトラフィックを運ぶためにも追加が必要な区間でした。アメリカ以外の回線では、日本-香港間を100G回線に増強しました。香港は東アジアや東南アジアへのインターネットの玄関口となっており、アジアのみならず世界から多数のインターネット事業者が進出しています。IIJでも重要な対外接続点でもあり、トラフィック増加に伴い増強を行いました。

バックボーンだけでなく、インターネット相互接続点であるIX向けの回線も帯域増強を行っています。 日本主要IXであるJPNAP東京への接続帯域を新たに増やし、JPNAP東京と大阪をあわせた総接続帯域は1Tbpsになりました。

2020年に向けて

来年は東京でオリンピックが開催されます。オリンピック競技のインターネット配信がメジャーとなっており、前回のオリンピックではコンテンツ配信によるトラフィックの増加、また多くの外国人の来訪に伴うVOD視聴のトラフィック増加が報告されています。IIJとしてもオリンピックに備えるためトラフィック傾向の分析・予測を十分に行いながら、日々継続しているバックボーン設備や対外接続点の増強と最適化を行い、安定したバックボーンネットワークを提供していきます。

参考
以下の記事では、東日本大震災が発生した当時、IIJが行ったことやそこから学んだ今後の対策などを紹介しています。