400Gインタフェース相互接続検証

みなさんこんにちわ、ネットワーク技術部の蓬田です。
4/19(火)にリリースした”アジア初の400ギガビットイーサネットを用いたIX相互接続実証実験に成功“について、次世代高速インタフェースである400Gインタフェースの実証実験の詳細や技術的な補足、IIJの400Gに対する期待や取り組みをご紹介します。

400Gインタフェースへの期待

私たちの部署は、IIJの全サービスインフラの基盤となるバックボーンネットワークを構築・運用しています。IIJのバックボーンネットワークのトラフィックも総務省が半期ごとに集計し、発表している”我が国のインターネットにおけるトラヒックの集計・試算“と同様に増加傾向にあり、安定的にお客様のトラフィックを運ぶためにはバックボーンネットワーク内での十分な帯域確保が必要です。現在IIJの日本国内および世界各地にあるPOP(Point Of Presence)間のバックボーンリンクの主力インタフェースは100Gigabitイーサネットです。バックボーンリンクや相互接続点に100Gbps以上のトラフィックを流す必要がある場合は、複数の100Gインタフェースを用意し、ロードバランスさせています。特にトラフィックが大量に流れる箇所は、100Gのインタフェースの数がより多く必要になるのですが、現時点で10本以上のインタフェースと回線を用意している箇所もあります。100Gインタフェースのまま機器で収容できる限界までネットワークを作っていくことも選択肢となるのですが、課題もいくつかあります。インタフェースが増加することにより機器間の接続回線本数が多く必要となるため、回線費用のコストが増えたり、障害発生箇所が増加することによるリスクが増加します。またデータセンターのラック内のケーブルの取り回しがしづらくなることによる運用的な負荷の増加もあります。100Gインタフェースから400Gインタフェースに転換することで、数が多いことに寄る運用的な負荷は下がると思っていますし、コストとしても100Gインタフェースを4本束ねるよりは下回る状況となってきているのが現状です。
(100Gから400Gにより運用回線本数は減るのですが、単発障害時に大きくトラフィックが迂回したり、局所的な影響が増大する可能性はトレードオフです)
そのため、IIJとしてはなるべく早く400Gを導入できる環境を整え、今後のトラフィック増に対応する必要があると考えています。
1点残念なのが、10Gインタフェースから100Gインタフェースへの転換時期には帯域が10Gから100Gの10倍に増えたので大きな効果がありました。100Gから400Gへ転換は帯域としては4倍の増加であり、10Gの時よりは増加幅は少ないのですが、100Gと400Gが同時に使える機器も市場に増えてきているので今が転換の時期かなと思っているところです。

国内相互接続箇所のトラフィックの状況。右肩上がりである

400Gigabit イーサネットの種類

IIJバックボーンネットワークの100Gインタフェースは、100G-LR4(IEEE 802.3ba)をメインで利用しています。
スペックとして、トランシーバ間の接続に1310nmの波長を利用するためシングルモードファイバを使って接続し、最大10kmの距離を伝送させることができます。
データ転送方式は世代により1レーンあたりの伝送量が異なるのですが、IIJがメインで使っているものは1レーンあたり25GbpsのNRZ(Non Return to Zero)の伝送方式を4レーン多重させて100Gbpsのデータ転送を実現しています。400Gインタフェースで現在規格化されている種類は、400G-LR4-10、400G-FR4、400G-DR4、400G-SR4や 400G-FR8や400G-LR8など多様な種類があります。まず一番後ろの数字ですが、これは100Gの時と同じように波長多重している数を表しています。400Gでも同じように波長多重技術が使われており、LR8やFR8は50Gの伝送波長を8波長束ねていることになります。400Gインタフェースの初期においては1波長あたりの容量が少なかったため多くの波長を束ねる必要がありましたが、技術の進歩により1波長あたりの伝送容量が増加したため、今の主流は100Gの伝送波長を4波長使った規格となっています。波長数が増えると多くのレーザー部品が必要となり、機器のコストが上がってしまったり、障害箇所が増加したりすると考えられるため、基本的には波長数が少ない方が我々のようなユーザは嬉しいと思っています。また、過去のトランシーバの普及状況としても、4波長の量産体制が出来上がった際に製品の安定供給や価格の安定により市場規模の拡大とユーザへの普及が進むと言われています。100Gインタフェースも初期には100G-LR10という10G波長を10波束ねた規格もありましたが、実際に普及して現状使われているのは100G-LR4や100G-CWDM4という4波長が使われています。
また1波長あたりの伝送容量を増やすために100GではNRZの伝送方式が主流でしたが、50G以上のデータ転送にはPAM4(Pulse Amplitude Modulation-4)が使われています。PAM4は1タイムスロットあたり00,01,10,11の4値の2ビットデータを使って伝送を行う方式です。データ容量は増えますが、信号が複雑になることにより100Gよりもケーブルの品質に左右されたり、信号の劣化により敏感となるためデータが正しく伝わらないことがあります。そのため400GイーサネットではFEC(Forward Error Correction)が標準仕様に組み込まれており、ビット誤りをエラー訂正により修正し伝送品質を担保する仕組みとなりました。
400Gイーサネットでも規格によって利用する波長帯が異なるため、ファイバ種別としてシングルモードとマルチモードを利用することになります。また2心1条のファイバではなく、MPOコネクタやSNコネクタを利用する規格も存在します。後者の場合は、一つのトランシーバの100G波長ごとに個別利用し、100Gのインタフェースへ分岐させる4x100G-LR4などで利用されることもあります。IIJの100Gインタフェースは100G-LR4のため、シングルモードファイバの2心1条のケーブルを標準利用しています。400Gインタフェースを導入するにあたり、データセンター内の既存のケーブルシステムを利用できることも重要なため、基本的にはシングルモードファイバの2心1条のケーブルを利用できる規格を選定することが要件となります。100G-LR4と同じ使用感で使えるものとして、400G-FR4や400G-LR4-10が選択肢となります。この2つの規格は、伝送距離の違いでしかなく、FR4は2km、LR4-10は10kmが最大の伝送距離として規格が作られています。IIJとしても距離によって最適な規格を利用したいところです。ちなみに400G-FR4と400G-LR4-10は利用している波長帯は同じで、想定する最大伝送距離が違うだけで中身は同じものだそうです。そのため、400G-FR4と400G-LR4-10で相互接続が可能となります。

相互接続検証の結果

インターネットマルチフィード社、NTTコミュニケーションズ社と行った400G相互接続検証についてです。
IIJからは400Gインタフェースを導入する予定のルータと400G-FR4と400G-LR4-10のトランシーバを用意し、インターネットマルチフィード社もJPNAPサービスでの本番利用想定機器を用意しており、お互いが商用環境を想定した構成でIX経由の相互接続ができるか検証しました。結果としてIIJとインターネットマルチフィード社の機器間で問題なくリンクアップし、品質劣化が無くトラフィックを流せることを確認しました。
事前に気にしていたポイントとして、異ベンダー間での相互接続性です。基本的に現在はIEEE/MSAに準拠したインタフェース規格で統一されているため、ベンダー独自の仕様というものは少なく、異ベンダー間の相互接続で大きく問題が起こるようなことはあまり考えづらいのですが、それでも事前に試してみないことには万が一もあるので必要な検証でした。IIJも複数のメーカー、ベンダーのトランシーバの利用を予定しているため、それらのメーカーごとに不具合がないかをパターンを分けて確認しました。結果として現時点で用意できる利用を想定する全てのパターンでの正常動作であり、問題は確認できませんでした。400GインタフェースではFECが標準で有効になっているため、異ベンダー間でエラー訂正が正しく行われるかも気になるポイントでしたが、こちらも問題なくエラー訂正が出来ており、いわゆるUncorrectedなデータが増加せずにパケットロス無くトラフィックを流すことが出来ました。
JPNAPサービスの構成上、収容機器の冗長構成を担保するために光切り替えスイッチが入っています。光切り替えスイッチでは光のパスを切り替える際に数msecの光信号断が発生するのですが、瞬間的な断により切り替え先のインタフェースで正常にリンクアップしなかったり、瞬断によるリンクダウン→アップと状態が切り替わらずにリンクダウンのままでスタックしてしまうことが不具合として考えられるので、発生しないかの確認が必要でした。そして光スイッチ切り替えにおいても、特段異常もなく正常動作を確認できました。
インターネットマルチフィード社のラボ以外では、大手町エリアで400Gでの接続で利用予定のダークファイバを使った400Gインタフェースのリンクアップ試験も実施しています。ネットワーク構成はIIJ POPとJPNAPサービスのPOPへ本番想定の機器を設置し、機器間をダークファイバを用いて、400G接続の環境を作成しました。ラボでは短距離のファイバを利用していたのですが、より商用環境に近い構成でのリンクアップと状態を確認することが目的でした。使用したダークファイバのスペックは全長1.6km程度、損失が1310nmの波長で4dB程度となります。ダークファイバのスペックは400G-FR4でリンクアップの基準とされる光レベルの下限しきい値よりも値が上回る想定のため、400G-FR4でも400G-LR4-10でもリンクアップが期待できるものです。IIJも将来的に400G-FR4を利用しJPNAPサービスへ接続するか、400-LR4が必要なのかを確認するためにも事前に400Gの耐性を把握しておく必要がありました。検証結果は、400G-LR4-10では余裕を持った値や品質でのリンクアップ、400G-FR4においても下限しきい値からまだ余裕をもった品質でのリンクアップを確認できました。実際にトラフィックを流すテストもおこなっており、JPNAP Tokyoの本番ネットワークへ接続して、既存JPNAP Tokyoで交換しているトラフィックを400Gインタフェースを使って流すことをテストし、問題なく400Gが利用可能なことを確認しました。

400G相互接続検証のネットワーク構成インターネットマルチフィード社、NTTコミュニケーションズ社、IIJの参加メンバー

今後の予定

400Gインタフェースも100Gインタフェースと同じような感覚で利用できることが改めてわかりましたので2022年度は局所的に導入を進めていく予定です。400Gインタフェースに対応する機器やラインカードも今後増えていき、IIJの価格ターゲットにマッチするようになれば、POP間のバックボーン回線にも利用する計画で導入時期を検討していきます。今回の試験では試すことができなかったのですが、400G-ZRも期待している規格です。400G-ZRは400G-FR4や400G-LR4-10とは違い、WDMで利用されているコヒーレント光通信のオプティカルトランシバーであり、400G-LR4-10よりも長距離伝送を行うことができます。光波長帯もC-band(1530-1565nm)を使っているため、既存のWDMシステムへトランスポンダー相当で組み込むことができます。IIJもバックボーンネットワークの一部へ100GのWDMシステムを構築しているため、400G-ZRを使えばWDMを利用してPOP間でも400Gインタフェースを導入することができます。導入に向けてまだ検証も出来ていない状況ですが、次世代のPOP間の帯域増強のためにも引き続き検討を進めていきたい分野となります。