JANOG41 BBチーム報告書（事前準備）

はじめに

JANOG41の事後報告として、会場へのインターネット引込を担うBBチームより、事前の準備、ネットワーク構成、当日の状況などまとめました。

BBチームって？

今回広島国際会議場でのネットワーク提供にあたり、JANOG41 NOCチームが社内の有志で結成され、さらに大きく2つのチームに分かれました。

ざっくり説明しますと、以下のような割り振りです。

BBチーム：IIJ 広島POPからインターネット接続の張出し。DHCPでのグローバルIPアドレスの配布。BBはバックボーンの略です。

Wi-Fiチーム：会場内LAN構築、無線提供、各種モニタリングやログ取得

BBチームのメンバーは、普段IIJバックボーンの構築・運用を行っている部署やサポートを行っている部署からあつまり、入社2年目~4年目の若手のみで構成されました。

先輩社員に技術的な助言を頂いたり、グローバルIPアドレスを利用するための準備や、社内サービスの利用手続きに奔走しつつ‥

イベントネットワークの構築など行ったことがないメンバーばかりで、日ごろインフラ運用の業務とはまた異なる大変さでしたが、だからこそ非常に良い経験ができたと思います。

構成

今回インターネットの提供にあたって、IPv6のアドレスの払い出しやIIJバックボーンとの接続点の部分に関しては、IIJのサービスである「インターネット接続サービス」を利用しました。

回線の手配に関しては、今回特別にオーダーしたものとなります。

JANOG41用のネットワークのインターネット接続は10Gbps x2フルコミットで準備しました。

2017年にちょうどIIJ 広島POPのバックボーン帯域が100Gbpsへ増強されたこともあり、まだまだ帯域は増やせたのですが、冗長性や会場に設置可能な機材、開通の段取りなどを考慮して、合算20Gbpsに落ち着きました。

https://www.iij.ad.jp/company/backbone/

線が多くて複雑ですが今回BBチームで構築した範囲のネットワーク物理構成図は以下の通りです。

会場内ネットワークのホスト名「sw-d01」より上位がBBチームの責任範囲となっています。

セグメントごとに線の色を分けています。ピンクの線は会場ネットワークと同じセグメントで、それ以外の色はルータ間のPoint-to-Pointなセグメントです。

ホスト名と役割の対応は以下の通りです。

IIJ広島POP～広島国際会議場間の接続方法

今回、広島国際会議場とIIJの広島POPを繋ぐために、株式会社エネルギア・コミュニケーションズ様にダークファイバをシングルモード光ファイバで4芯ご用意いただきました。

そのダークファイバ上で通信するために、CWDMと呼ばれる光波長を多重出来る装置と、10G BASE ZRと呼ばれる長距離通信が可能な光モジュールの2つの手段を使いました。

今回用意して頂いたダークファイバ4芯の利用割当は以下の通りです。

CWDM

WDMは、光を変調し、波長を多重して通信を行う技術です。

CWDM(Coarse WDM) とDWDM(Dense WDM)の2種類あります。

CWDM装置は、受け取った光を1271nmから1611nmまでの間20nm間隔で決められた波長に変調し、変調された光を多重し伝送します。

多重度は製品にもよりますが、最大16波まで多重することができるようです。

各波長に、10G BASE LRのようなギガビットイーサネットの通信などをのせることができ、これを使うことでダークファイバの利用効率を上げることができます。

また、50ｋｍほどの長距離間通信も可能です。

DWDMは、CWDMよりもさらに細かい間隔で波長を多重し、多重度を上げることができます。

DWDM装置はCWDMよりもさらに長距離間伝送を行えるよう設計されたものが多いです。

装置の構造自体も比較的複雑で、流石にJANOG会場にもっていくのは難しかったです。

今回用意したCWDM装置は、ファイバ1芯に対し、10G BASE LRが3本、1G BASE LXが2本まで双方向通信を多重可能な製品です。

10G BASE ZR

10G BASE ZRは最大80kmまで伝送可能な通信方式です。10ギガビットイーサネットの規格としては定められていないようですが、各メーカーがZRを長距離用のオプションとして提供しています。

80km広島国際会議場からですと、直線距離にて広島県尾道市まで行ける距離ですが、IIJ広島POPはそんなに遠く離れているわけではありません。

実際にダークファイバが敷設されてみないと、どのくらい光が減衰するかわからなかったため安全策として、「10G BASE ZRあれば届かないことないでしょ～。どうせなら一番いいので。」という大は小を兼ねる理論で利用しました。実際には10G BASE LRでも通信できたはず・・

BBチームのネットワーク設備構築

スケジュール

BBチームのミッションとして、会場内ネットワークを構築するWi-Fiチームにいかにはやくインターネットを提供できるかがありました。

そのため、インターネットを開通するための準備というのは入念に行いました。

通常業務と並行で準備を進めていくのは、やはり大変でしたが、何とか準備を間に合わせることができました。

集荷に間に合わずに、MX80を一人で抱えて宅配の事業所に駆け込んだのもいい思い出(?)です。

事前準備

終わってみれば無事に開通できたのですが、回線に問題が起きないかが一番の心配です。

ダークファイバの特性上、敷設開通日以降でなにか問題が起きないか監視状態に置いておく必要がありました。

会場の都合上いつでも立ち入っていいというわけでもないので、JANOG41当日までダークファイバの正常性確認をしつつ、問題が起きたらすぐに気づけるような体制をとることが求められます。

そこで、広島国際会議場で光中継アダプタを用い、IIJ広島POPからの光をそのまま折り返させる(ハードループバックというテスト)ことで、回線の正常性確認を行いました。

以下の写真は、広島国際会議場側のダークファイバでハードループを作成している写真です。

構成は、以下のようになります。

ダークファイバ開通からJANOG41が始まるまでの1か月間CWDM装置の光を送り、常に監視していました。

また、IIJ広島POP側にゲートウェイ(janog41gw02)とDHCPサーバ(janog41dhcp02)を事前にIIJ広島POPへ設置しました。

設置している拠点を分けてそれっぽく冗長しているようにみせるためや、会場の電気節約、インターネット接続に必要な機能を事前に正常性テストできるという理由で、片系をIIJ広島POP側に配置しています。

次回に続きます

次回は当日の構築模様をお伝えします。
お楽しみに。