IIJの今年の新卒エンジニアのおうちを紹介してみる。Part 2/2

【IIJ 2023 TECHアドベントカレンダー 12/24の記事です】

こんにちは、はじめまして。 中川です。
今年(2023年)に入社し、データセンター設備の通信を担うネットワークやサーバの管理・運用を担当しています。

昨日紹介した5名のPart 1に続き、本日は私を含め4名の IIJ 2023年度新人のおうちを紹介していきます。

また昨日の記事をチェックしてないよ！という方はぜひ確認してみてください。

• IIJの今年の新卒エンジニアのおうちを紹介してみる。Part 1/2
  https://eng-blog.iij.ad.jp/archives/23141

IIJに興味を持っている学生さんや就活生の皆さんにとって、IIJで働く新卒エンジニアに親近感を覚えたり、参考にしていただければ幸いです。

インフラエンジニア小田川さんのおうち

自己紹介

はじめまして。小田川と申します。
業務ではUbuntu Serverの設定をしたり、コード書いたり、スイッチの設定をしたりと結構なんでもやっています。
今はデータセンターで研修中です。

写真

自宅のリモートワークの環境です。

論理構成

物理構成は単純なので簡易的な論理構成を載せます。

なるべく少ない構成で運用する手間を削った結果、上記の構成になっています。
自宅環境以外のところが入っていますが、引かれているネットワークの都合上、自宅サーバを公開することが出来ないため、OCI(Oracle Cloud Infrastructure)及び別の場所にあるRasberryPi 3Bを経由して通信を行っています。
拠点間接続にはTailScaleを使用したWireGuardによるVPN接続を用いており、構築及び管理の手間を減らしています。
この構成により、OCIもしくは別拠点のシステムがDownした場合でも別系統からのアクセスが可能となります。

Ubuntu ServerではDocker上で各種ゲームサーバが24時間稼働しています。
Ubuntu Serverはリプレースする予定があり、その際にはGPUを導入した上でLLM等が自由に使えるようにする予定です。

まとめ

構成自体は他の方と比較して大分小規模ですが一時期はサーバ類がもっとあった時期もありました。
ただ現時点ではクラウドとの併用を進めており、そのうち自宅環境ももっと縮小していくかもしれません(管理が大変)。
逸般の環境を管理されている方はすごいなと感じつつ、管理できる範囲で行っていきたいです。

モバイルインフラエンジニア佐々木さんのおうち

自己紹介

IIJmioの開発を行う部署に配属され、Linuxや色々な言語と戯れています。佐々木です。
他の方々と比べると大したものではないので、一般枠として自宅環境を簡単に書いていきます。
まだまだ未熟者ですので、怪しい記述があってもご容赦いただけますと幸いです。

自宅サーバ

図1: サーバの全容 （左はi7-4770K、右はi7-9700K。Haswell現役です）

図2: サーバ側のネットワーク機器

1のように、余った自作PCやBTOのPCをサーバとして動かしています。

今動いているのは左側の光っているマシンのみで、右側はこの間母艦を退役して、次の出番まで放置されているマシンです（後ろのケーブルの滝なんて私には見えません）。

光っているマシンでは、Proxmoxの上でMinecraftサーバが動いています。

マシンスペックは以下の通りです（図らずも、私もPC遍歴に……）。

• 左のピカピカマシン
  • CPU: i7-4770K
  • メモリ: DDR3-1600 16GB (32GBに増設予定)
• 右のマシン（お休み中）
  • CPU: i7-9700K
  • メモリ: DDR4-2666 32GB
• 写真に無いWindows母艦（春のボーナスの成れの果て）
  • CPU: Ryzen9 7950X
  • メモリ: DDR5-5600 64GB
  • GPU: RTX 4070 Ti

ネットワーク周りは図2のようになっています。
ルータは、せっかく自社のSEILというルータがあるなら使ってみたいと思い、SEIL/X1を使っています。先輩からいただきました。
NTPはちゃんとインターネットマルチフィードさんに投げるように設定してあります。
Wi-Fiは、飛ばさなくても良かったのですが、冗長化のために飛ばしてあります。
SEILの設定は、先輩方に教えを請うた他、この記事を参考にしました。

SEILでつくる、“最強”ご家庭用ルータ ～ひかり電話無しプラン～ | IIJ Engineers Blog
（記事中ではPPPoEとDS-Liteを共存させています）

簡易的な物理構成図

以下が構成図です。

複雑なことはしていませんが、ネットワークが2つにわかれているので両方のネットワークと疎通があるように母艦のWindowsマシンにはNICを追加で挿しています。このNICも先輩からいただきました。

今後の計画

マシン面では、余っている右のマシンとN100マシンにもProxmoxを入れて、Proxmoxクラスタを組んだり、Proxmox上でKubernetesクラスタを組んだりしたいです。ネットワーク面では、リンクを貼った記事を参考に、PPPoEとDS-Liteを共存させ、3回線ある状態にしたいです。

まとめ

簡単なものにはなりましたが、以上が私のご家庭サーバ環境でした。
周りに逸般の環境の方々が多いので、その方々から刺激を受けつつも、自分のペースで自宅の環境を育てていきたいと思います。

おまけ

元々この新人の合同記事は弊社のデスク紹介（ IIJで働くみんなのデスク環境 – ITmedia NEWS ）に触発されたものでしたので、
おまけとして私も会社のデスクを紹介させていただこうと思います。

入社して半年ちょっとですが、だいぶ落ち着いて作業のできる空間が出来上がってきました。
また、入社してから初めてのHHKBを、しかも初めてのUS配列で買ったのですが、案外慣れることができ、持ち運びがしやすく、お家でも会社でも同じキーボードでお仕事ができるので気に入っています。

モバイルネットワークエンジニア田中さんのおうち

自己紹介

はじめまして。田中と申します。モバイルネットワークの設計や運用、構築等を行う部署に配属されています。
昔からネットワークに関連する技術が好きで、自身で検証を行ったりしていました。

物理構成

まず写真から。

基本的に市販のメタルラックに収まる機器を使用しています。
また、生活空間と同じ場所に設置しているので、ファンレス機器を多用し、低消費電力かつ静かな環境を実現しています。
現在、ネットワーク機器はすべてファンレスで、サーバ機器はファンが静かなものを使用しています。
ファンレス機器が集まっているせいで空気の流れが少ないため、下部手前から上部に吹き上げる形でサーキュレーターを稼働しています。
後から増設を繰り返した関係でケーブリングが崩壊している点は修正したいと思っております。

主要・重要な機器については特殊な機器は使用せず、中古品等での入手性が高いものを使用しています。
構成上、L2SWでVLANを使用して各回線を収容しているため、単一障害点となっているのがつらいところです。

論理構成（IPv4）

メインの回線として、HomeNOCからBGPでIPv4/IPv6のfull routeと、アドレスの割り当てを受けています。図中のVyOS #1と#2はそれぞれHomeNOCのPOP03、NOC05 と接続しており、冗長接続の構成となっています。各NOC/POPへの接続は（図上部の）IX2215によるEtherIP Tunnel over IPv6とフレッツ光のIPv6網内折り返し通信を使用しています。

バックアップ的な回線として、transixによるIPv4（DS-Lite）接続・弊社のIIJmio FiberAccess/DF（IIJmio:FiberAccess/DF概要）によるPPPoE接続・マンション提供の無料インターネットがあります。

図下部のIX2215は、HomeNOC用BGPルータであるVyOS #1, #2に対しeBGP Peerを確立しており、それぞれからDefault Routeを受け取っています。これによって、通常時はHomeNOCへのトラフィックはVyOS #1, #2へロードバランスされて送信されるようになっています。VyOS #1, #2には、VyOS #1, #2側とHomeNOC間のBGP Peerが切断された場合はDefault Routeの広報を停止するような設定が入っています。この設定は次の段落で説明するバックアップ回線への迂回のためにも使用されます。受信したDefault Routeは3560-CXにOSPFでredistributeしています。これにより、配下のセグメントからインターネットへの疎通を確保しています。

HomeNOCとの接続は冗長化されてますが、現状では物理構成に単一障害点になりうる箇所が多数あります。そのような箇所が原因でHomeNOC側との接続が全断となった場合を想定して、上記のバックアップ用回線向けのDefault Routeを高いmetricで常時再配布することで、切断時に別の回線へ自動的に迂回されるような設計となっています。

論理構成（IPv6）

IPv6の論理構成は、様々な制約により、IPv4と構成が異なっています。現状、HomeNOC全断時の迂回先はありません。

IPv4の構成でIX2215は、HomeNOC用BGPルータであるVyOS #1, #2に対しeBGP Peerを確立していましたが、本機種はIPv6でのMP-BGPに対応していません。そのため、3560-CXのVRF機能を活用して、IPv4で行っていたのと類似した形でにVyOS#1, #2に対してeBGP Peerを確立し、Default Routeを受信しています。

受信したDefault RouteはIPv6用SPIを行っているIX2215経由で再度3560-CXのDefault VRFへOSPFで広報されます。これにより、 VyOS #1, #2に対しeBGP Peerを確立する構成を維持しつつ、IPv6 SPIを行うことができます。また、HomeNOC接続用のネットワークと、宅内側のネットワークをある程度論理的に分離することができています。

【後日談】ケーブル交換/整線をしました

ひどいメタルラックをなんとかしたいと思っていたところ、グループ会社のネットチャート株式会社から細径のCat.6 UTPケーブル（eco-patch6）とタックタイを寄贈していただいたのでケーブル交換/整線を行いました。
ちなみに前日のブログで登場した同期の石塚もeco-patchを用いた記事を書いています。

Cat.6 UTP ケーブルは短距離であれば10GBASE-Tでも使用できるため、将来10G対応機器を導入した時にも使用できます。

交換/整線中の様子

これを機に、散乱していた電源タップや電源コードについても一度整線することにしました。残念ながら使用している機器はすべて電源冗長非対応のため、ラックの機器の電源を一旦落としてから作業を行いました。
電源周りの整理が終了し、UTPケーブルの交換を行っている途中の様子がこちらです。散乱していた電源タップやコードを右側に集めることができました。
最初に、同じ段にある機器同士のケーブルを交換し、その次に段をまたぐケーブルを交換していきます。この時に、機器同士の位置関係を考慮し、ケーブルがクロスしないように工夫しながら接続していきます。
こうしてできる2つの機器同士のケーブルの集まりは、ねじりっこで仮固定しておきます。

配線の交換がすべて終わり、機器前のケーブルを固定しているところです。ずいぶん先ほどと見た目が変わったのがわかります。
こうするとケーブルの余長が集められる状態になります。余長は左右の柱の部分に固定したくなりますが、今回右の柱は電源ケーブルを固定するのに使いきっているため、UTPケーブルは左の柱に固定することにしました。

ケーブルの曲がりも意識しながら、余長を左の柱にすべて固定できました。かなりきれいに固定できたように思います。
今回18本程度のケーブルを柱の部分に固定しましたが、このようにスリムに固定できるのは細径なeco-patchのおかげです。最後にケーブル交換前後の写真を見比べてみます。

散乱していた電源コードや縦横無尽に配線されていたUTPケーブルがまとまり、見た目が非常にすっきりしました。今まで使用していたケーブルは、ほとんどがジャンク品を使用しており、長さが適切でないものも多く、整線しようがない状態になっていましたが、eco-patch を使用して改善することができました。皆さんもぜひご利用ください。

今後

入社時に引っ越してから、監視系のサーバがきちんと動かせていない状況が続いているのでそのあたりを整備していきたいです。
同期の他の記事を見つつ、新しい視点も発見したので、それらを取り入れつつ維持していければと思っています。

データセンターネットワークエンジニア　中川さんのおうち

自己紹介

改めまして、こんにちは、はじめまして。基盤エンジニアリング本部　基盤サービス部ならびに今回の新人ネタを企画したyt-nkgwです。
データセンターのファシリティ面での運用や構築に携わっています。

データセンターというと、ラック内に詰め込まれた沢山のサーバ機器を考えがちですが、それらを動かす大容量の電力を維持する電気設備、それらを冷やす空調設備、それらを繋げる線路設備、それらを守るためのセキュリティ設備などがあります。
主に担当はデータセンターのそれら様々な設備の通信を担うネットワークの全レイヤーの設計・構築・運用、またサーバの構築・管理・運用に携わっています。

前歴となる２年間の大学院時代は、TCP/IPプロトコルスタックに代わるコンテンツ指向型ネットワーク（CCN）に関する研究やWeb脆弱性に関する研究の補佐などをしておりました。

私のおうち

こちらが私のおうちになります。

大学院時代にちょこちょこ仕入れてた本が溜まりに溜まってラック2つ分となっています。

興味があったら買って読みたいときに読む、逆引きのような読み返し方もするため直ぐ取れる手元に書籍は置いています。
電子書籍も考えましたが、普段画面を見て仕事をするので本を読むときくらいはスクリーンを見たくないのと本に書きこみを加えたりすることがあるため、
また電子書籍化されてない本も多数あるため、結局「物理本」を購入しています。

デスクは自動昇降デスクです。高さ 80-114cmの可動がとれ、疲れてきたらスタンディングで作業したり、カウンターテーブルのように立ちながら休憩したりします。
デスク左側にはスキャナーとアナログレコードプレイヤー、デスク右側には PCスピーカー、34″ の曲面モニタ1枚、トラックポイント付キーボードがあります。

レコードはオーディオテクニカ製のAT-LP60X、それに併せて、Nobsound製のP1 PROの真空管プリアンプ、出力のセレクターを用意し、オーディオテクニカ製のATH-M30Xモニターヘッドフォン、オーディオテクニカ製のAT-SP95スピーカーで切り替られるようにしてます。

また外出時は同じくオーディオテクニカ製のATH-M50xBT2を使っています。
視聴するレコードは未だ始めたばかりなのでそこまで多くはありませんが、メイドインアビスや機動警察パトレイバーなどのアニメのサウンドトラック盤を聞いたりしています。
アンプは今後別のモノも試していきたいなと思っています。

作業には、LGの34WP60Cの曲面モニタと、TEX Shinobi USキーボードを使っています（会社では同型のJISキーボードを使っています）。
学生時代からトラックポイント付のキーボードをずっと使い続けてきたので、トラックボールマウスは大画面を動かすときにしか使いません。
クライアントPCはIntel N100搭載のミニPCで中身はUbuntu Desktop 22.04です。Windows依存のソフトウェアを触る際はRemminaでRDP越しにアクセスします。

アイルコンテインメント

せっかくデータセンターを運用する部署に配属されたのだから、データセンターっぽいことをDIYしてみよう。
ということで夏あたりからコソコソはじめたのが、アイルコンテインメント（※1）もどきのサーバルームです。

まだ仮設なので養生でかなり痛々しい造りになっていますが、もう少し綺麗になったらなと思っています。
この記事を作るにあたり社内の諸先輩方から沢山アドバイスをいただいたので実践してみたいなといったところです。

現在のおうちは、熱源となるIT機器も多くなく、夏場はカーテンでコールドアイルを作りますが、冬場はカーテンを開けそれらIT機器が室内の暖房機器になるようになってます。
夜間室内が寒くなる場合はカーテンを閉めてルーム内を蓄熱させています。

ちなみに人間の居住空間の場合、空調の参考となる労働安全衛生法における「事務所衛生基準規則」では、温度は17度以上から28度以下、湿度が40％以上から70％以下となっています。
IT機器の空調の場合、アメリカ暖房冷凍空調学会（ASHRAE）の技術委員会（TC）9.9が決めている「Thermal Guidelines」がそれに当たります。
「2021 Thermal Guidelines for Air Cooling」（※2）によれば、温度が18度から27度、湿度が露店温度–9度から15度（50%もしくは70%）となっています。
計算すると少なくとも湿度が15%から50%もしくは70%の相対湿度が必要になります。

12月に入ると空気も乾燥するため、温度だけでなく湿度も調整し、加湿器を起動させ、ルーム内は湿度を40-45%に収めるよう調整しています。
また完全密閉は防火上宜しくない為、密閉せず暖気は上部から排気する構成で進めています。つまり、サーバルーム内の空調管理のお裾分けを居住空間で頂いているような環境になっています。

今後は2021年のASHRAE基準でよいか、前の基準がよいかも吟味しつつ、部屋内の空調温度を考えていく予定です。
また、最近リリースされた小型の震度計測センサーや温湿度センサーを導入し、これを監視サーバに接続し、また赤外線通信可能な端末を用意することで空調や加湿器の自動投入といったことを考えています。

※１データセンターにあるサーバを効率よく冷やすため、給気側の冷気の空間と排気側の暖気の空間を区切る方式
※２ 2021 Equipment Thermal Guidelines for Data Processing Environments ASHRAE TC 9.9 Reference Card

構成

ラック構成は、まだ将来用スペースが多いのでほぼスカスカです。

GWルータは、アライドテレシス製のAR2050VとYAMAHA製のRTX810が務めています。近いうちに弊社ルータのSEIL/X1も仲間入りする予定です 🙂
また、NICが複数あるMini PCを購入したので、ホワイトボックス的なルータにしたいと思っています。

コアスイッチにはWS-C3750G-48TS-Sです。将来的にはコアは冗長にしつつ、おうちでSFPで遊べたらいいなと思っています。複数シャーシ上で論理構成や検証が組みやすいよう少ないポート数のSWを購入予定です。
最下段のPCは i9-7900X/RAM 128GBの母艦で、それ以外がNAS用途やHWお遊び機材となっています。
母艦PCには同期の中嶋さんからのオトク情報をいただいた際に購入したX540-T2 10GBASE-Tが刺さっています。中嶋さんありがとうございます。
（大人買いしてまだ余っているので母艦冗長化の際の直結とNAS強化にも使わせていただきます）

論理構成

いくつかVPSが生えています。
これは、大学時代にサークルの後輩が北欧にあるMinecraftサーバに繋ぐのに太平洋～大西洋周りで遅延が酷い！という話をしたことがキッカケで、中継サーバ経由でアジア周りで出来ないかということで試したものになります。各VPS間はZeroTierと呼ばれるオーバーレイネットワークで接続していて、jp01にあるMoonと呼ばれる管理サーバを立てて管理しています。

現在はZeroTierのまま使っていますが、今後はVXLAN/MPLS/EVPNなどの技術に置き換えていきつつコントロールできたらと思っています。

 

宅内はインターネット足からPPPoEで２セッション張っています。
最近、同期ふたりがHomeNOCでの運用をしているのを聞いて、インターネット接続ももう少し拡充したいなと思っています。
また現在はVRRP等は通してないのでゲートウェイの冗長もしないとなと思っています。

網内にはコアセグメント、サーバセグメント、開発セグメント、ワークスペースセグメントの4つが生えています。

コアセグメントはルータ直下のセグメントになります。
開発セグメントは普段の環境と分離するための環境で、サーバのテストや開発は一旦ここで実施します。
ワークスペースセグメントのみDHCP配布を許容しておりここにおうちの機器類が並んでいます。

サーバ足は、Redditで言うところの 「/r/selfhosted」なサーバを置いています。元々、大学時代に大学サークルに置いていたものをを自宅へ移行しています。この記事執筆中もスクラップ＆ビルドでサーバが増えています。
秋ごろから、HAProxyと、NginX Proxy Managerを用いて、リバースプロキシ経由で内部セグメントに入る仕組みにしており、あらかたのサーバはインターネットに出せるように修正しているといった状況です。

NginX Proxy Managerを紹介くださったIIJの技術研究所に所属するChristoff Visserさんありがとうございます（勝手にChristoffさんの記事を宣伝）。

• Network Automation powered by CI/CD（原文英語）
• CI/CD によるネットワーク管理の自動化（原文の日本語翻訳）

今後は自宅サーバを外側に出していくとともに公開FTPサーバ、NTPサーバのStratum 1化 、各所VPSには自分用のキャッシュサーバといったものをホストしたいなと思っています。
また、将来的にはおうちを郊外DCのようなサービス設備基盤と捉えインターネット足を増やしつつ、インターネット側からのアクセスで遅延が少ない経路や揺らぎが少ない経路、スループットが出やすい経路といった経路を判断し、各所GWからオーバーレイネットワークを利用して自宅にアクセスし、またインターネットアクセスを各所のGWを利用してつなげるといったことを考えていきたいなと思っています。

今後

おうち環境も段々と落ち着き、安定期に入ろうとしている段階です。
おうちで遊んだ内容がお仕事でも役立てば一石二鳥な訳ですので、そのインテグレーションをどうするか、上記のTODOも踏まえて、次年度の設備投資をどうしようかな、サーバの冗長化も考えなきゃなと日々ポンチ絵を書きつつ試行錯誤しています。
（今回は割愛しましたが、反対側の壁面には馬印の1800×900mm NV36壁掛ホワイトボードが掛かっておりそこでポンチおえかきしたりしています）

また、物理構成は高頻度な変更しないはずなのでdrawthenetを使って綺麗な図を書いておきたいなと思います。
（と、TODOがいっぱいで タスク管理アプリのVikunja には猛烈な勢いでタスクが載っていっています）

総括

2日間を通して9名のIIJの新卒エンジニアのおうちをご紹介しました。

ふと思いつきで企画した本企画ですが、かなりボリューム感の大きい、情報量の多い仕上がりになったと思っています。
私の他の同期の環境から様々な知見をいただくことができました。また社内でも触発されて諸先輩方のお話しをお聞きすることができ、とても勉強になりました。

この記事をキッカケに、IT問わず、色んなエンジニアさんからの
「こうしたらもっと面白いんじゃないか？」
「これやるなら、是非これもやってみてはいかがだろうか」
「僕もこれやってみようかな？」
といった議論や
「私の環境はこんな感じです」
といったお話が活発に行われれば幸いです。

以上、2日間ご高覧いただきありがとうございました。