一般のご家庭に1PB(1000TB)のHDD

【IIJ 2023 TECHアドベントカレンダー 12/11の記事です】

こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。

ふとしたことから、自宅に大容量の記憶媒体が欲しくなる時があるかと思います。
最近では、単体で22TBなHDDや、30.72TBなSSDなど、ラックマウントサーバ的な物を使わなくても、大容量が準備しやすい時代になりました。

ただ、1PB(1000TB)を目指した際に、意外とつまずきポイントがあったので、今回ご紹介させて頂きます。
今後、ご自宅に1PB(1000TB)を置かれる際の参考になれば幸いです。

１．USB接続の限界

簡単にHDDを接続する方法、まず思いつくのはUSB接続ではないでしょうか？

 

USB接続のHDDケースは、1接続でHDDを1～10台程度まで接続可能な製品があり、100TB程度であれば非常に簡単に到達できます。
1PB(1000TB)も無理のない範囲です。
※8bayモデルでコンパクトな製品を見つけたので 、16TBのHDD8台を8ケース、USBポートにたった8個つなぐだけで1024TBになるなら、これは楽勝だなと考えていました

ところがどっこい、USB接続はHDDが増えていくと、みるみる不安定になっていき、20台を超えたころには、OSの起動すらまともにできなくなりました。

OS起動前にあらかじめUSBケーブルは抜いておき、OS起動後に接続といった方法で回避もできましたが、認識した後も、結局何かのタイミングで接続と切断を繰り返す状態に陥ったりと、とてもまともに利用できる状況ではなく、USB接続構成は断念しました。

２．eSATA沼へようこそ

 

USB接続の8Bayケースですが、実はeSATAにも対応しており「もしかしてこれを使えば解決できるのでは？」と安易に考えてしまったのですが、これが沼の始まりでした…。
※ USBとeSATAに両対応しているHDDケースは意外と多いです

３．SATAカード探し、PMP(Port Multiplier)対応がポイント

eSATAはUSB接続の高速化に伴いかなり下火のようで、ほぼ情報が無く、接続用のPCIeカードは複数購入して、試す事になりました。

しかし、最初は安価なものを購入するも、当然のように8台のHDDは認識してくれませんでした。
※完全なノーブランドから、そこそこ名の知れたブランドの製品も何点か試しましたが、5台以上は認識してくれません

これは、SATA1本で8台のHDDを認識するのにPMP(Port Multiplier)対応が必要ですが、一般的に出回っているPMPは5分岐の物しかなく、多くの製品はSATA1本あたり5台までしか想定されていないようです。

4．SAS/SATAカード ARECA ARC-1320

最初に8台のHDDをPMP接続で利用できたのがARECA ARC-1320でした。

流石ブランド品といったところで、サクッと認識してくれたものの、ドライバはコンパイルしてインストールが必要、さらに価格も結構高めで、好みが分かれるところです…。

また、こちらも結局HDDが40台を超えたころから安定しなくなりました。
※SATA1本でHDDを8台きちんと認識してくれますが、コントローラ全体の8chに対して、1chあたりPMPで5台接続した時の合計40台が、全体の上限想定になってそうな雰囲気です、惜しい

5．PCIe SATA コントローラ JMicron JMB585

最終的に行きついたのが、JMB585コントローラ搭載品です。

こちらのコントローラが搭載されたカードは山ほどあるので、多少の当たりはずれはありそうですが、PMPの認識については、この上なく良好でした。
それもそのはず、なんと1コントローラあたり75 HDDまでPMP経由で利用できる設計になっているようです。

また、ドライバもLinux標準でサクッと動き、価格も非常に安価でした。
※価格分、ARC-1320より絶対的な性能ではやや劣る所もありますが、HDDの接続で考えれば許容できなくない程度です

6．あとはつなぐだけ

JMB585コントローラは5chなので、2枚カードを購入し、最終的には以下の構成になりました。

▼PCIeカード/HDDケース/ケーブル類

• ノーブランド JMB585 PCIe カード 2枚
• Logitec LHR-8BNHEU 7台
• Logitec LHR-4BNHEU3 2台
• ノーブランド 4bay eSATA スタンド 1個
• SATA 延長 eSATA 変換ケーブル 10本

eSATAケーブルは、スマートにSFFコネクタに変換して、ケースから引っ張り出す物なども試しましたが、あれも大変な沼でした。単純に、延長ケーブルタイプの商品でeSATAにするのがオススメです。
※実は SFF <-> SATA 分岐は向きがあったりします

▼HDD

• 8TB 3本 (Samsung)
• 14TB 12本 (TOSHIBA / WD)
• 16TB 12本 (TOSHIBA / WD)
• 18TB 32本 (TOSHIBA / Seagate)
• 20TB 8本 (Seagate)

容量がまばらなのは、最初16TBで初めるも、途中18TBに浮気をし、平均16TBで良いからと安価な14TBに手を出すも、微妙に足り無さそうで慌てて20TBを導入、といった流れです。
※8TBは無謀にも最初期にフルフラッシュにしようとしてた名残です

そして合計は、1,093,642,233,856byteになります！
※おや…?たしかに1PBはあるけど、1018TiBだから0.994PiBしか無いようｎ(粛清されました

7．こうした方が良かったかも？

てことで、無事に構築完了しましたが、最後に振り返ってみると、
HDDケースのLHR-8BNHEUではなくて、JMB575のPMPを利用した方が楽しかったかもしれません。
※これは、最終的にJMB585コントローラにたどり着いたからこそではありますが
※HDDケースは綺麗にまとまるのは良い点ですが、昨今は円安影響などで価格高騰しているのがマイナスポイントです

また、JMB575のPMPはカスケード接続が出来るというのも良いです。

耐障害性を考えなければ、とても取り回しが楽になります。
※JMB585の75台対応は、搭載の5chに、JMB575のPMPをカスケード接続して、1chあたり15台HDDを接続することで実現します
※私は、JMB585のPCIeカードを2枚準備しましたが、JMB575のPMPであれば、PCIeカード1枚でも1PB(64DISK想定)に出来ます

注意事項としては、HDDは冷却があった方が良いので、FAN取り付け可能なHDDフレームを使い、PMPと組み合わせるのが良いと思います。
HDD直置き、ダメ。ゼッタイ。
※ほぼ無風みたいな静音ファンでも、有りと無しでは雲泥の差です

PMPのカスケード接続は機会があれば試してみたいところですが、もう私は完全に燃え尽きました。
※精神的にも口座的にも…
この記事を読んだ方の中から、JMB575のPMPカスケード接続による1PBレポートが出てくるのを楽しみに、余生を過ごしたいと思います。