JSON ファイルを CSV ファイルに変換したい

【IIJ 2017TECHアドベントカレンダー 12/6（水）の記事です】

JSON ファイルを CSV ファイルに変換したい

異なったサービスやアーキテクチャ間でデータをやり取りをしたいときに、JSON 形式を使うことはよくある話です。構造化されたデータを適切に表現するのにもってこいですし、大規模運用に欠かせない Elasticsearch も一瞬で JSON 形式の結果を返してくれます。

しかし、この JSON 形式、何らかの理由があって目で紐解こうとすると厄介です。大変読みにくいのです。
巷にある jq コマンドなどで、ある程度の整形は可能ですが、目が JSON フィルタになっている職人はさておき、ネストしている開きカッコに対応する閉じカッコを探したり、運用でよくあるワンライナーでサクッと処理したいときに苦労します。

できれば 1要素 1行で処理したい。可能なら、みんな大好きな CSV で見たい。
そんなとき、csvkit を使うと便利です。

例えば、こんな JSON ファイルが転がっているとします。

$ cat sample.json
[
    {
        "_id": 22,
        "item": "ラムネ",
        "fields": {
            "arrival": "2017-12-06T16:03:26+09:00",
            "yen": 70,
            "content_type": "糖菓子"
        }
    },
    {
        "_id": 23,
        "item": "ポテトチップス小袋",
        "fields": {
            "arrival": "2017-12-06T16:12:11+09:00",
            "yen": 60,
            "content_type": "スナック菓子"
        }
    },
    {
        "_id": 24,
        "item": "うまい棒",
        "fields": {
            "arrival": "2017-12-06T11:40:00+09:00",
            "yen": 10,
            "content_type": "スナック菓子"
        }
    }
]

これを CSV 形式に変換するには、csvkit に含まれる in2csv コマンドを使います。

$ in2csv sample.json
_id,item,fields/arrival,fields/yen,fields/content_type
22,ラムネ,2017-12-06T16:03:26+09:00,70,糖菓子
23,ポテトチップス小袋,2017-12-06T16:12:11+09:00,60,スナック菓子
24,うまい棒,2017-12-06T11:40:00+09:00,10,スナック菓子

すごい！ 便利すぎて鼻血が出そうです！
これなら Excel が大好きな、あの人にも一発で提出できます。こんな風にね。

Excel ファイルも CSV にしたい

ところで Excel といえば、お客様のポリシー上の理由で、送付されてくるファイルが全て Excel 形式であることがあります。

しかし、我々は運用エンジニア。1日のほとんどをターミナル内で過ごしていますし、昨今の標的型攻撃にしかり、ときには危ないコンテンツが含まれているかもしれません。そんなとき in2csv コマンドが使えます。なんと in2csv は Excel ファイルも読めるのです！

サンプルとして、今年から M2M (Machine to Machine) サービス専用として運用が開始された、020 番号の割当状況を in2csv で読み込んでみます。本資料は総務省で公開されている「電気通信番号指定状況」の「4. M2M等専用番号（020）」から入手できます。

$ in2csv --skip-lines 4 --no-inference 000477281.xls | head -n 20
番号,０,１,２,３,４,５,６,７,８,９
02010,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02011,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ
02012,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク
02013,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク,ソフトバンク
02014,ソフトバンク,ソフトバンク,ソフトバンク,,,,,,,
02015,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02016,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02017,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02018,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02019,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02020,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02021,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02022,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ
02023,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,ＮＴＴドコモ,,,
02024,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ
02025,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ
02026,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ
02027,ＫＤＤＩ,ＫＤＤＩ,ＫＤＤＩ,沖縄セルラー電話,,,,,,
02028,,,,,,,,,,

わお！ 素晴らしい！ このデータの再利用を全く考慮していない Excel ファイルも、たちまち何やら使えそうな形式になりました!!

ところで、鼻血を出していて忘れていましたが、我々は CSV 職人ではありませんので、ターミナルで Excel っぽく見たくなったとします。

$ in2csv --skip-lines 4 --no-inference 000477281.xls | csvlook --no-inference | head -n 21 | column -s '|' -t
   番号       ０              １              ２              ３                  ４              ５              ６              ７              ８              ９
   -----      ------          ------          ------          --------            ------          ------          ------          ------          ------          ------
   02010      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02011      ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ            ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ
   02012      ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク        ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク
   02013      ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク        ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク    ソフトバンク
   02014      ソフトバンク    ソフトバンク    ソフトバンク
   02015      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02016      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02017      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02018      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02019      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02020      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02021      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02022      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02023      ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ        ＮＴＴドコモ    ＮＴＴドコモ    ＮＴＴドコモ
   02024      ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ            ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ
   02025      ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ            ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ
   02026      ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ            ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ
   02027      ＫＤＤＩ        ＫＤＤＩ        ＫＤＤＩ        沖縄セルラー電話
   02028

見える！ 見えるぞ！

インストール

インストールはかんたん。Python が入っている環境なら、pip コマンドを一発叩くだけです。

# pip install csvkit

まとめ

入力されるデータが不定であったり、サクッと行処理したいときに、このように小回りできるツールが手元にあると大変便利ですね。

Excel ファイルの扱いについては、「一度、Excel で開けば CSV にできるじゃん」という声も聞こえてきそうですが、csvkit と他のツールを組み合わせることで in2csv を強力なフィルタとして使うこともできます。

また、今回は触れなかった csvcut で特定の列のみを抽出したり、csvjoin で複数の CSV ファイルを横に結合したり、csvsql で CSV ファイルを RDB のテーブルに見立てて、そのまま PostgreSQL に挿入できる形式に変換するといった、CSV マニアにはたまらない機能があります。ぜひ触れてみてください。

補足

冒頭で触れた Elasticsearch の出力は、キーがネストされる場合があります。JSON 形式としては valid なのですが、現状の in2csv コマンドでは対応できないため、jq コマンドなどで前処理してあげる必要があるかもしれません。例えば、このような感じです。

jq .${keyname1}.${keyname2} < sample2.json | in2csv --format json > sample2.csv