parquet形式
大きなデータを扱うためのファイル形式です。拡張子は .parquet です。
CSV や Excel との違い
| 項目 | CSV / Excel | parquet |
|---|---|---|
| 読み書きの速さ | 遅い | 速い |
| ファイルの数 | 1 つ | 1 つ。ほかのシステムでは複数に分かれることが多い |
| そのまま開けるか | 開ける | 専用のソフトが要る |
| 型の情報 | 持たない | 持つ |
nehan が書き出すときは、分けずに 1 つのファイルにまとめます。 parquet は大きなデータを前提にした形式なので、ほかのシステムでは小さなファイル(パーティション)に分けて保存するのが普通です。ほかで作られた parquet を読むときは、分かれていることがあります。
nehan のどこに出てくるか
読み込む
ファイル系のデータタイプで読み込めます。複数に分かれていても複数ファイル一括読み込みでまとめて取り込めます。
書き出す
次のエクスポート先で parquet を選べます。
| エクスポート先 | 行き先 |
|---|---|
| Amazon S3 | Amazon S3 |
| Google Cloud Storage | Google Cloud Storage |
| OneDrive | OneDrive |
向いている使い方
| やりたいこと | parquet が向くか |
|---|---|
| nehan の間でデータを受け渡す | 向く(型が崩れない) |
| スナップショットデータを日々ためる | 向く(速くて小さい) |
| 人に送って Excel で開いてもらう | 向かない(CSV にする) |