コンテンツにスキップ

parquet形式

大きなデータを扱うためのファイル形式です。拡張子は .parquet です。

CSV や Excel との違い

項目CSV / Excelparquet
読み書きの速さ遅い速い
ファイルの数1 つ1 つ。ほかのシステムでは複数に分かれることが多い
そのまま開けるか開ける専用のソフトが要る
型の情報持たない持つ

nehan が書き出すときは、分けずに 1 つのファイルにまとめます。 parquet は大きなデータを前提にした形式なので、ほかのシステムでは小さなファイル(パーティション)に分けて保存するのが普通です。ほかで作られた parquet を読むときは、分かれていることがあります。

nehan のどこに出てくるか

読み込む

ファイル系のデータタイプで読み込めます。複数に分かれていても複数ファイル一括読み込みでまとめて取り込めます。

書き出す

次のエクスポート先で parquet を選べます。

エクスポート先行き先
Amazon S3Amazon S3
Google Cloud StorageGoogle Cloud Storage
OneDriveOneDrive

向いている使い方

やりたいことparquet が向くか
nehan の間でデータを受け渡す向く(型が崩れない)
スナップショットデータを日々ためる向く(速くて小さい)
人に送って Excel で開いてもらう向かない(CSV にする)

よくある勘違い

関連