Parquetファイル
Parquet ファイルを読み込むときに使える設定を説明します。ファイルタイプで parquet を選んでいるときだけ出る項目です。
対応ファイル形式
| 拡張子 | 中身 |
|---|---|
.parquet | 列ごとにまとめて保存する形式。列の型と列名をファイル自身が持つ |
ファイルの中で圧縮されているので、圧縮形式を指定する必要はありません。
設定項目
この形式専用の設定はありません。 文字コードも区切り文字も、ファイル自身が持っているため指定する欄が出ません。
このファイルタイプで出る項目
| 項目 | 出るか |
|---|---|
| 読み込む列を指定する | 出る |
| 列にファイル名を追加する / 列にフォルダ名を追加する | 出る |
| 文字コード / 区切り文字 / 圧縮形式 | 出ない |
| 先頭から行数をスキップし以降を読み込む | 出ない |
| 各ファイルから読み込む行数を指定する | 出ない |
| 1行目を列名として扱う | 出ない（形式が列名を持つため） |
読み込まれ方
- 列の型はそのまま残ります
- 整数・小数・文字列などの型はファイルに書かれているものがそのまま使われます。データソースの列型変更で後から変えられます。
- 真偽値だけは文字列になります
- Parquet の boolean 型の列は、
true/falseという小文字の文字列として読み込まれます。1 と 0 にはなりません。0 と 1 で扱いたいときは、読み込んだあと分析プロジェクトの列の値を置き換える処理で変えてください。 - 時差を持つ日時は世界標準時にそろえられます
- 時差の情報を持った日時の列は、すべて協定世界時（UTC）に直してから読み込まれます。時差の違う列が混ざっていても、読み込み後は同じ基準になります。
- 入れ子や配列は文字列になります
- 入れ子になった値や配列は、JSON の書き方の文字列として 1 つのセルに入ります。中の値を取り出すには、読み込んだあと分析プロジェクトのJSON列を展開するを使います。
よく使う例
1. 列の多いファイルから必要な列だけ取る
| 見るところ | 中身 |
|---|---|
| お題 | 200 列ある行動ログのうち、分析に使うのは 5 列だけ |
| 入力 | logs/2024-01.parquet |
| 設定 | 読み込む列を指定するを ON にし、列選択方法を列名で指定するにして user_id,event,ts,page,amount と入れる |
| 出力 | 5 列だけが読み込まれ、取り込むデータが小さくなる |
2. 分析プロジェクトの出力を取り込み直す
| 見るところ | 中身 |
|---|---|
| お題 | 前の分析で書き出した parquet を、別のプロジェクトの入力にしたい |
| 入力 | ストレージに書き出した result.parquet |
| 設定 | ファイルタイプで parquet を選び、ほかは何も変えない |
| 出力 | 書き出したときの列名と型のまま読み込まれる |
3. 月ごとに分かれた parquet をまとめる
| 見るところ | 中身 |
|---|---|
| お題 | 2024-01.parquet 〜 2024-12.parquet を 1 つのデータソースにしたい |
| 入力 | 12 個の parquet ファイル |
| 設定 | ファイルキーに前方一致する文字列を入れて複数ファイル一括読み込みにする。列にファイル名を追加するも ON にする |
| 出力 | 12 ファイルが縦につながり、末尾にファイル名の列が付く |
関連
CSV/TSV/Textファイル ほかの形式
Excelファイル ほかの形式
JSONファイル ほかの形式
読み込む列を指定する 列を絞る
画面構成(ファイル系データソース) 画面のどこにあるか
ファイル読み込みの仕様補足 扱えるファイル
parquet形式 parquet とは何か