Amazon S3
ノード上のデータを、Amazon S3 のバケットにファイルとして置きます。csv と parquet のどちらかを選べます。
データが大きいときは、Hyper nehanの速い処理で書き出せます。出し先を選ぶ一覧でも、この出し先には印が付きます。
ダイアログ内設定項目
- 接続情報必須
- Amazon S3 の接続情報を選びます。はじめは更新日がいちばん新しいものが入っています。一覧に出るのは、自分が参照できる接続情報だけです。
- バケット名必須
- 置き先のバケットの名前だけを入れます。
s3://nehan/node_log/2022-01-01.csvに置きたいならnehanです。s3://から始まる全体を入れるとエラーになります。変数を差し込めます。 - ファイル名必須
- バケット名から後ろを、拡張子を除いて入れます。
s3://nehan/node_log/2022-01-01.csvに置きたいならnode_log/2022-01-01です。拡張子は nehan が付けます。同じ名前のファイルがあると上書きします。変数を差し込めます。 - ファイルタイプ
- csv（既定）か parquet を選びます。parquet形式は小さくて読み込みが速いので、大きなデータに向きます。
- クオーティングを選択
- ファイルタイプが csv のときだけ出ます。値を
”で囲むかどうかを決めます。既定はデフォルトです。 - 圧縮タイプ
- ファイルタイプが parquet のときだけ出ます。snappy（既定）/ gzip / なし から選びます。
置かれるファイルの名前
入力したファイル名のうしろに、nehan が拡張子を足します。
| ファイルタイプ | 圧縮タイプ | ファイル名に node_log/data と入れたとき |
|---|---|---|
| csv | （出ません） | node_log/data.csv が 1 本 |
| parquet | snappy | node_log/data.0.snappy.parquet、node_log/data.1.snappy.parquet… |
| parquet | gzip | node_log/data.0.gz.parquet、node_log/data.1.gz.parquet… |
| parquet | なし | node_log/data.0.parquet、node_log/data.1.parquet… |
クオーティングの 4 つの違い
次の 1 行を書き出したときの、ファイルの中身の違いです。性別と年齢 の値にカンマが入っているところを見てください。
| ID | 性別と年齢 | 都道府県 |
|---|---|---|
| 1 | 男,20代 | 東京 |
デフォルト — 区切りのカンマや改行が入っている値だけを " で囲みます。
ID,性別と年齢,都道府県1,"男,20代",東京すべて — 見出しも値も、全部 " で囲みます。
"ID","性別と年齢","都道府県""1","男,20代","東京"数値以外 — 数値でないものだけを " で囲みます。
"ID","性別と年齢","都道府県"1,"男,20代","東京"なし — どれも囲みません。
ID,性別と年齢,都道府県1,男,20代,東京エラーと対処
どのエラーも、直すのは「設定の編集」ダイアログか接続情報の画面です。
バケット名が空
バケット名を入れずに実行したときに出ます。
設定の編集で、出力先のバケット名を入力してください。
直し方 — バケットの名前だけを入れます。
ファイル名が空
ファイル名を入れずに実行したときに出ます。
設定の編集で、出力先のファイル名を入力してください。
直し方 — バケット名から後ろを入れます。
バケット名の形がおかしい
s3:// を含む文字列など、バケット名として使えない字が入っていたときに出ます。
入力したバケット名 s3://nehan が不正です。バケット名以外が入力されていないか、不正な文字が入っていないかご確認ください。
直し方 — バケットの名前だけを残します。フォルダはファイル名のほうに書きます。
ファイル名がフォルダとして扱われた
ファイル名の末尾が / になっているときに出ます。
ファイル名がフォルダとして認識されています。拡張子をつけた適当なファイル名を入力するか、ファイル名の末尾が / で終わっていないかご確認ください。入力: node_log
直し方 — 末尾の / を消して、ファイルの名前まで書きます。
バケットがない
入力した名前のバケットが見つからないときに出ます。
指定されたバケットが存在しません。
直し方 — バケット名の綴りと、接続情報のアカウントがそのバケットを見られるかを確かめます。
アクセスキーが無効
接続情報のアクセスキーが使えないときに出ます。
接続情報が不正です。AWSアクセスキーが無効です。有効期限が切れていないか、またはキーが正しく入力されているか確認してください。
直し方 — 接続情報を開き、アクセスキーを入れ直します。
秘密鍵が合わない
接続情報のシークレットキーが合わないときに出ます。
接続情報が不正です。秘密鍵が正しくありません。正しい秘密鍵ファイルの内容が設定されているか確認してください。
直し方 — 接続情報を開き、シークレットキーを入れ直します。
アップロードで止まった
上のどれにも当てはまらない理由で、置けなかったときに出ます。書き込みの権限がない場合もここに入ります。
アップロード中にエラーが発生しました。: AccessDenied
直し方 — コロンの後ろに出ている理由を見ます。AccessDenied なら、接続情報のアカウントにそのバケットへの書き込みを許してもらいます。理由が取れなかったときは、次の短い文だけが出ます。
アップロード中にエラーが発生しました。
変数が見つからない
名前に $ で変数を書いたが、その名前の変数がないときに出ます。
変数: 対象日が設定されていないため処理を中断しました。
直し方 — 変数の名前を見直すか、プロジェクトに変数を追加します。$ で始めて書いた語は、すべて変数として扱われます。