Amazon S3

Amazon S3 上のファイルを、データソースとして登録できます。

必要な情報

接続情報(必須)

Amazon S3 必要な情報は以下の通りです。

バケット(必須)

S3 のバケット名を入れます。s3://nehan/node_log/2022-01-01.csv を対象にするなら、nehan がバケットです。

ファイルキー(必須)

バケット名より後ろの部分を入れます。

1 ファイルを指定する場合

s3://nehan/node_log/2022-01-01.csv を対象にするなら、node_log/2022-01-01.csv がファイルキーです。

複数ファイルを一括で指定する場合

前が一致するファイルがまとめて対象になります。 node_log/2022-01 と入れれば、次のファイルがすべて取り込まれ、縦に積まれて 1 つのデータソースになります。

node_log/2022-01-01.csv
node_log/2022-01-02.csv
node_log/2022-01-03.csv
...

列の並びが違っていてもまとめられます。詳しくは複数ファイル一括読み込みを見てください。

サフィックス(任意)

ファイルキーで絞り込んだファイルを、さらに後ろの字で絞ります。 .csv と入れれば、.csv で終わるファイルだけが対象になります。拡張子でなくてもよく、_jp.csv のような書き方もできます。

空のままだと絞り込みません。ファイルキーの下に読めない形式のファイルが混ざっているときは、ここで外しておくとエラーを防げます。

末尾が / のもの（フォルダそのもの）は、いつも対象から外れます。

差分読み込み

画面の右上にある差分読み込みのスイッチで切り替えます。チェックボックスではありません。入れると、前回読み込んだファイルは読み直さず、増えたファイルだけを読み足します。隣の読み込み済みファイルを押すと、これまでに読み込んだファイルの一覧と、それぞれの読み込み日時が見られます。

データソースの更新差分読み込みの使いどころと具体例

うまくいかないとき

バケットがない、または名前が使えない

バケットに入れた名前が S3 側にないときや、S3 の名前の決まりに合っていないときに出ます。

指定されたバケットが見つかりません。バケット名が正しいか確認してください。

直し方 — バケット名の綴りを確かめてください。s3:// や末尾の / は入れません。

アクセスキーが無効

接続情報のアクセスキーが期限切れか、書き間違っているときに出ます。

接続情報が不正です。AWSアクセスキーが無効です。有効期限が切れていないか、またはキーが正しく入力されているか確認してください。

直し方 — AWS で新しいアクセスキーを作り、接続情報（Amazon S3）を作り直してください。

S3 とのやり取りが失敗した

S3 からの応答が正常ではなかったときに出ます。設定の誤りではありません。

S3との通信に失敗しました。しばらく待ってから再度お試しください。

直し方 — しばらく待ってからもう一度読み込んでください。

権限が足りない

そのバケットを読む権限がないときに出ます。

アクセスが拒否されました。アクセス権限をご確認ください。

直し方 — IAM で、接続情報に使っているユーザーまたはロールにバケットの読み取り権限を付けてください。

1 件も見つからない

ファイルキーとサフィックスの両方に当てはまるファイルが 1 つもないときに出ます。

一致するファイルが見つかりませんでした。読み込むファイルの設定を確認してください。

直し方 — ファイルキーを短くして範囲を広げるか、サフィックスを空にして確かめてください。

推定した文字コードで読めなかった

文字コードを指定せずに読み込み、中身が推定と合わなかったときに出ます。

推定した文字コード "{{encoding}}" での読み込みに失敗しました。別の文字コードをお試しください。

直し方 — CSV/TSV/Textファイルの文字コードを指定するを ON にして、utf8 や cp932 を自分で入れてください。