データソースの更新
データソースの更新方法を説明します。
更新とは、御社内で保有するデータとデータソース内に保存されたデータを同期することを指します。
データソースページ内での更新
作成済みのデータソースページで読み込んで保存もしくはSQLを実行して保存をクリックすることで、データソースを更新できます。
分析プロジェクトページからの更新
分析プロジェクトのデータの読み込みノードでデータソースを更新して読み込むを ON にしてノードを実行すると、データソースの更新とノードの実行が一度に行われます。
一度も読み込みに成功していないデータソースは、この設定が OFF でも更新されます。 中身が空のままでは読めないためです。読み込み済みのデータソースは、ON にしたときだけ更新されます。
SQLビルダーからの更新
データソースが SQLビルダーで作成された場合、SQLビルダー内のデータソース化するノードを再実行することでデータソースを更新できます。
スケジューリング機能を使用した更新
更新するデータソースを実行対象としてスケジュールに設定し、実行することでデータソースを更新できます。
差分読み込み
データソースの画面の右上にあるスイッチです。 チェックボックスではありません。入れておくと、更新のときに前回より増えたファイルだけを読み、すでに読んだぶんはそのまま残します。ファイルが毎日増えていくような置き場で、更新にかかる時間を短くできます。
切り替えると「差分読み込みを有効化しました」または「差分読み込みを無効化しました」と出ます。
隣の読み込み済みファイルを押すと、これまでに読み込んだファイルの一覧（件数と読み込み日時）が出ます。
使えるデータタイプ
8 つだけです。ストレージからファイルを取ってくるタイプに限られます。
| 使える | 使えない |
|---|---|
| Amazon S3 / Google Cloud Storage / Azure Blob Storage / Google Drive / OneDrive / SharePoint / SFTP / Fabric OneLake Files | ファイルアップロード / Google スプレッドシート / Fabric OneLake Delta Table / データベース系すべて / その他サービスすべて |
使えないデータタイプでは、スイッチ自体が画面に出ません。
見ているのはファイル名だけ
すでに読み込んだファイルの中身が書き換わっても、読み直しません。 読み込み済みの一覧にある名前と同じファイルは、更新のたびに読み込みの対象から外れます。
中身が書き換わるファイルを扱うときは、スイッチを切って全部を読み直してください。
読み込みオプションを変えた回は全件読み直しになる
スイッチが入っていても、読み込みオプションやデータ調整オプションを 1 つでも変えた回は、すべてのファイルを読み直します。 変えた設定を前に読んだぶんにも当て直す必要があるためです。
スイッチは入ったままなので、次の更新からはまた差分に戻ります。「オプションを変えたのに古い行に反映されない」ということは起きません。
具体例
Amazon S3 に次のファイルが置いてあるとします。
/data/ ├── sales_202401.csv ├── sales_202402.csv └── sales_202403.csvはじめの読み込みでは 3 つとも読み込まれ、データソースに保存されます。
翌月、ファイルが 1 つ増えたとき
/data/ ├── sales_202401.csv ← 読み込み済み ├── sales_202402.csv ← 読み込み済み ├── sales_202403.csv ← 読み込み済み └── sales_202404.csv ← 新しいファイル差分読み込みを入れて更新すると、sales_202404.csv だけが読まれ、前のデータの下に足されます。
sales_202403.csv の中身を直したときは、名前が同じなので読み直されません。反映するには、スイッチを切って更新してください。