コンテンツにスキップ

データソース化する

つないだノードの SQL をデータソースとして登録し、nehan に取り込みます。SQLビルダーの出口にあたるノードです。

入出力

ポート内容
入力データデータ

出力はありません。 このノードより下流にノードは置けません。

設定項目

データソース名必須
できるデータソースの名前。初期値は「新規データソース」で、入力欄には「例: 売上データ」と出ます。
階層設定
押すとフォルダを選ぶダイアログが開きます。どこに置くかを決めます。
出力場所
いま選ばれているフォルダの経路。何も選んでいなければトップです。経路の名前を押すと、そのフォルダのデータソース一覧が別のタブで開きます。

実行ボタンは「実行」です。ほかの処理のノードにある「SQLの実行」「SQLの作成」は出ません。

実行すると何が起きるか

  1. 手前のノードまでの SQL が組み立てられ、読みやすい形に整えられます
  2. その SQL を中身に持つデータソースが作られます(すでにあれば更新されます)
  3. データソースの取り込みが走り、nehan 側にデータが入ります
  4. 「階層設定」で選んだフォルダへ移動します

できるデータソースは、SQLビルダーがつないでいるデータベースと同じ種類になり、同じ接続情報を使います。

階層は両方から動く

動かした側どうなるか
SQLビルダー側で「階層設定」を変えるすでにデータソースができていれば、その場で移動します。 まだ実行していなければ、実行したときに移動します
トップページでデータソースを移動するノードを開き直すと「出力場所」がその場所に変わります

エラーと対処

どのエラーも、設定を直してノードを実行し直せば消えます。

Google BigQuery のロケーションが決まっていない

Google BigQuery につないだビルダーで実行すると出ることがあります。

接続設定で正しいロケーションを選択してください

直し方 — 接続情報でロケーションを選び直してください。

Google BigQuery の Storage API が off

Spark を使う契約で、Google BigQuery の Storage API が off のときに出ます。

接続設定でBigQuery Storage APIをonにしてください

直し方 — 接続情報で Storage API を on にしてください。

Google BigQuery の一時テーブル用データセットが決まっていない

Storage API を on にしたあと、一時テーブルの置き場所が決まっていないと出ます。

接続設定で一時テーブルを作成するデータセット名を選択してください

直し方 — 接続情報でデータセット名を選んでください。

入力がつながっていない

前のノードがつながっていないと出ます。

インプットが設定されていません

直し方 — データソースにしたいノードにつないでください。

接続情報が選ばれていない

接続情報を設定していない、または消えたときに出ます。

接続情報が設定されていません

直し方 — SQLビルダーの接続設定で接続情報を選び直してください。

よく使う例

1. 絞ったデータを取り込む

お題 — 大きなテーブルから今年のぶんだけ nehan に入れたい

入力 — 受注日 を持つ大きなテーブル

設定 — 条件で行を絞り込み → このノード

出力 — 絞ったあとの行だけを持つデータソース

2. 集計してから取り込む

お題 — 明細のままでは大きすぎる

入力 — 明細のデータ(店舗 受注日 売上)

設定 — データ集計 → このノード

出力 — 集計済みのデータソース

3. 先に大きさを見る

お題 — 何行取り込むのか知ってから実行したい

入力 — 取り込む予定のノードの出力

設定 — 同じノードにSQLの件数を確認するもつないで、先にそちらを実行する

出力 — 行数

4. 毎朝入れ替える

お題 — 取り込んだデータを自動で最新にしたい

入力 — 毎日増えるテーブル

設定 — このノードまで作ってからスケジューリング自動実行に登録する

出力 — 決めた時刻に作り直されるデータソース

5. 置き場所を分ける

お題 — 部署ごとのフォルダに入れたい

入力 — 取り込む予定のノードの出力

設定 — 「階層設定」で行き先のフォルダを選ぶ

出力 — そのフォルダの中にできるデータソース

関連