データソース化する
つないだノードの SQL をデータソースとして登録し、nehan に取り込みます。SQLビルダーの出口にあたるノードです。
入出力
| ポート | 内容 |
|---|---|
| 入力データ | データ |
出力はありません。 このノードより下流にノードは置けません。
設定項目
- データソース名必須
- できるデータソースの名前。初期値は「新規データソース」で、入力欄には「例: 売上データ」と出ます。
- 階層設定
- 押すとフォルダを選ぶダイアログが開きます。どこに置くかを決めます。
- 出力場所
- いま選ばれているフォルダの経路。何も選んでいなければトップです。経路の名前を押すと、そのフォルダのデータソース一覧が別のタブで開きます。
実行ボタンは「実行」です。ほかの処理のノードにある「SQLの実行」「SQLの作成」は出ません。
実行すると何が起きるか
- 手前のノードまでの SQL が組み立てられ、読みやすい形に整えられます
- その SQL を中身に持つデータソースが作られます(すでにあれば更新されます)
- データソースの取り込みが走り、nehan 側にデータが入ります
- 「階層設定」で選んだフォルダへ移動します
できるデータソースは、SQLビルダーがつないでいるデータベースと同じ種類になり、同じ接続情報を使います。
階層は両方から動く
| 動かした側 | どうなるか |
|---|---|
| SQLビルダー側で「階層設定」を変える | すでにデータソースができていれば、その場で移動します。 まだ実行していなければ、実行したときに移動します |
| トップページでデータソースを移動する | ノードを開き直すと「出力場所」がその場所に変わります |
エラーと対処
どのエラーも、設定を直してノードを実行し直せば消えます。
Google BigQuery のロケーションが決まっていない
Google BigQuery につないだビルダーで実行すると出ることがあります。
接続設定で正しいロケーションを選択してください
直し方 — 接続情報でロケーションを選び直してください。
Google BigQuery の Storage API が off
Spark を使う契約で、Google BigQuery の Storage API が off のときに出ます。
接続設定でBigQuery Storage APIをonにしてください
直し方 — 接続情報で Storage API を on にしてください。
Google BigQuery の一時テーブル用データセットが決まっていない
Storage API を on にしたあと、一時テーブルの置き場所が決まっていないと出ます。
接続設定で一時テーブルを作成するデータセット名を選択してください
直し方 — 接続情報でデータセット名を選んでください。
入力がつながっていない
前のノードがつながっていないと出ます。
インプットが設定されていません
直し方 — データソースにしたいノードにつないでください。
接続情報が選ばれていない
接続情報を設定していない、または消えたときに出ます。
接続情報が設定されていません
直し方 — SQLビルダーの接続設定で接続情報を選び直してください。
よく使う例
1. 絞ったデータを取り込む
お題 — 大きなテーブルから今年のぶんだけ nehan に入れたい
入力 — 受注日 を持つ大きなテーブル
設定 — 条件で行を絞り込み → このノード
出力 — 絞ったあとの行だけを持つデータソース
2. 集計してから取り込む
お題 — 明細のままでは大きすぎる
入力 — 明細のデータ(店舗 受注日 売上)
設定 — データ集計 → このノード
出力 — 集計済みのデータソース
3. 先に大きさを見る
お題 — 何行取り込むのか知ってから実行したい
入力 — 取り込む予定のノードの出力
設定 — 同じノードにSQLの件数を確認するもつないで、先にそちらを実行する
出力 — 行数
4. 毎朝入れ替える
お題 — 取り込んだデータを自動で最新にしたい
入力 — 毎日増えるテーブル
設定 — このノードまで作ってからスケジューリング自動実行に登録する
出力 — 決めた時刻に作り直されるデータソース
5. 置き場所を分ける
お題 — 部署ごとのフォルダに入れたい
入力 — 取り込む予定のノードの出力
設定 — 「階層設定」で行き先のフォルダを選ぶ
出力 — そのフォルダの中にできるデータソース