分析するデータを配置する
分析プロジェクトの出発点になるノードです。データソース・中間データ・サンプルデータの中から、処理するデータを選びます。
入力ポートはありません。ワークフローはこのノードから始まります。
入出力
| ポート | 内容 |
|---|---|
| 出力データ | データ |
Spark エンジンでは動きません。
設定項目
データを選ぶと、選んだものに合わせて次の項目が並びます。出ない項目があるのは正常です。
- データ名
- 選んでいるデータの名前。右のアイコンを押すと、そのデータソースの画面が別のタブで開きます。サンプルデータと中間データ、権限のないデータにはアイコンが出ません(開いても何もできない画面に着くため)。
- 種類
- そのデータの取り込みかた(ファイル、Google BigQuery など)。中間データのうち機械学習モデルを渡しているものは 機械学習モデル と出ます。
- カテゴリ
- データソース(自社で登録したもの)/中間データ(別のワークフローの出力)/サンプルデータ(nehan が配っているもの)のどれか。選択画面のタブ名とは少しだけ違います(タブは「データソース」「中間データ」「サンプル」)。
- 作成日
- そのデータが作られた日。最後に取り込んだ日ではありません。
- エクスポートノードへジャンプ
- 中間データを選んでいるときだけ出るボタン。押すと、そのデータを書き出している側のワークフローのノードが選ばれます。
- データソースを更新して読み込む
- on にすると、実行のたびに元のデータを取り込み直してから読みます。アップロードした CSV と中間データには出ません(取り込み直す先がないため)。
- クエリ
- SQL を書いて取り込むタイプのデータソース(PostgreSQL、Google BigQuery、Amazon Athena、Snowflake など)のときだけ、登録してある SQL が出ます。ここでは直せません。
- 別のデータを選択
- 押すとデータの選択画面が開き、読み込むデータを変えられます。まだ何も選んでいないノードでは データソースを選択 と出ます。
選択画面に出る印
- 循環参照になるため選択できません
- この印が付いた行だけは選べません。そのワークフローの出力を、同じワークフローの入り口に戻そうとしています。
- すでに分析プロジェクト内で読み込まれています
- 同じデータを同じプロジェクトで既に読んでいる印です。選ぶこと自体はできますが、二重に読む必要がなければ、既にあるノードにつなぎ直してください。
取り込みが失敗しているデータは、名前の左の状態の印が赤くなります。これも選ぶこと自体はできるので、先にデータソースの画面で直してから選び直してください。
読めなくなったとき
データソースを消されたときや権限を外されたときは、データ名や種類などの代わりにお知らせが出ます。
読み込んでいるデータソースは削除されています。
読み込んでいるデータソースに権限がありません。
直し方 — 「別のデータを選択」で読めるデータに差し替えるか、そのデータソースの権限をもらってください。
エラーと対処
このノード自体はエラーを出しません。 実行が止まるのは、取り込み元のデータソース側で失敗したときです(接続できない、SQL が通らない、ファイルの形が違う、など)。出るメッセージと直し方はデータの種類ごとにデータソースからたどれます。
「データソースを更新して読み込む」を on にしていると、実行のたびにこの取り込みが走るので、元のデータの側が落ちていればこのノードで止まります。
よく使う例
1. 登録済みのデータソースから始める
お題 — 作成済みのデータソースを分析の出発点にしたい
入力 — なし(このノードに入力ポートはありません)
設定 — 「データソースを選択」を押し、選択画面の「データソース」タブから選ぶ
出力 — そのデータソースの中身がそのまま後続に流れます
2. 定期実行で毎回最新のデータを使う
お題 — 毎朝の実行で、そのときの最新の売上を読みたい
入力 — なし
設定 — 売上のデータソースを選び、「データソースを更新して読み込む」を on
出力 — 実行した時点の最新のデータ。毎回取り込み直すので実行時間は延びます
3. 別のワークフローの結果を使う
お題 — 前処理まで終わったデータを、別のプロジェクトで使い回したい
入力 — なし
設定 — 選択画面の「中間データ」タブから、データをエクスポートするで書き出したものを選ぶ
出力 — 書き出した時点のデータ。「エクスポートノードへジャンプ」で作っている側に戻れます
4. 試すためにサンプルデータを読む
お題 — 自社のデータを登録する前に、処理のつなぎ方を試したい
入力 — なし
設定 — 選択画面の「サンプル」タブから選ぶ
出力 — nehan が配っているデータ。編集はできません
5. 読み込むデータを差し替える
お題 — 同じ処理を先月分のデータにも掛けたい
入力 — なし
設定 — 「別のデータを選択」で差し替える
出力 — 差し替えたデータ。列名が変わると後続のノードが止まるので、列名を揃えておきます