コンテンツにスキップ

分析するデータを配置する

分析プロジェクトの出発点になるノードです。データソース・中間データ・サンプルデータの中から、処理するデータを選びます。

入力ポートはありません。ワークフローはこのノードから始まります。

入出力

ポート内容
出力データデータ

Spark エンジンでは動きません。

設定項目

データを選ぶと、選んだものに合わせて次の項目が並びます。出ない項目があるのは正常です。

データ名
選んでいるデータの名前。右のアイコンを押すと、そのデータソースの画面が別のタブで開きます。サンプルデータと中間データ、権限のないデータにはアイコンが出ません(開いても何もできない画面に着くため)。
種類
そのデータの取り込みかた(ファイル、Google BigQuery など)。中間データのうち機械学習モデルを渡しているものは 機械学習モデル と出ます。
カテゴリ
データソース(自社で登録したもの)/中間データ(別のワークフローの出力)/サンプルデータ(nehan が配っているもの)のどれか。選択画面のタブ名とは少しだけ違います(タブは「データソース」「中間データ」「サンプル」)。
作成日
そのデータが作られた日。最後に取り込んだ日ではありません。
エクスポートノードへジャンプ
中間データを選んでいるときだけ出るボタン。押すと、そのデータを書き出している側のワークフローのノードが選ばれます。
データソースを更新して読み込む
on にすると、実行のたびに元のデータを取り込み直してから読みます。アップロードした CSV と中間データには出ません(取り込み直す先がないため)。
クエリ
SQL を書いて取り込むタイプのデータソース(PostgreSQL、Google BigQuery、Amazon Athena、Snowflake など)のときだけ、登録してある SQL が出ます。ここでは直せません。
別のデータを選択
押すとデータの選択画面が開き、読み込むデータを変えられます。まだ何も選んでいないノードでは データソースを選択 と出ます。

選択画面に出る印

循環参照になるため選択できません
この印が付いた行だけは選べません。そのワークフローの出力を、同じワークフローの入り口に戻そうとしています。
すでに分析プロジェクト内で読み込まれています
同じデータを同じプロジェクトで既に読んでいる印です。選ぶこと自体はできますが、二重に読む必要がなければ、既にあるノードにつなぎ直してください。

取り込みが失敗しているデータは、名前の左の状態の印が赤くなります。これも選ぶこと自体はできるので、先にデータソースの画面で直してから選び直してください。

読めなくなったとき

データソースを消されたときや権限を外されたときは、データ名や種類などの代わりにお知らせが出ます。

読み込んでいるデータソースは削除されています。

読み込んでいるデータソースに権限がありません。

直し方 — 「別のデータを選択」で読めるデータに差し替えるか、そのデータソースの権限をもらってください。

エラーと対処

このノード自体はエラーを出しません。 実行が止まるのは、取り込み元のデータソース側で失敗したときです(接続できない、SQL が通らない、ファイルの形が違う、など)。出るメッセージと直し方はデータの種類ごとにデータソースからたどれます。

「データソースを更新して読み込む」を on にしていると、実行のたびにこの取り込みが走るので、元のデータの側が落ちていればこのノードで止まります。

よく使う例

1. 登録済みのデータソースから始める

お題 — 作成済みのデータソースを分析の出発点にしたい

入力 — なし(このノードに入力ポートはありません)

設定 — 「データソースを選択」を押し、選択画面の「データソース」タブから選ぶ

出力 — そのデータソースの中身がそのまま後続に流れます

2. 定期実行で毎回最新のデータを使う

お題 — 毎朝の実行で、そのときの最新の売上を読みたい

入力 — なし

設定 — 売上のデータソースを選び、「データソースを更新して読み込む」を on

出力 — 実行した時点の最新のデータ。毎回取り込み直すので実行時間は延びます

3. 別のワークフローの結果を使う

お題 — 前処理まで終わったデータを、別のプロジェクトで使い回したい

入力 — なし

設定 — 選択画面の「中間データ」タブから、データをエクスポートするで書き出したものを選ぶ

出力 — 書き出した時点のデータ。「エクスポートノードへジャンプ」で作っている側に戻れます

4. 試すためにサンプルデータを読む

お題 — 自社のデータを登録する前に、処理のつなぎ方を試したい

入力 — なし

設定 — 選択画面の「サンプル」タブから選ぶ

出力 — nehan が配っているデータ。編集はできません

5. 読み込むデータを差し替える

お題 — 同じ処理を先月分のデータにも掛けたい

入力 — なし

設定 — 「別のデータを選択」で差し替える

出力 — 差し替えたデータ。列名が変わると後続のノードが止まるので、列名を揃えておきます

関連