コンテンツにスキップ

データ連携

データを nehan に取り込み、分析した結果を nehan の外に出します。つなぎ先の認証情報は 1 箇所にまとめて使い回します。

接続情報

データベースや外部サービスにつなぐための認証情報をまとめて管理します。

接続情報とデータソースの違い

見るところ接続情報データソース
持っているものつなぎ方（ホスト・ユーザー・鍵など）何を読むか（SQL・ファイルの場所）
使い回し複数のデータソースから使える1 つのデータ
作る順番先あと

1 つの接続情報を、いくつものデータソース・SQLビルダー・データエクスポートから使い回せます。 パスワードが変わったときは、接続情報を 1 つ直すだけで済みます。

始め方

  1. 接続情報の新規作成
  2. データタイプを選ぶ
  3. 認証の情報を入れて保存
  4. データソースの新規作成で選ぶ

つなげる先

データタイプの名前は、選択画面に出る字のまま書いています。

分類データタイプ
ファイルAmazon S3 / Google Cloud Storage / Azure Blob Storage / Google Drive / OneDrive / SharePoint / SFTP / Google スプレッドシート / Fabric OneLake
データベースMySQL / PostgreSQL / Microsoft SQL server/Azure T-SQL / Amazon Redshift / Amazon Athena / Google BigQuery / Snowflake / Treasure Data
その他サービスGoogle Analytics 4 / Salesforce / HubSpot / Zoho CRM

ファイルのアップロードだけは接続情報が要りません。

つながらないとき

関連

画面構成(接続情報) 入力画面の見かた
接続情報の新規作成 新しく作る
データソースの新規作成 この接続情報を使う
データソース データを取り込む
データソースの読み込みステータス 読み込みが失敗した
御社からのアクセス許可 つながらないとき

データソース

分析に使うデータを nehan に取り込む機能です。

始め方

  1. 接続情報を登録する（接続情報）（ファイルのアップロード以外）
  2. データソースの新規作成
  3. 読み込みオプションを設定して保存
  4. 分析するデータを配置するで分析プロジェクトに読み込む

取り込み方の分類

分類取り込み方データタイプ
ファイル系ファイルを読むファイルアップロード / Amazon S3 / Google Cloud Storage / Azure Blob Storage / Google Drive / OneDrive / SharePoint / SFTP / Google スプレッドシート / Fabric OneLake Files / Fabric OneLake Delta Table
データベース系SQL を書いて読むMySQL / PostgreSQL / Microsoft SQL server/Azure T-SQL / Amazon Redshift / Amazon Athena / Google BigQuery / Snowflake / Treasure Data
その他サービス決めた期間のデータを取りにいくGoogle Analytics 4 / Salesforce / HubSpot / Zoho CRM

設定項目の違い

ファイル系とデータベース系では、設定の形がまったく違います。

見るところファイル系データベース系その他サービス
何を指定するかファイルの置き場所（バケット・URL・パスなど）クエリ（SQL）テーブル名と期間指定(データ作成日)。ただし Google Analytics 4 だけはプロパティ ID・ディメンジョン・指標と期間指定
読み込みオプションある（形式ごとに違う）ないない
データ調整オプションあるないない
列の型や名前の編集できるできないできない
差分読み込み8 つのデータタイプで使えるないない
CSV/TSV/Textファイル CSV の区切り文字や文字コードを変えたい。
Excelファイル Excel のシートを指定したい。
1行目を列名として扱う 1 行目を列名にしたくない。
複数ファイル一括読み込み 複数のファイルをまとめて読みたい。
データソースの列型変更 列の型を変えたい。
データソースの更新 新しいファイルだけ読みたい。
画面構成(データベース系データソース) SQL を書いて取り込みたい。

関連

接続情報 つなぎ先の認証を登録する
分析するデータを配置する 分析プロジェクトで使う
スケジューリング自動実行 自動で更新する
データソースの読み込みステータス 読み込みの状態を見る

SQLビルダー

SQL を書かずに SQL を組み立てる機能です。ノードをつなぐと、その設定から SQL が生成されます。

分析プロジェクトとの違い

見るところSQLビルダー分析プロジェクト
ノードが持つものSQL の文データ
データの置き場所nehan に持たない（データベース側で動く）nehan が持つ
使える機能の数28270 以上
機械学習・時系列・自然言語処理できないできる
nehan にデータを取り込むデータソース化するノードを実行したとき常に持っている

大きなデータをデータベース側で絞ってから取り込むのが主な使い道です。

仕組み

特徴中身
データを持たないノードが持つのは SQL の文です。nehan 側にデータは置きません
SQL が積み上がる上のノードの SQL に、下のノードが句を足していきます
取り込みは明示データソース化するを実行して初めて nehan にデータが入ります

ノードと SQL 句の対応です。

ノード足される句
テーブルを選択するSELECT ... FROM
列選択SELECT の列
条件で行を絞り込みWHERE
行の並べ替えORDER BY
先頭からn行選択LIMIT（SQL Server/Azure T-SQL は TOP）
重複レコードの処理SELECT DISTINCT
結合JOIN
縦結合UNION ALL
データ集計GROUP BY と集計関数
縦展開CROSS JOIN と CASE

始め方

  1. SQLビルダーの接続設定でデータベースを選ぶ
  2. テーブルを選択するでテーブルを選ぶ
  3. 処理のノードをつないで絞り込む
  4. データソース化するで nehan に取り込む

使える機能の一覧

全 28 機能です（旧バージョンを除く）。分析プロジェクトと同じ名前でも、設定できる内容は違います（SQL にできる範囲に限られます）。

分類数機能
入出力5テーブルを選択する / 中間データを選択する / データソース化する / 中間データを作成する / SQLの件数を確認する
列操作5列選択 / 列の並べ替え / 列名の変更 / 列の型変更 / 条件に応じて値を列に挿入
行操作5条件で行を絞り込み / 行の並べ替え / 先頭からn行選択 / 重複レコードの処理 / 欠損値処理
データ結合2結合 / 縦結合
データ変形3データ集計 / 横展開 / 縦展開
数値操作2数値列同士の演算 / 数値列の端数処理
文字列操作3文字列の結合 / 文字列の置換 / 文字列の分割
日付操作3日付列の加算/減算 / 日付列同士の差分計算 / 日付要素の切り出し

このほかに旧バージョンの分類があり、JSON を扱う 4 つと古い書き出しの 2 つが残っています。新しく作るワークフローでは使わないでください。

つなぎ先で使えない機能

処理メニューの中身は、つないだデータベースによって変わります。 実行して初めてエラーになるものもあります。

つなぎ先使えない機能
Treasure Data日付操作の 3 つ（分類ごとメニューに出ません）
MySQL文字列の分割、文字列の置換の正規表現、先頭からn行選択のグループごとの処理
Amazon Redshift / SQL Server/Azure T-SQL文字列の分割
SQL Server/Azure T-SQL日付要素の切り出し
画面構成(SQLビルダー) 画面の見方。
SQLプレビュー 生成された SQL を見たい。
SQLの件数を確認する 件数だけ先に知りたい。
データソース化する nehan に取り込みたい。
中間データを作成する 途中結果を保存したい。

関連

接続情報 つなぎ先の認証を登録する
分析するデータを配置する 作ったデータソースを使う
スケジューリング自動実行 自動で更新する

データエクスポート

分析した結果を nehan の外に出す機能です。

出し先

エクスポート先の選択肢は 12 種類です。画面には下の順で並びます。

分類出し先高速処理
手元パソコン上にデータをダウンロードする○
nehan の中中間データ(別のワークフローに受け渡す)
nehan の中チェインデータソース(nehanデータソース化する)
データベースGoogle BigQuery○
表計算Google スプレッドシート
ストレージAmazon S3○
ストレージGoogle Cloud Storage○
データベースMySQL○
データベースSQL Server/Azure T-SQL
ストレージSFTP
データベースTreasure Data
ストレージOneDrive

高速処理の列に ○ が付いた 5 つは、データが大きいときにHyper nehanの速い処理で書き出せます。この 5 つだけ、出し先を選ぶ一覧で名前の右に印が付きます（組織がこのオプションを契約しているときだけ）。

始め方

  1. 分析プロジェクトでデータをエクスポートするのノードを追加する
  2. 出し先のデータタイプを選ぶ
  3. 出し先ごとの設定をする
  4. ノードを実行する

知っておくこと

定期的に出したい

スケジュールに分析プロジェクトを登録すると、エクスポートまで含めて自動で動かせます。詳しくはスケジューリング自動実行を参照してください。

データをエクスポートする ノードの設定項目。
画面構成(データエクスポート) 画面の見方。
中間データ(別のワークフローに受け渡す) 次の分析に渡したい。
チェインデータソース(nehanデータソース化する) SQLビルダーから使いたい。
スナップショットデータ 日付別にためたい。