データ分析
処理のノードをつないでデータを加工し、集計から機械学習まで行います。コードは書きません。
分析プロジェクト
nehan の中心となる機能です。処理を箱（ノード）でつないでいくだけで、コードを書かずにデータを加工・分析できます。
ここで説明するのは画面の見かたとノードの操作です。個々の処理機能（集計・結合・型変換など）はデータ処理・分析にあります。
始め方
- 分析プロジェクトの新規作成
- 分析するデータを配置するでデータソースを読み込む
- 処理のノードをつないで加工する
- グラフの新規作成やデータをエクスポートするで出す
困ったときに
| 症状 | 行き先 |
|---|---|
| ノードが赤くなった | ノードのステータス |
| つなげない組み合わせがある | エッジ接続の制約 |
| 実行できない | ノード実行の制約 |
| 操作を取り消したい | ワークスペースの操作 |
| ノードが見つからない | ワークスペースの操作 / データ処理機能の検索 |
| 途中でエラーになって下流も赤い | 実行とノードステータス |
| 作ったノードが消えた | 分析プロジェクトの保存 |
画面の見かた
画面構成(分析プロジェクト) 画面全体。
ノード、ポート、エッジ ノードの見かた。
ワークフロータブ ワークフローのタブ。
ワークスペースコマンド ワークスペースのボタン。
プレビューフィールド 下に出るデータ。
データプレビュー 下に出るデータの中身。
処理設定フィールドの基本構成 処理の設定欄。
ボニートくん グラフやレポートが出る画面。
プロジェクトそのものを扱う
ノードを操作する
ノードの追加 ノードを置く。
エッジの手動接続 つなぐ。
エッジの削除 切る。
ノードの実行操作 実行する。
ノードのステータス 状態を見る。
ノードの選択 選ぶ・まとめて動かす。
ノードの複製 複製する。
ノードの削除 消す。
ノードへのコメント メモを残す。
ポートタイプ つなぎ先の種類を知る。
ワークフローを扱う
関連
データ処理・分析
分析プロジェクトで使える処理の一覧です。やりたいことから探せます。
始め方
- データソースにデータを登録する（ノード一覧のいちばん上にある データをアップロードする からも登録できます）
- 分析するデータを配置するで読み込む
- 下の処理をつないでいく
処理の分類
並びは分析プロジェクトのノード一覧と同じです。「ここから」の列は、そのカテゴリのヘルプを押したときに開くページと同じ行き先にしてあります。残りはサイドバーから辿れます。
| やりたいこと | カテゴリ | ここから |
|---|---|---|
| 列を選ぶ・名前を変える・型を変える | 列方向のデータ操作 | 列選択（シンプル） |
| 計算する・丸める・連番を振る | 数値列の操作 | 数値列同士の演算 |
| 分ける・つなぐ・置き換える・整える | 文字列の操作 | 文字列の分割 |
| 日付を足す・差を出す・要素を取り出す | 日付列の操作 | 日付列の加算/減算 |
| 行を絞る・並べ替える・重複を消す | 行方向のデータ操作 | 条件で行をフィルタ |
| 集計する・縦横を入れ替える | データ変形 | データ集計 |
| 2 つのデータをつなぐ・分ける | データ結合・分割 | キー列を指定する結合 |
| 欠損を埋める・比率や累積を出す | 便利前処理 | 欠損値処理 |
| 機械学習の前に整える | 便利前処理(機械学習向け) | 数値の二値化 |
| 予測モデルを作る・評価する | 機械学習 | 機械学習の基本 |
| 未来を予測する | 時系列分析 | トレンド成分・周期成分・残差へデータを分解する |
| 表記揺れを AI で整える | AI名寄せ機能 | AIクレンジング |
| 文章を分析する | 自然言語処理 | 言語処理向けクレンジング |
| おすすめを出す | レコメンドエンジン | 推薦モデル構築 |
| 併売や密度を調べる | その他分析手法 | アソシエーション分析 |
| 異常を検知する・通知ファイルを作る | システムノード | データの不正検知 |
困ったときに
| 症状 | 行き先 |
|---|---|
| 型が変換できないと言われる | 列の型変更 |
| 結合したら行が増えた・減った | キー列を指定する結合 |
| 欠損値（空のセル）をどう扱うか知りたい | 欠損値処理 |
| 昔からあるノードの説明が見つからない | 旧バージョン機能 |
関連
機械学習
コードを書かずに機械学習のモデルを作り、精度を確かめ、別のデータに当てて予測できます。なぜその結果になったのかを読み解く補助機能（ボニートくん）も付いています。
先に押さえること
目的変数と説明変数の区別が付いていないと、どのモジュールも設定できません。 機械学習そのものが初めてなら、先に機械学習の基本を読んでください。
始め方
- 学習用のデータを用意する（分析するデータを配置する）
- オートMLでモデルを作る
- 精度検証結果で精度を確かめる
- モデルで予測値算出で別のデータに当てる
正解を予測する（教師あり学習）
学習に使うデータに正解の列があるときに使います。
| やりたいこと | 行き先 |
|---|---|
| まかせて作る | オートML |
| 手法や設定を自分で決める | マニュアルML |
| 複数のモデルを組み合わせる | MLアンサンブル(βver) |
| 作ったモデルで予測する | モデルで予測値算出 |
| 精度を数字で確かめる | 予測精度を評価 |
かたまりを見つける（教師なし学習）
正解の列がないデータを、似たもの同士にまとめます。
| 手法 | クラスタ数の指定 | 向いている場面 |
|---|---|---|
| K-means | 必要 | まず試す基本の手法 |
| BIRCH | 必要 | 大きなデータを速く分けたい |
| 階層クラスタリング | 必要 | まとまり方の順序を見たい |
| スペクトラルクラスタリング | 必要 | 丸くないかたまりを見つけたい |
| DBSCAN | 不要 | 外れ値も分けたい |
| Mean Shift | 不要 | いくつに分かれるか決めたくない |
| Affinity Propagation | 不要 | 代表を選ばせたい |
| そのほか | 行き先 |
|---|---|
| 手法を比べて選ぶ | クラスタリング結果比較 |
| クラスタの中身を読む | クラスタ解釈用データを作る |
| 列をまとめて減らす | 主成分分析 / 独立成分分析 / 因子分析 |