このカテゴリでわかること

データ処理機能について

このカテゴリでは、nehan の分析プロジェクトで使用できる様々なデータ処理ノードの機能と使い方について学ぶことができます。
これらのノードを組み合わせることで、コーディングなしで高度なデータ変換や分析を実現できます。

---

主な内容

• データ入力:
  • データの読み込み方法
  • ファイルアップロード機能
• 列方向のデータ操作:
  • 列の選択、リネーム、順序変更
  • データフレームの挿入
  • 列のデータ型変換
  • 単純選択と高度な選択
• 行方向のデータ操作:
  • 行のフィルタリング
  • 重複処理
  • 外れ値処理
  • 行の並べ替え
  • 上位 N 件の抽出
• データ結合・分割:
  • 水平・垂直連結
  • データのマージ（各種 JOIN）
  • データの分割
• データ変形:
  • ピボットテーブル
  • 行列変換（melt）
  • 転置
  • グループ集計
• 文字列操作:
  • 文字列の連結、抽出、分割
  • テキストクレンジング
  • JSON 解析
  • ゼロパディング
• 数値列操作:
  • 計算列の追加
  • 数値列の区間分け
  • 桁数の調整
  • インデックス追加
• 日付列操作:
  • 日付の抽出
  • 日付の加減算
  • 日付の差分計算
  • 日付の丸め
• 便利な前処理機能:
  • 欠損値処理
  • 補間処理
  • 累積和
  • シフト操作
  • 比率計算
• 機械学習向け前処理:
  • 正規化
  • ラベルエンコーディング
  • 特徴量選択
  • サンプリング
• 時系列分析:
  • ARIMA、SARIMA
  • AR モデル
  • Prophet による予測
  • 状態空間モデル
• 自然言語処理:
  • テキストのクレンジング
  • トークン化
  • 特徴量抽出
  • トピックモデリング（LDA）
  • fastText による予測
• その他分析手法:
  • アソシエーション分析
  • コミュニティクラスタリング
  • カーネル密度推定
• AI 名寄せ機能:
  • 文字列類似性によるグルーピング
  • 行レベルの名寄せ

nehan のデータ処理機能を使いこなすことで、データクレンジングから高度な分析まで、幅広いデータ処理タスクをコーディングなしで実行できるようになります。
各ノードは直感的な UI で設定でき、処理結果をリアルタイムでプレビューできるため、効率的なデータ処理が可能です。