単語頻度の集計
どの単語が何回出てくるかを数えます。 ワードクラウドも同時に作ります。形態素解析で分けた文章に掛けます。
入出力
| ポート | 内容 |
|---|---|
| 入力データ | データ |
| 出力データ | データ |
つなげるポートは入出力 1 つずつです。 ワードクラウドもこのノードが作りますが、ポートとしては出てきません。 データプレビューの出力側に出るボタン（ワードクラウド）から開きます。キー列を指定したときは、グループを切り替えて 1 枚ずつ見られます。
Spark エンジンでは動きません。
入力の行はそのままでは残りません。 1 つ目の出力は、単語ごとに 1 行の別の表になります。
出力の形
キー列を指定しないとき
| 列名 | 内容 |
|---|---|
単語 | 単語 |
カウント | 出てきた回数 |
データ全体で 1 つの集計です。ワードクラウドも 1 枚だけできます。
キー列を指定したとき
| 列名 | 内容 |
|---|---|
| キー列と同じ名前の列 | グループの値 |
単語 | 単語 |
カウント | そのグループでの回数 |
回数が 0 の組み合わせは行になりません。 ワードクラウドはグループごとに 1 枚ずつできます。
設定項目
- キー列を指定する
- 既定は off。on にするとキー列を選択が出て、グループごとに数えます。
- キー列を選択必須
- キー列を指定するが on のときだけ出ます。複数選べます。
- 処理対象列を選択必須
- 分かち書き済みの列。文字列の列だけ選べます。1 列だけです。
先に形態素解析が要る
このノードは、単語が空白で区切られていることを前提にします。 区切りは空白 1 つだけで、ほかの区切り文字は使えません。
元の文章をそのまま入れると、文全体が 1 単語として数えられます。 先に形態素解析を掛けてください。
欠損の行は空の文字列として扱われます。 そのため中身のない単語（空の文字列）が 1 つ数えられることがあります。ワードクラウドの側ではこれを <NA> と書いて描きます。先に欠損値処理で落としておくと数がきれいになります。
英字の大文字・小文字は、キー列の有無で扱いが変わります
エラーと対処
表示できる単語がない
ワードクラウドを作る段階で、単語が 1 つもないときに出ます。集計の表が作れても、ワードクラウドが作れなければ止まります。
処理の結果ワードクラウドに表示できる単語がありませんでした。
直し方 — 対象列に単語が入っているか確かめてください。形態素解析で品詞を絞りすぎて結果が空になっていることがあります。キー列を指定しているときは、どれか 1 つのグループが空でも出ます。
列を選ばずに実行した
「処理対象列を選択」が空のまま実行したときに出ます。前の処理で列名が変わり、選んでいた列が入力データからなくなったときにも同じメッセージです。
対象の列が選択されていません。
直し方 — 文書の入った列を選び直してください。
選んだ列が見つからない
「キー列を選択」で指定した列が入力データにないとき、またはどの条件にも 1 列も当たらないとき。前の処理で列名が変わった場合にも出ます。
対象の列が存在しません。
直し方 — キー列を選び直してください。列名が変わりうるデータでは、名前に頼らない選び方（型で選ぶ・前方一致）に変えると壊れにくくなります。
よく使う例
1. 問い合わせに多い言葉を見る
どんな問い合わせが多いかを知りたいとき。
入力（形態素解析で名詞だけ残した列）
| 問い合わせ_形態素 |
|---|
返品 手続き |
返品 送料 |
設定
| 設定項目 | 値 |
|---|---|
| 処理対象列を選択 | 問い合わせ_形態素 |
出力 — 返品 が 2、手続き が 1、送料 が 1 の 3 行になります。
2. 区分ごとに言葉を比べる
商品カテゴリによって問い合わせの中身が違うかを見たいとき。
入力
| カテゴリ | 問い合わせ_形態素 |
|---|---|
| 衣料 | 返品 サイズ |
| 食品 | 返品 賞味 期限 |
設定
| 設定項目 | 値 |
|---|---|
| キー列を指定する | on |
| キー列を選択 | カテゴリ |
| 処理対象列を選択 | 問い合わせ_形態素 |
出力 — カテゴリ / 単語 / カウント の 3 列になります。衣料に 賞味 の行は出ません（0 の組み合わせは落ちるため）。ワードクラウドもカテゴリごとに 1 枚ずつできます。
3. 上位だけを取り出す
よく出る 20 語だけを資料に載せたいとき。
入力 — 例 1 と同じ
設定 — このノードのあと、先頭/末尾からn行選択で カウント の降順に 20 件だけ残します。
出力 — 20 行の表になります。そのまま横棒グラフに描けます。
4. 一語しか出ない単語を落とす
誤変換や固有名詞が大量に混ざって、集計が読みづらいとき。
入力 — 例 1 と同じ
設定 — このノードのあと、条件で行をフィルタで カウント >= 2 に絞ります。
出力 — 2 回以上出てきた単語だけが残ります。