処理可能データサイズ
契約プランごとに、一度に処理できるデータの大きさが決まっています。これを処理可能データサイズと呼びます。
どういう数字か
プランごとに、処理を担うサーバーの性能が決まっています。上位プランほど性能が高く、大きなデータを扱えます。
Excel で重いファイルを開くと PC が固まるように、サーバーにも限界があります。その限界の目安が処理可能データサイズです。
組織で 1 つの枠を分け合う
処理可能データサイズは、ユーザーごとではなく組織で 1 つです。
ユーザー A・B・C が同時に処理する
それぞれの処理量が 1 つのサーバーに集まる
合計が上限を超えるとエラー
超えてしまう代表例
| 場面 | 何が起きているか |
|---|---|
| 1 つが大きすぎる | 上限を超える大きさのファイルを 1 つ上げた |
| 同時に使った | 数人が同時に処理して、合計が上限を超えた |
| 時間が重なった | 朝に定期実行が集まり、合計が上限を超えた |
大きなデータを扱いたい
| やり方 | 内容 |
|---|---|
| 上位プランにする | サーバーの性能が上がる |
| Hyper nehan を付ける | 大きなデータを Apache Spark で処理する |
| データを絞る | 取り込む段階で列や行を減らす。読み込む列を指定するやSQLビルダーを使う |
外れたとき
「○○MB を超えたら弾く」という門はありません。 サーバーがメモリを使い切った結果として処理が落ちるので、出るのはメモリ不足のエラーです。使っているエンジンで文言が変わります。
| エンジン | 出る文言 |
|---|---|
| 既定 | リソース不足のため処理を停止しました。契約プランアップをご検討ください。 |
| Hyper nehan（Apache Spark） | 計算リソースが不足しています。nehanへお問い合わせください。 |
どうするか — 上の大きなデータを扱いたいにまとめています。すぐ試せるのは、時間をずらす・取り込む列を減らす・シンプルなサンプリングで行を減らす、の 3 つです。