nehanで扱えるデータ量
nehanでは、厳密に「xx行のデータが扱えます」という基準を設けておらず、1データソースとして連携されるデータ量の上限目安を、プランごとに設定しております。
目安の数値は最新のサービスペーパーにてご確認ください。
下記、注意点としてご紹介します。
ファイルアップロードの上限は5GBまで
そもそも下位プランでは5GBのデータを連携することができないため、上位プラン契約ユーザーの皆様に向けての注意です。
5GB以上のデータを「ファイルアップロード」にてnehanに連携しようとするとエラーが出ます。
データタイプ「Amazon S3」などのクラウドファイルストレージ系にて代替えいただくことを推奨いたします。
上限目安以内のデータでも、処理の仕方によってはNG
データソースのデータ容量が上限に収まっていても、その後分析プロジェクトで
- クロス集計(横持ち変換)
- 文字列の分割
- キー列を指定する結合
などの、結果データの量が急激に増える可能性がある操作はエラーになる可能性があります。
6時間タイムアウト
nehanでは、1データソースの実行・1ノードの実行、に対して、6時間以上処理が継続する場合は、タイムアウトエラーとして強制中断を行います。
特に、大規模データを扱えるHyper nehan採用プランで起こりうる可能性が高まります。
大きなデータを無理やり処理しようとして、6時間待ったけどエラー、という悲劇が起きることもありえますのでご注意ください。