コンテンツにスキップ

循環参照の制約

nehan では、データ処理の健全性を保つために、チェインデータソースおよび中間データにおける循環参照を禁止しています。

循環参照とは

循環参照とは、データの参照関係が循環(ループ)してしまう状態を指します。 A が B を参照し、B が C を参照し、C が再び A を参照するような状態です。

なぜ循環参照が禁止されているのか

循環参照が発生すると、以下の深刻な問題が生じます。

1. 無限ループの発生

データの更新処理が永遠に終わらなくなります。 A を更新すると B が更新され、B を更新すると C が更新され、C を更新すると A が更新され…という無限ループに陥ります。

2. データの整合性が保てない

循環参照があると、どのデータが「最新」なのか定義できなくなります。 すべてのデータが相互に依存しているため、正しい状態を決定できません。

3. 実行順序が決定できない

スケジュール実行時に、どのデータソースやワークフローを先に実行すべきか決められなくなります。

チェインデータソースにおける循環参照

チェインデータソースは、分析プロジェクト内のノードのデータを別のデータソースとして利用できる機能です。

判定は分析プロジェクト単位です。 読み込もうとしているチェインデータソースが、自分のプロジェクトで作られたものか、自分のプロジェクトから数えて下流にあたるプロジェクトで作られたものなら、循環参照になります。

パターン 1: 自プロジェクトのチェインデータソースを読み込む

同一の分析プロジェクト内で作成したチェインデータソースを、その分析プロジェクト自身で読み込むことはできません。

分析プロジェクト A データを読み込んで加工する
チェインデータソース化
チェインDS「X」 A の出力として保存される
読み込み(できません)
分析プロジェクト A 自分で作ったものなので循環になる
自分で作ったチェインデータソースを自分で読むと循環になります

パターン 2: 下流プロジェクトのチェインデータソースを読み込む

分析プロジェクト間でチェインデータソースを介した依存関係がある場合、下流(依存先)のプロジェクトで作成されたチェインデータソースを上流で読み込むことはできません。

分析プロジェクト A データを読み込んで加工する
チェインデータソース化
チェインDS「X」
読み込み
分析プロジェクト B A の下流にあたる
チェインデータソース化
チェインDS「Y」
読み込み(できません)
分析プロジェクト A 下流 B の出力なので循環になる
A → B と流れているので、B の出力を A で読むと循環になります

この例では、プロジェクト A → プロジェクト B という依存関係があるため、プロジェクト B で作成されたチェインデータソースをプロジェクト A で読み込むと循環参照になります。

中間データにおける循環参照

中間データは、同一分析プロジェクト内の異なるワークフロー間でデータを受け渡す機能です。

判定はワークフロー単位です。 ツリー(独立したノードのかたまり)が別でも、同じワークフローに戻ってくれば循環参照になります。下の 4 つのパターンは、どれもこの 1 つの決まりから出てきます。

パターン 1: 同一ツリー内での循環参照

同じワークフローの同じツリー内で、出力した中間データを再度読み込むことはできません。

中間データ「A」 ワークフロー 1 ツリー 1 で読み込む
読み込み
加工処理
中間データ化(できません)
中間データ「A」 読んだものに書き戻すので循環になる
読んだ中間データに、同じ名前で書き戻すと循環になります

パターン 2: 同一ワークフロー内の異なるツリー間での循環参照

同じワークフロー内であれば、異なるツリー間でも循環参照として判定されます。

ワークフロー 1 ツリー 1 データを読み込んで加工する
中間データ化
中間データ「A」
読み込み(できません)
ワークフロー 1 ツリー 2 同じワークフローなので循環になる
ツリーが別でも、同じワークフローに戻れば循環になります

パターン 3: ワークフローを跨いだ循環参照

複数のワークフローを経由して元のワークフローに戻る場合も循環参照となります。

2 ワークフロー間の循環

中間データ「A」
読み込み
ワークフロー 1
中間データ化
中間データ「B」
読み込み
ワークフロー 2
中間データ化(できません)
中間データ「A」 ワークフロー 1 が読んでいるものに書き戻す
2 つのワークフローが互いの出力を読むと循環になります

3 ワークフロー以上を経由した循環

ワークフロー 1
中間データ化
中間データ A
読み込み
ワークフロー 2
中間データ化
中間データ B
読み込み
ワークフロー 3
中間データ化
中間データ C
読み込み(できません)
ワークフロー 1 1 周して戻るので循環になる
何段経由しても、元のワークフローに戻れば循環になります

パターン 4: 異なるツリーを経由した循環参照

ワークフローを跨いだ後、元のワークフローの別のツリーに到達する場合も循環参照となります。

ワークフロー 1 ツリー 1 データを読み込んで加工する
中間データ化
中間データ「A」
読み込み
ワークフロー 2 ツリー 1
中間データ化
中間データ「B」
読み込み(できません)
ワークフロー 1 ツリー 2 ワークフロー 1 に戻るので循環になる
別のツリーに戻っても、ワークフローが同じなら循環になります

循環参照の検出

検出は 2 か所で働きます。

1. 選ぶときに選べなくする

データの選択ダイアログでは、循環参照になるものが灰色の行になり、クリックしても選べません。行の左に出る印にカーソルを合わせると、理由が出ます。

循環参照になるため選択できません

印が出るのはデータソースタブと中間データタブです。サンプルタブに並ぶのは nehan が配っているデータで、どの分析プロジェクトの持ち物でもないため、循環参照になることがありません。

2. 実行したときにノードをエラーにする

選んだあとで依存関係が変わり、循環参照になることがあります。その場合は、読み込み側のノードを実行した時点でエラーになります。

チェインデータソースを読み込んでいるノードでは、こう出ます。

チェインデータソースの循環参照が見つかりました

中間データを読み込んでいるノードでは、こう出ます。

中間データソースの循環参照が見つかりました

直し方 — データの依存関係を見直し、一方向の流れになるよう組み直します。どこがつながっているか分からないときは、系譜機能の概要で元をたどって確かめてください。

関連