コンテンツにスキップ

スナップショットデータ

ある時点のデータを、そのまま取っておいたものです。日ごとに取っておくと、変化を追えるようになります。

なぜ必要か

多くのシステムは 「今」の状態しか持っていません。 今日のユーザーのレベルや残高は分かりますが、先月の値は残っていません。

毎日その日の状態をファイルとして書き出しておけば、後から並べて比べられます。

取っておくと分かること
先月からどれだけ増えたか
いつから落ち始めたか
施策の前後で変わったか

nehan でどう作るか

エクスポート用の分析プロジェクト その日のデータを作る
エクスポート(毎日)
Amazon S3 ファイル名に日付の変数を入れるので、上書きされずにたまる
  • 20200101.csv
  • 20200102.csv
  • 20200103.csv
  • …
一括インポート
データソース たまったファイルをまとめて 1 つに読む
読み込む
分析用の分析プロジェクト 日付をまたいで並べて比べる
1 日 1 ファイルずつたまり、それをまとめて 1 つのデータソースにします

肝はファイル名です。 同じ名前で書き出すと前の日のファイルが上書きされ、 比べる相手が残りません。変数で ${today} のような日付を入れてください。

差分更新を使うと速くなります。 データソース側で有効にすると、増えた ファイルだけを読みます。

日々ためる手順

  1. その日のデータを書き出す

    分析プロジェクトで取っておきたい形を作り、Amazon S3にエクスポートします。

    ファイル名にその日の日付を入れます。 変数利用方法(分析プロジェクト)で日付を差し込みます。固定の名前にすると、前日の分を上書きします。

    ファイル名の欄には変数の候補が出ませんが、$today のように手で打てば置き換わります。2 つ以上の変数を並べるときは ${filename}_${today} と波かっこで囲みます。

  2. たまったファイルをまとめて読む

    ためたファイルを複数ファイル一括読み込みで 1 つのデータソースにします。

    データソースの更新の差分読み込みを有効にすると、新しいファイルだけを読むので更新が速くなります。

  3. 自動化する

    スケジューリングに登録します。1 を最初のステップ、2 を次のステップに分けてください。同じステップに入れると、書き出す前に読もうとします。

書き出し先

日付別にファイルをためられる先なら、どれでも成り立ちます。

書き出し先行き先
Amazon S3Amazon S3
Google Cloud StorageGoogle Cloud Storage
OneDriveOneDrive
SFTPSFTP

parquet で書き出せるのは Amazon S3 / Google Cloud Storage / OneDrive の 3 つです。SFTP は csv だけになります。

気をつけること

ファイル名に日付を入れる

日付を入れないと、前日の分を上書きします。 nehan では変数をエクスポート先のファイル名に差し込みます。

決まりごと中身
書き方${filename}_${today}.csv のように $ と {} で囲む。1 つの欄に複数書ける
効く欄ファイルとして出す書き出し先のファイル名。どの書き出し先のどの欄で使えるかは変数利用方法(分析プロジェクト)の表が正
効かない欄Google スプレッドシートのシート URL、中間データ名、チェインデータソース名。書いた文字がそのまま名前になる

よくある勘違い

関連