スナップショットデータ
ある時点のデータを、そのまま取っておいたものです。日ごとに取っておくと、変化を追えるようになります。
なぜ必要か
多くのシステムは 「今」の状態しか持っていません。 今日のユーザーのレベルや残高は分かりますが、先月の値は残っていません。
毎日その日の状態をファイルとして書き出しておけば、後から並べて比べられます。
| 取っておくと分かること |
|---|
| 先月からどれだけ増えたか |
| いつから落ち始めたか |
| 施策の前後で変わったか |
nehan でどう作るか
- 20200101.csv
- 20200102.csv
- 20200103.csv
- …
肝はファイル名です。 同じ名前で書き出すと前の日のファイルが上書きされ、
比べる相手が残りません。変数で
${today} のような日付を入れてください。
差分更新を使うと速くなります。 データソース側で有効にすると、増えた ファイルだけを読みます。
日々ためる手順
-
その日のデータを書き出す
分析プロジェクトで取っておきたい形を作り、Amazon S3にエクスポートします。
ファイル名にその日の日付を入れます。 変数利用方法(分析プロジェクト)で日付を差し込みます。固定の名前にすると、前日の分を上書きします。
ファイル名の欄には変数の候補が出ませんが、
$todayのように手で打てば置き換わります。2 つ以上の変数を並べるときは${filename}_${today}と波かっこで囲みます。 -
たまったファイルをまとめて読む
ためたファイルを複数ファイル一括読み込みで 1 つのデータソースにします。
データソースの更新の差分読み込みを有効にすると、新しいファイルだけを読むので更新が速くなります。
-
自動化する
スケジューリングに登録します。1 を最初のステップ、2 を次のステップに分けてください。同じステップに入れると、書き出す前に読もうとします。
書き出し先
日付別にファイルをためられる先なら、どれでも成り立ちます。
| 書き出し先 | 行き先 |
|---|---|
| Amazon S3 | Amazon S3 |
| Google Cloud Storage | Google Cloud Storage |
| OneDrive | OneDrive |
| SFTP | SFTP |
parquet で書き出せるのは Amazon S3 / Google Cloud Storage / OneDrive の 3 つです。SFTP は csv だけになります。
気をつけること
ファイル名に日付を入れる
日付を入れないと、前日の分を上書きします。 nehan では変数をエクスポート先のファイル名に差し込みます。
| 決まりごと | 中身 |
|---|---|
| 書き方 | ${filename}_${today}.csv のように $ と {} で囲む。1 つの欄に複数書ける |
| 効く欄 | ファイルとして出す書き出し先のファイル名。どの書き出し先のどの欄で使えるかは変数利用方法(分析プロジェクト)の表が正 |
| 効かない欄 | Google スプレッドシートのシート URL、中間データ名、チェインデータソース名。書いた文字がそのまま名前になる |