この記事は10Xのアドベントカレンダーです

この記事は10X アドベントカレンダー2022、16日目の投稿は10Xのデータプロダクトエンジニアの瀧本です。

好きなスーパーはライフ。最近のお気に入りはライフプレミアム 厳選素材果実畑 福岡県産あまおう苺ジャムです。たっぷりないちご果実なジャムで大満足です。

地元山梨のオギノも好きで、特に惣菜が絶品です。毎週のようにイカの唐揚げを買っています。

サマリ

• dbtにはパッケージでdbt-datamocktoolと呼ばれるモデル処理時にrefを任意に切り替えて実行し、実行結果を特定のモデルのデータと比較して評価テストしてくれるパッケージが存在
• ただしスタブデータと評価用データを作って管理するのが既存のdbtだとseed等を使うしかないが、seedだとデータ型を管理するのが面倒くさい（yamlで管理する必要あり）
• スプレッドシートで管理したサンプルデータをモデルのSQLクエリとして書き出してくれるツールを実装した

dbt-datamocktoolとは？

dbt-datamocktool(略称dmt)を使うことでモデルが使用するソースやrefの代わりとなるテーブルデータを定義した上で、モデルの処理をする際に用意した別のデータで処理されるように切り替え、モデルが出力すべき期待するデータになっているのかをテストすることが出来ます。

詳しくは以下を御覧ください。

スタブテストをdbtで行う「dbt-datamocktool」

データを準備して、管理運用する難しさ

ワンショットで利用をする場合はあまり気にならないですが、ロジックの検証等を継続的に評価をしたい等、将来的な修正の要件に耐えられそうかが重要です。