DataCatalogのLineageの BigQueryインテグレーションがやってきた！！！

[takegue]

https://cloud.google.com/bigquery/docs/release-notes#December_22_2022

先日、 DataCatalogのLineage機能がPreviewになっていたのだが
その機能が BigQuery の UIとして反映されるPublic Previewのリリースが本日入りました.

これは BigQueryで下記のようなテーブルのLineageが確認できるようになる、というものでです。
これはみなが求めていたムネアツの機能のひとつですね！

Lineage APIを有効にする

Lineage APIを有効にするには、こちらを参考に

• Data Lineage API
• Data Catalog APIs
  を有効にしてください。

https://cloud.google.com/bigquery/docs/data-catalog#enable_data_lineage

Data Catalogの Lineageを確認する

上記 APIを有効にしたタイミングから Data Lineageの構築がはじまると思いますので
Data Catalogの画面から確認しましょう。

僕が試した感じの注意点としては

• Lineageのデータが有効になるまで 10minちょっとかかる
• 有効になった時間より、前の時間でジョブのデータは参照されない（ように見えるので）
  適宜クエリを流してやると Lineageが早く確認できる

あたりがあります

今後のBigQueryどうなる...？

Data Catalogの BigQueryインテグレーションは誰もが望んでいた待望の機能だと思います。
そのなかで 近年のデータ基盤の取り組みでもアツい メタデータのなかで、LineageがBigQueryにここまで早く統合されたことは非常に嬉しいことです。

これまでは Data Catalogの機能は 独立していたことは多く
BigQuery → Data Catalog方向のインテグレーションはあっても逆方向は多くありませんでした。
昨年から続いてきた(いろいろ煮え湯飲まされた)BQのフロントUIの刷新の成果が
ようやく実を結んだことが実感できるリリースではないでしょうか？

ここを足掛かりにその他のBigQueryのData Catalog機能がBQコンソールに統合される未来も
そう遠くないのではないかと期待せずにはいられないリリースかなと思います。