データエンジニアとデータアナリストが協力してデータパイプラインを作成しています。データエンジニアはPythonを使用してパイプラインのRaw、Bronze、Silverレイヤーに取り組んでおり、データアナリストはSQLを使用してパイプラインのGoldレイヤーに取り組んでいます。パイプラインのRawソースはストリーミング入力です。彼らは現在、パイプラインをDelta Live Tablesに移行したいと考えています。
Delta Live Tables に移行するときに、パイプラインに次のどの変更を加える必要がありますか?
正解：A
Delta Live Tables is a declarative framework for building reliable, maintainable, and testable data processing pipelines. You define the transformations to perform on your data and Delta Live Tables manages task orchestration, cluster management, monitoring, data quality, and error handling. Delta Live Tables supports both SQL and Python as the languages for defining your datasets and expectations. Delta Live Tables also supports both streaming and batch sources, and can handle both append-only and upsert data patterns. Delta Live Tables follows the medallion lakehouse architecture, which consists of three layers of data: bronze, silver, and gold. Therefore, migrating to Delta Live Tables does not require any of the changes listed in the options B, C, D, or E. The data engineer and data analyst can use the same languages, sources, and architecture as before, and simply declare their datasets and expectations using Delta Live Tables syntax. Reference:
What is Delta Live Tables?
Transform data with Delta Live Tables
What is the medallion lakehouse architecture?
