
取り込み:Azure Data Factory
Azure DataFactoryパイプラインはSSISパッケージを実行できます。
Azureでは、次のサービスとツールがパイプラインオーケストレーション、制御フロー、およびデータ移動のコア要件を満たします:Azure Data Factory、HDInsight上のOozie、およびSQL Server Integration Services(SSIS)。
ストア:データレイクストレージ
Data Lake Storage Gen1は、無制限のストレージを提供します。
注:保存データには、任意のデジタル形式の物理メディア上の永続ストレージに存在する情報が含まれます。Microsoft Azureは、ファイル、ディスク、BLOB、テーブルストレージなど、さまざまなニーズを満たすさまざまなデータストレージソリューションを提供します。Microsoftは、Azure SQL Database、Azure Cosmos DB、およびAzure DataLakeを保護するための暗号化も提供しています。
準備とトレーニング:Azure Databricks
Azure Databricksは、Azure ActiveDirectory統合を含むエンタープライズグレードのAzureセキュリティを提供します。
Azure Databricksを使用すると、Apache Spark環境を数分でセットアップし、インタラクティブなワークスペースで共有プロジェクトを自動スケーリングして共同作業できます。Azure Databricksは、Python、Scala、R、Java、SQLのほか、TensorFlow、PyTorch、scikit-learnなどのデータサイエンスフレームワークとライブラリをサポートしています。
モデル化と提供:SQLデータウェアハウス
SQLデータウェアハウスは、列型ストレージを備えたリレーショナルテーブルにデータを格納します。
Azure SQL Data Warehouseコネクタは、SQL DataWarehouseの効率的でスケーラブルな構造化ストリーミング書き込みサポートを提供するようになりました。SQLデータウェアハウスコネクタを使用して、AzureDatabricksからSQLデータウェアハウスにアクセスします。
参照:
https://docs.microsoft.com/bs-latn-ba/azure/architecture/data-guide/technology-choices/pipeline-orchestration-da
https://docs.microsoft.com/en-us/azure/azure-databricks/what-is-azure-databricks