
ボックス1:新規-AzStorageContainer
#例:BLOBコンテナーを作成します。これは、クラスターのデフォルトのデータストアを保持します。
New-AzStorageContainer `
-名前$ clusterName `
-コンテキスト$ defaultStorageContext
$ sparkConfig = New-Object "System.Collections.Generic.Dictionary``2 [System.String、System.String]"
$ sparkConfig.Add( "spark"、 "2.3")
ボックス2:スパーク
Sparkは、インメモリクラスターコンピューティング用のプリミティブを提供します。Sparkジョブは、データをメモリにロードしてキャッシュし、繰り返しクエリを実行できます。インメモリコンピューティングは、Hadoop分散ファイルシステム(HDFS)を介してデータを共有するHadoopなどのディスクベースのアプリケーションよりも、ディスクベースのアプリケーションよりもはるかに高速です。
ボックス3:新規-AzureRMHDInsightCluster
#HDInsightクラスターを作成します。例:
New-AzHDInsightCluster `
-ResourceGroupName $ resourceGroupName `
-ClusterName $ clusterName `
-場所$ location `
-ClusterSizeInNodes $ clusterSizeInNodes `
-ClusterType $ "Spark" `
-OSType "Linux" `
ボックス4:スパーク
HDInsightはマネージドHadoopサービスです。これを使用して、AzureでHadoopクラスターをデプロイおよび管理します。バッチ処理には、Spark、Hive、Hive LLAP、MapReduceを使用できます。
参照:
https://docs.microsoft.com/bs-latn-ba/azure/hdinsight/spark/apache-spark-jupyter-spark-sql-use-powershell
https://docs.microsoft.com/bs-latn-ba/azure/hdinsight/spark/apache-spark-overview