Databricks-Certified-Data-Engineer-Professional-JPリンクグローバル質問80：データ取り込みタスクでは、1TBのJSONデータセットをParquetに書き出す必要があります。目標ファイルサイズは512MBです。Delta LakeではなくParquetを使用しているため、自動最適化や自動圧縮などの組み込みのファイルサ...

<<前へ

質問 80/80

データ取り込みタスクでは、1TBのJSONデータセットをParquetに書き出す必要があります。目標ファイルサイズは512MBです。Delta LakeではなくParquetを使用しているため、自動最適化や自動圧縮などの組み込みのファイルサイズ調整機能は使用できません。
データをシャッフルせずに最高のパフォーマンスを実現する戦略はどれですか?

A. spark.sql.files.maxPartitionBytes を 512 MB に設定し、データを取り込み、ナロー変換を実行してから、parquet に書き込みます。 B. spark.sql.shuffle.partitions を 2,048 パーティション (1TB*1024*1024/512) に設定し、データを取り込み、ナロー変換を実行し、データをソートして最適化し (これにより、データが自動的に再パーティション化されます)、parquet に書き込みます。 C. spark.sql.adaptive.advisoryPartitionSizeInBytes を 512 MB バイトに設定し、データを取り込み、ナロー変換を実行し、2,048 個のパーティション (1TB*1024*1024/512) に結合してから、parquet に書き込みます。 D. データを取り込み、ナロー変換を実行し、2,048 個のパーティション (1TB*) に再分割します。
1024*1024/512）を計算し、parquet に書き込みます。 E. spark.sql.shuffle.partitions を 512 に設定し、データを取り込み、ナロー変換を実行してから、parquet に書き込みます。

質問 80/80

コメントを発表する

Download PDF File