<<前へ 次へ>>

質問 14/72

Sparkアプリケーションは、過剰なパーティショニングにより小さなタスクが多すぎるという問題を抱えています。フルシャッフルを行わずにこれを修正するにはどうすればよいですか?
オプション:

コメントを発表する

あなたのメールアドレスは公開されません。必要な部分に * が付きます。

質問一覧「72問」
質問1 DataFrameには、name、age、salaryの列があります。開発者は、Da...
質問2 Spark 開発者は、テストのためにローカル モードで Spark ジョブ...
質問3 Spark エンジニアは、Spark ジョブに適切なデプロイメント モー...
質問4 データ エンジニアは、feed と呼ばれる Kafka トピックから読み...
質問5 10 個のパーティションを持つ DataFramedf がある場合、コードを...
質問6 データ エンジニアは、ストリーミング データフレームを Parquet...
質問7 あなたが持っている: データフレームA: 128 GBのトランザクショ...
質問8 DataFrame df には、name、age、salary の列があります。開発者...
質問9 my_spark_app.py に次のコード スニペットがあるとします。 (Exh...
質問10 55 件中 22 件目。 Spark アプリケーションでは、ファイルのスキ...
質問11 データエンジニアは、注文情報を含む大規模なJSONデータセットを...
質問12 10 個のパーティションを持つ DataFrame df がある場合、コード...
質問13 データエンジニアは、新しいマネージドテーブルを作成するSpark...
質問14 Sparkアプリケーションは、過剰なパーティショニングにより小さ...
質問15 データエンジニアがSparkジョブを実行し、分散ストレージに保存...
質問16 データ エンジニアは Kafka からデータをストリーミングしており...
質問17 開発者は、次のコードを使用して、2 つのテーブル (sales.purcha...
質問18 アダプティブ クエリ実行 (AQE) の利点は何ですか?
質問19 データ アナリストは、勤続年数が 5 年以上の従業員を取得する必...
質問20 以下のコード ブロックでは、aggDF にストリーミング DataFrame ...
質問21 ドライバーのリソースが制限されているため、Spark アプリケーシ...
質問22 データエンジニアは、JSONイベントのストリームをリアルタイムで...
質問23 55件中17件目。 データ エンジニアは、アプリケーションの Spark...
質問24 my_spark_app.py に次のコード スニペットがあるとします。 (Exh...
質問25 データ エンジニアが DataFrame に取り組んでいます。 (Exhibit)...
質問26 データサイエンティストは、ユーザープロファイルテーブル内の一
質問27 開発者は、Spark 3.5.0 で導入された組み込み関数を活用するため...
質問28 データ アナリストは、タイムスタンプ列から派生した日付列を追
質問29 55件中44件目。 データ エンジニアは、Spark Structured Streami...
質問30 Spark DataFrame の df.cache() と df.persist() の違いは何です...
質問31 データエンジニアは、新しいマネージドテーブルを作成するSpark...
質問32 2/55. DataFrame を書き込むときに既存の JSON ファイルを上書き...
質問33 Spark クラスターとのリモート対話を可能にするアプリケーション...
質問34 エンジニアは、/file/test_data.orc にある大きな ORC ファイル...
質問35 データ エンジニアは、毎日最新のデータで上書きされる Parquet ...
質問36 データ エンジニアは、ストリーミング データフレームを Parquet...
質問37 Spark Connect の機能は何ですか?
質問38 データ エンジニアはパフォーマンスを向上させるために、正確な ...
質問39 次の内容の CSV ファイルがあるとします: (Exhibit) そして次の...
質問40 あるデータサイエンティストが、PySparkを使用してApache Spark...
質問41 開発者は以下を実行します: (Exhibit) 結果はどうなりましたか?...
質問42 Apache Arrow を使用して Pandas と PySpark DataFrames 間の変...
質問43 55 件中 4 件目。 ある開発者は、SQLクエリを用いて大規模なデー...
質問44 あるデータエンジニアが、Apache Spark Structured Streamingを...
質問45 データエンジニアは、ファイルベースのデータソースを特定の場所
質問46 Spark開発者がタスクパフォ​​ーマンスを監視するアプリを構築...
質問47 DataFrame を書き込むときに既存の JSON ファイルを上書きするコ...
質問48 55 件中 7 件目。 開発者はSparkアプリケーションの問題をデバッ...
質問49 データエンジニアは、sensor_id、temperature、timestampの列を...
質問50 与えられた条件: パイソン コピー編集 スパーク.sparkContext.se...
質問51 データエンジニアは、上流チームから毎晩配信されるParquetファ...
質問52 データ アナリストは、タイムスタンプ列から派生した日付列を追
質問53 次のコードがあるとします: (Exhibit) .withWatermark("event_ti...
質問54 55件中37件目。 データ サイエンティストは、顧客情報が含まれる...
質問55 データ エンジニアは、DataFrame に複数の変換を適用する Spark ...
質問56 次のコード フラグメントではエラーが発生します。 @F.udf(T.Int...
質問57 データ アナリストは、財務データを分析し、フィルター、選択、
質問58 Spark DataFrame 上の大規模な Pandas API を Pandas DataFrame ...
質問59 27 of 55. A data engineer needs to add all the rows from one...
質問60 55 件中 8 件目。 大手eコマース企業のデータサイエンティストは...
質問61 55件中41件目。 データ エンジニアは DataFrame df1 で作業して...
質問62 55 件中 23 件目。 あるデータサイエンティストは、単一マシンの...
質問63 Which feature of Spark Connect is considered when designing ...
質問64 次のコード フラグメントではエラーが発生します。 @F.udf(T.Int...
質問65 55 件中 20 件目。 Spark DataFrame の df.cache() と df.persis...
質問66 55件中46件目。 データ エンジニアは、遅れて到着するレコードを...
質問67 次のコードがあるとします: (Exhibit) .withWatermark("event_ti...
質問68 55 件中 11 件目。 どの Spark 構成が、エグゼキュータ上で並列...
質問69 1/55。データ サイエンティストは、出力 DataFrame の各レコード...
質問70 Apache Spark での実行中のジョブ、ステージ、タスク間の関係は...
質問71 MLOpsエンジニアが、英語の文字列をスペイン語に翻訳する言語モ...
質問72 あなたが持っている: データフレームA: 128 GBのトランザクショ...