Professional-Data-Engineer-JPN的中率質問139：オンプレミスクラスタから Dataproc と Good Storage に Hadoop ジョブを移行しました。Spark ジョブは、多数のシャッフル操作で構成される複雑な分析ワークロードで、初期データはパーケット

<<前へ次へ>>

質問 139/171

オンプレミスクラスタから Dataproc と Good Storage に Hadoop ジョブを移行しました。Spark ジョブは、多数のシャッフル操作で構成される複雑な分析ワークロードで、初期データはパーケットタイル (平均でそれぞれ 200～400 MB) です。Dataproc への移行後にパフォーマンスが低下したため、最適化したいと考えています。組織はコストに非常に敏感であるため、このワークロードでは引き続きプリエンプティブで Dataproc (非プリエンプティブワーカー 2 台のみ) を使用することをお勧めします。どうすればよいですか。

A. HOD から SSD に切り替えると、プリエンプティブ VM 構成がオーバーライドされ、ブートディスクのサイズが増加します。 B. parquet ファイルの代わりに TFRecords 形式 (1 週間あたり約 200 MB) に切り替えます。 C. HDD から SSD に切り替えます。初期データを Cloud Storage から Hadoop 分散ファイルシステム (HDFS) にコピーし、Spark ジョブを実行して結果を Cloud Storage にコピーします。 D. parquetファイルのサイズを増やして、最低1GBになるようにします。

質問一覧「171問」: 質問1 オンプレミスのデータセンター内とクラウド内に、複数の異なる非; 質問2 株式取引を保存するデータベースと、調整可能な期間にわたって特; 質問3 データウェアハウスを BigQuery に移行しています。すべてのデ...; 質問4 現在、あなたの会社ではキャンペーン用のデータパイプラインを; 質問5 Google BigQuery をデータウェアハウスとして使用しています。...; 質問6 Dataform を使用して BigQuery で ELT ソリューションを構築して...; 質問7 メディアストリーミングサービスであるモバイルアプリケーシ...; 質問8 Flowlogistic は、リアルタイムの在庫追跡システムを展開してい...; 質問9 Cloud Machine Learning Engine を使用して自分のパソコンで Ten...; 質問10 世界中に分散されたオークションアプリケーションでは、ユーザ; 質問11 会社用に新しいリアルタイムデータウェアハウスを構築しており...; 質問12 BigQuery に保存されている顧客データを暗号化したいと考えてい...; 質問13 データサイエンティストが BigQuery ML モデルを作成し、予測を...; 質問14 ソフトウェアでは、すべてのメッセージにシンプルな JSON 形式を...; 質問15 あなたの会社の経営者から銀行取引のデータベースを渡されました; 質問16 Google Data Studio 360 で大規模なチーム向けの重要なレポート...; 質問17 Dataproc クラスタ内の仮想マシンがジョブを実行できるようにす...; 質問18 あなたの会社では、独自のシステムを使用して、6 時間ごとに在庫...; 質問19 社内の IT アプリケーションの 1 つと Google BigQuery を統合し...; 質問20 次の要件を満たす運用チーム向けの視覚化を作成する必要がありま; 質問21 Put/Sub フィードのサブスクライバーのコードを更新しています。...; 質問22 スケジュールに従って実行する必要があるバッチジョブをいくつ; 質問23 地域 BigOuery データセットにデータを保存するためのフォールト...; 質問24 BigQuery ML で線形回帰モデルを作成し、顧客が自社の製品を購入...; 質問25 機械学習データセットをトレーニングデータとテストデータに分...; 質問26 会社のデータプラットフォームは、上流ソースからの予約データ; 質問27 Cloud Dataprep を使用して、BigQuery テーブル内のデータのサン...; 質問28 ユーザーにテーブルの最初の 3 列のみの読み取り権限を与えるに...; 質問29 Google Stackdriver Logging を使用して、Google BigQuery の使...; 質問30 MJTelco では、過去 2 年間の記録の履歴分析を可能にするスキー...; 質問31 BigQuery データウェアハウス内の主要な在庫テーブルを読み取る...; 質問32 デフォルトでは、Dataflow は次のウィンドウ動作のどれを無制限...; 質問33 Google Cloud 上に分析環境を作成し、データサイエンティスト ...; 質問34 世界中の倉庫の温度データを収集するために、10,000 台の新しい ...; 質問35 数百万件の機密性の高い患者記録をリレーショナルデータベース; 質問36 Cloud Dataproc クラスタを使用する場合、ブラウザを ____ プロ...; 質問37 Google Dataproc で使用するサービスアカウントに必要な最小限...; 質問38 ストリーミング Cloud Dataflow パイプラインを運用しています。...; 質問39 Dataflow ジョブのネットワークを構成しています。データパイプ...; 質問40 Cloud Machine Learning Engine ではどのソフトウェアライブラ...; 質問41 あなたの会社では、Google Cloud Storage と Google Compute Eng...; 質問42 BigQuery にデータが保存されています。BigQuery データセットの...; 質問43 データセットに個々の人物の行と、生年月日、国、収入の列が含ま; 質問44 図書館の書籍と、著者や出版年などの各書籍の情報を追跡するアプ; 質問45 組織で GCP の利用が拡大するにつれて、多くのチームが独自のプ...; 質問46 時系列トランザクションデータをコピーするデータパイプライン...; 質問47 日付ごとに分割された、何百万行もの売上データを含むテーブルが; 質問48 パブリック HTTPS エンドポイントから Cloud Storage に大量のフ...; 質問49 顧客の販売コンバージョンにつながる要因を識別するモデルを開発; 質問50 Cloud Bigtable スキーマの行キーを設計する際の一般的な推奨事...; 質問51 オンプレミスのデータウェアハウスを BigQuery に移行していま...; 質問52 Flowlogistic の経営陣は、現在の Apache Kafka サーバーではリ...; 質問53 特定の日に雨が降るかどうかを予測するモデルを構築しています。; 質問54 Cloud Bigtable は、Google の ______ ビッグデータデータベー...; 質問55 スケーラブルな方法でデータを収集する必要がある新しいアプリケ; 質問56 Pub/Sub を使用して、プッシュサブスクリプションに依存するイ...; 質問57 数百万件の機密性の高い患者記録をリレーショナルデータベース; 質問58 あなたの会社は、さまざまなクライアントのデータ処理を担当して; 質問59 次のどれがスパースベクトルの値の例ですか? (回答を 2 つ選択し...; 質問60 あなたは航空会社に勤務しており、BigQuery テーブルに気象デー...; 質問61 あなたは経済コンサルティング会社で働いており、企業が経済動向; 質問62 天気予報アプリは、現在の気温を取得するために 15 分ごとにデー...; 質問63 世界中の何百万ものデバイスから IoT センサーデータを収集し、...; 質問64 BigQuery Web UI から実行できる操作はどれですか?...; 質問65 組織全体のデータセットを準備しています。Cloud Storage の制限...; 質問66 次の条件を満たすクラウドネイティブの履歴データ処理システムを; 質問67 Cloud Storage には、データサイエンスチームがモデルで使用し...; 質問68 バッチ予測ではなくオンライン予測を使用することの特徴を 2 つ...; 質問69 顧客が電子商取引サイトで購入する可能性を予測する新しいディー; 質問70 不動産物件の利用可能なデータセットに基づいて住宅価格を予測す; 質問71 パイロットプロジェクトとして、3 つのクリニックの数百人の患...; 質問72 人間の顔が含まれているかどうかがラベル付けされた画像のデータ; 質問73 50,000 個のセンサーから取得した分単位の解像度のデータを BigQ...; 質問74 金融市場データを消費者と共有し、消費者がデータフィードを受; 質問75 ある航空宇宙企業は、独自のデータ形式を使用して夜間データを保; 質問76 データ処理パイプラインを設計しています。パイプラインは、負荷; 質問77 Google Cloud でデータパイプラインを構築しています。機械学習...; 質問78 BigQuery でテーブルを非正規化するために使用できる 2 つの方法...; 質問79 スパム分類器をトレーニングしています。トレーニングデータ a ...; 質問80 テーブルを BigQuery に移行し、データモデルを変更しています...; 質問81 BigQuery のデータ変換ソリューションを設計しています。開発者...; 質問82 自動車工場では、機械の測定値をメッセージとして Google Cloud ...; 質問83 あるオンライン小売業者は、現在のアプリケーションを Google Ap...; 質問84 ペタバイト規模の分析データがあり、そのためのストレージおよび; 質問85 あなたは自動車メーカーに勤務しており、異常なセンサーイベン; 質問86 会社では、WHILECARD テーブルを使用して、類似した名前を持つ複...; 質問87 Google Cloud で構造化データのバッチパイプラインを再構築した...; 質問88 Cloud Storage バケットに存在する Apache Hive パーティション...; 質問89 あなたの会社では、工場の現場から Bigtable にリアルタイムのセ...; 質問90 JdbclO を使用して Cloud SQL インスタンスからデータを抽出する...; 質問91 あなたは、従業員 40 万人以上を抱える大手ファーストフードレ...; 質問92 Google Cloud で実行されるマルチステップデータパイプライン...; 質問93 タイムスタンプと ID 列の WHERE 句を使用して BigQuery テーブ...; 質問94 外部の顧客が、データベースから毎日データをダンプして提供しま; 質問95 SQL パイプラインを作成する必要があります。パイプラインは、2 ...; 質問96 会社のデータアナリストチームは、2,000 スロットのスロット予...; 質問97 次の要件を満たす運用チーム向けの視覚化を作成する必要がありま; 質問98 履歴データは Cloud Storage に保存します。履歴データに対して...; 質問99 Dataflow に新しいバッチジョブを発行します。ジョブは正常に開...; 質問100 米国に拠点を置く会社が、ユーザーアクションを評価して応答す; 質問101 すべての Google Cloud Bigtable クライアントリクエストはフロ...; 質問102 Pub/Sub サブスクリプションから直接データを取り込む BigQuery ...; 質問103 Cloud Storage をデータレイクソリューションの基盤として使用...; 質問104 あなたの会社は最近急速に成長し、以前よりも大幅に高い速度でデ; 質問105 Cloud Bigtable 用の HBase Shell とは何ですか?...; 質問106 BigQuery を集中分析プラットフォームとして使用しています。新...; 質問107 Cloud Bigtable の _________ により、Cloud Dataflow パイプラ...; 質問108 ユーザーが何を食べたいかを予測する機械学習ベースの食品注文サ; 質問109 チームの共有テーブルを単一のデータセットに保存して、さまざま; 質問110 ある航空宇宙企業は、独自のデータ形式を使用して夜間データを保; 質問111 パソコンのウェブブラウザから Cloud Dataproc クラスタにウェブ...; 質問112 Cloud Storage から BigQuery に CSV ファイルをロードしていま...; 質問113 BigQuery によって処理される列の数を減らすために使用できる SQ...; 質問114 Google Cloud で新しいパイプラインを作成し、Cloud Pub/Sub か...; 質問115 ジョブジェネレーターとジョブランナーという 2 種類のアプリ...; 質問116 Pub/Sub トピックから読み取る Apache Beam 処理パイプラインを...; 質問117 会社では、履歴データを Cloud Storage にアップロードする必要...; 質問118 あなたの会社にはハイブリッドクラウドイニシアチブがあります...; 質問119 Cloud Bigtable を使用して、主要な各指数の株式市場データを永...; 質問120 あなたは、ハンドヘルドスキャナーを使用して配送ラベルを読み; 質問121 あなたのスタートアップには、現在アジア地域の 1 つの顧客にサ...; 質問122 Cloud Key Management Service（Cloud KMS）に保存されている暗...; 質問123 Bigtable クラスター内の特定のノードで、不均衡な数の読み取り...; 質問124 Dataflow プログラムをローカルで実行するために使用できる Java...; 質問125 Dataproc クラスタにプリエンプティブワーカーを追加するときに...; 質問126 あなたは、さまざまなストレージサービスでそれぞれのデータ所; 質問127 BigQuery キャッシュに関する次の記述のうち正しいものはどれで...; 質問128 数百万台のコンピューターの CPU とメモリの使用状況を時系列で...; 質問129 Cloud Bigtable にデータを保存する場合、保存するデータの推奨...; 質問130 住宅価格を予測するモデルを作成しています。予算の制約により、; 質問131 Kafka クラスタを介して Redis クラスタにストリーミングデータ...; 質問132 BigQuery で小売取引データを保持するデータモデルを作成してい...; 質問133 BigQuery ソースを持つパイプラインをローカルマシンで実行する...; 質問134 MJTelco の Google Cloud Dataflow パイプラインは、50,000 のイ...; 質問135 Google Kubernetes Engine (GKE) で実行されるデータ処理アプリ...; 質問136 Dataproc クラスタには多くの構成ファイルが含まれています。こ...; 質問137 BigQuery プロジェクトをオンデマンド課金モデルで実行しており...; 質問138 社内の IT アプリケーションの 1 つと Google BigQuery を統合し...; 質問139 オンプレミスクラスタから Dataproc と Good Storage に Hadoop...; 質問140 あなたの会社では、Google Cloud Dataflow で学習アルゴリズムの...; 質問141 あなたは広告会社に勤めており、広告ブロックのクリックスルー率; 質問142 BigQuery テーブルに 100 GB のデータが格納されています。この...; 質問143 MJTelco が 1 日に取り込むことに関心のあるレコードストリーム...; 質問144 最高のパフォーマンスを得るために、Compute Engine インスタン...; 質問145 Node.js で記述された Cloud Functions があり、Cloud Pub/Sub ...; 質問146 数百万のモノのインターネット (IoT) デバイスから送信されるテ...; 質問147 特定の条件が満たされた場合に、ウィンドウのコンテンツをいつ出; 質問148 Google Cloud で推奨エンジンを使用するアプリケーションを開発...; 質問149 あなたの会社は、オンプレミスのデータウェアハウスソリューシ...; 質問150 社内のデータアナリストには、プロジェクトで複数の GCP プロダ...; 質問151 Cloud Bigtable は、非常に大量の ____________________________...; 質問152 ワイド＆ディープラーニングモデルに関する次の記述のうち、正...; 質問153 Google Cloud Bigtable インスタンスの SSD ストレージと HDD ス...; 質問154 キャンセルしたいジョブがあります。これはストリーミングパイ; 質問155 組織にはプロジェクト A とプロジェクト B の 2 つの Google Clo...; 質問156 ETL ジョブを BigQuery で実行するように移行した後、移行したジ...; 質問157 オンプレミスクラスタから Hadoop ジョブを Dataproc と GCS に...; 質問158 BigQuery で非正規化データ構造を使用する 2 つの利点は何ですか...; 質問159 「person」という列の中に「city」というネストされた列を含むテ...; 質問160 分析には BigQuery のデータセットを使用します。サードパーティ...; 質問161 データが 30 分以上受信されたときにセンサーからの平均ノイズ ...; 質問162 BigQuery の静的参照データを使用して Cloud Pub/Sub のデータを...; 質問163 Dataflow を使用してストリーミングパイプラインを実行し、ホッ...; 質問164 現在のオンプレミスの Apache Hadoop デプロイメントをクラウド...; 質問165 Google の Dataflow SDK を使用してソフトウェアアプリケーショ...; 質問166 BigQuery テーブルをデータシンクとして使用したいと考えていま...; 質問167 あなたの会社では BigQuery を使用してデータウェアハウスを実...; 質問168 プライベートユーザーデータを含む機密プロジェクトに取り組んで; 質問169 あなたは画像認識分野のニッチな製品に取り組んでいます。あなた; 質問170 あなたは銀行で働いています。すでに承認されたローン申請に関す; 質問171 時系列指標を集約して Cloud Bigtable に書き込む Cloud Dataflo...

質問 139/171

コメントを発表する

Download PDF File