説明/参照:
Explanation:
行全体を削除: データセット内の1つ以上の欠損値を持つ行を完全に削除します。欠損値がランダムに欠損していると考えられる場合に便利です。
参考文献:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/clean-missing-data テストレット 1 ケーススタディ 概要 あなたは、プロスポーツイベント向けのデータサイエンスサービスを提供する企業のデータサイエンティストです。モデルは、グローバルおよびローカルの市場データを使用して、以下のビジネス目標を達成します。
観客の反応の音声に基づいて、スポーツイベントでのモバイルデバイス ユーザーの感情を理解します。

ユーザーが広告に反応する傾向を評価します。

モバイル デバイスに表示される広告のスタイルをカスタマイズします。

ビデオを使用してペナルティイベントを検出する

現在の環境
ペナルティイベント検出に使用されるメディアは、消費者向けデバイスによって提供されます。メディアには以下が含まれます。

スポーツイベント中に撮影され、ソーシャルメディアで共有された画像と動画。画像と動画のサイズと形式は様々です。
モデル構築に利用可能なデータは、7年間のスポーツイベントメディアから構成されています。

イベント メディアには、録画されたビデオのトランスクリプトやラジオ解説、スポーツ イベント中にキャプチャされた関連ソーシャル メディア フィードからのログが含まれます。
観客の感情には、イベント参加者が提出したモノラルとステレオの両方の音声録音が含​​まれます。

フォーマット。
ペナルティ検出と感情
データサイエンティストは、ペナルティのために複数の機械学習モデルを使用してインテリジェントなソリューションを構築する必要がある。

イベント検出。
データサイエンティストは、自動特徴エンジニアリングと

機械学習パイプラインにおけるモデル構築。
動的ワーカー割り当てを備えた Spark インスタンスを使用して再トレーニングするには、ノートブックをデプロイする必要があります。

ノートブックは、新しいSparkインスタンスで同じコードを実行して、ソースコードのみを再コーディングする必要があります。

データ。
グローバルペナルティ検出モデルは、動的実行時グラフ計算を使用してトレーニングする必要がある。

トレーニング。
ローカルペナルティ検出モデルは、BrainScript を使用して記述する必要があります。

ローカル群衆感情モデルの実験では、ローカルペナルティ検出データを組み合わせる必要があります。

群衆感情モデルは、歓声や既知のキャッチフレーズなどの既知の音を識別する必要があります。

個々の群衆感情モデルは類似した音を検出します。
ローカル モデルのすべての共有機能は連続変数です。

共有フィーチャは倍精度を使用する必要があります。後続のレイヤーは集計移動平均を使用する必要があります。

標準偏差メトリックも利用可能です。
広告
生産開始から数週間の間に、次のようなことが観察されました。
広告レスポンスの評価は拒否されました。

ドロップは広告スタイル間で一貫していませんでした。

トレーニングデータと本番データ間の特徴量の分布が一貫していない

分析の結果、ユーザーの位置情報と行動に関する100個の数値特徴量のうち、位置情報源から得られる47個の特徴量が生の特徴量として使用されていることが分かりました。バイアスと分散の問題を解決するために提案される実験は、線形相関のない10個の特徴量を設計することです。
初期データ検出では、群衆学習に使用されたトレーニングデータにおけるターゲット状態の密度が広範囲に渡っていることが示された。

感情モデル。
すべてのペナルティ検出モデルは、確率的勾配降下法（SGD）を用いた推論段階が

実行が遅すぎます。
音声サンプルによると、キャッチフレーズの長さは地域によって25%～47%異なる。

グローバルペナルティ検出モデルのパフォーマンスは、以下の場合に分散は低くなりますが、バイアスは高くなります。

トレーニングセットと検証セットの比較。特徴量の変更を実施する前に、すべてのトレーニングケースと検証ケースを用いてバイアスと分散を確認する必要があります。
広告反応モデルは各イベントの開始時にトレーニングされ、スポーツイベント中に適用される必要がある。

イベント。
市場セグメンテーション モデルでは、類似した広告応答履歴を最適化する必要があります。

サンプリングは、ローカルセグメンテーションとグローバルセグメンテーションの間の相互的かつ集合的な関係を保証する必要がある。

同じ機能を共有するモデル。
ユーザーの反応傾向を判断する前に、ローカル市場セグメンテーションモデルが適用されます。

広告。
広告応答モデルは、機能の非線形境界をサポートする必要があります。

広告傾向モデルはカット閾値0.45を使用し、加重カッパが逸脱した場合には再トレーニングが行われる。

0.1 +/- 5% から。
広告傾向モデルでは、次の図に示すコスト要因が使用されます。


広告傾向モデルでは、次の図に示す提案されたコスト要因が使用されます。


現在のコスト要因シナリオと提案されたコスト要因シナリオのパフォーマンス曲線を次の図に示します。