バッチ正規化後の統計 (PBN) は、推論のオリジナル ペーパーで使用できるバッチ正規化の母集団平均と分散を評価する方法の Microsoft Cognitive Toolkit (CNTK) バージョンです。
CNTK では、カスタム ネットワークは BrainScriptNetworkBuilder を使用して定義され、CNTK ネットワーク記述言語「BrainScript」で記述されます。シナリオ:
ローカルペナルティ検出モデルは、BrainScript を使用して記述する必要があります。
参考文献:
https://docs.microsoft.com/en-us/cognitive-toolkit/post-batch-normalization-statistics
トピック1、1つのケーススタディ
概要
あなたは、プロスポーツ イベントにデータ サイエンスを提供する会社のデータ サイエンティストです。モデルは、次のビジネス目標を満たすグローバルおよびローカル市場データになります。
* 観客の反応の音声に基づいて、スポーツイベントでのモバイルデバイス ユーザーの感情を理解します。
* ユーザーが広告に反応する傾向にアクセスします。
* モバイル デバイスに表示される広告のスタイルをカスタマイズします。
* ビデオを使用してペナルティイベントを検出します。
現在の環境
要件
* ペナルティ イベントの検出に使用されるメディアは、消費者向けデバイスによって提供されます。メディアには、スポーツ イベント中にキャプチャされ、ソーシャル メディアを使用して収集された画像やビデオが含まれる場合があります。画像とビデオのサイズと形式はさまざまです。
* モデル構築に利用できるデータは、7 年間のスポーツ イベント メディアから構成されています。スポーツ イベント メディアには、録画されたビデオ、ラジオ解説のトランスクリプト、スポーツ イベント中にキャプチャされた関連ソーシャル メディア フィードのログが含まれます。
* 観客の感情には、イベント参加者がモノラルとステレオの両方の形式で提出した音声録音が含​​まれます。
広告
* 広告応答モデルは、各イベントの開始時にトレーニングされ、スポーツイベント中に適用する必要があります。
* 市場セグメンテーション セグメントは、類似の広告レスポンス履歴に合わせて最適化する必要があります。
* サンプリングでは、同じ機能を共有するローカルおよびグローバルのセグメンテーション モデルの相互および集合的な排他性を保証する必要があります。
* ユーザーの広告への反応傾向を判断する前に、ローカル市場セグメンテーション モデルが適用されます。
* データ サイエンティストは、モデルの劣化と劣化を検出できる必要があります。
* 広告応答モデルは非線形境界機能をサポートする必要があります。
* 広告傾向モデルでは、カットしきい値として 0.45 が使用され、加重カッパが 0.1 +/- 5% から逸脱すると再トレーニングが行われます。
* 広告傾向モデルでは、次の図に示すコスト要因が使用されます。

広告傾向モデルでは、次の図に示す提案されたコスト要因が使用されます。

現在のコスト要因シナリオと提案されたコスト要因シナリオのパフォーマンス曲線を次の図に示します。

ペナルティ検出と感情
調査結果
* データ サイエンティストは、ペナルティ イベントの検出に複数の機械学習モデルを使用して、インテリジェントなソリューションを構築する必要があります。
* データ サイエンティストは、機械学習パイプラインで自動機能エンジニアリングとモデル構築を使用して、ローカル環境でノートブックを構築する必要があります。
* 動的ワーカー割り当てを備えた Spark インスタンスを使用して再トレーニングするには、ノートブックをデプロイする必要があります。
* ノートブックは、データのソースのみを再コーディングするために、新しい Spark インスタンスで同じコードを実行する必要があります。
* グローバルペナルティ検出モデルは、トレーニング中に動的ランタイムグラフ計算を使用してトレーニングする必要があります。
* ローカルペナルティ検出モデルは、BrainScript を使用して記述する必要があります。
* ローカル群衆感情モデルの実験では、ローカルペナルティ検出データを組み合わせる必要があります。
* 群衆感情モデルは、歓声や既知のキャッチフレーズなどの既知の音を識別する必要があります。個々の群衆感情モデルは、類似した音を検出します。
* ローカル モデルのすべての共有機能は連続変数です。
* 共有フィーチャは倍精度を使用する必要があります。後続のレイヤーには、集計実行平均と標準偏差メトリックが利用可能である必要があります。
セグメント
生産開始から数週間の間に、次のようなことが観察されました。
* 広告の反応率が低下しました。
* ドロップは広告スタイル間で一貫していませんでした。
* トレーニング データと本番データ間の特徴の分布は一貫していません。
分析により、ユーザーの位置情報と行動に関する 100 個の数値特徴のうち、位置情報ソースから取得した 47 個の特徴が生の特徴として使用されていることがわかりました。バイアスと分散の問題を解決するための推奨される実験は、線形に補正されていない 10 個の特徴を設計することです。
ペナルティ検出と感情
* 初期データ検出では、群衆感情モデルに使用されるトレーニング データ内のターゲット状態の密度の範囲が広いことが示されます。
* すべてのペナルティ検出モデルは、確率的勾配降下法 (SGD) を使用した推論フェーズが過度に実行されていることを示しています。
* 音声サンプルによると、キャッチフレーズの長さは地域によって 25% ～ 47% 異なります。
* グローバル ペナルティ検出モデルのパフォーマンスは、トレーニング セットと検証セットを比較すると、分散は低くなりますが、バイアスは高くなります。機能の変更を実装する前に、すべてのトレーニング ケースと検証ケースを使用してバイアスと分散を確認する必要があります。