ケーススタディ1 - ファブリカム社
背景
Fabrikam Inc.は、米国全土の地域病院システムに対し、人口健康ダッシュボードと予測分析を提供する中規模のヘルスケア分析企業です。
Fabrikam Inc.の顧客は、患者の流れ、人員配置のニーズ、再入院リスクを監視するために、ほぼリアルタイムの分析を活用しています。彼らは、予測のために複数の従来型の予測機械学習モデルを使用しています。
Fabrikam Inc.は既にMicrosoft Azureを基盤として運用しています。同社は、ローカルサーバー上で動作するJupyter Notebookを主要な開発環境として使用しています。しかし、データサイエンスチームは、現在の開発プラットフォームにおいて、スケーラビリティ、資産管理、コード管理に関する課題に直面しています。Fabrikam Inc.は、これらの課題を解消するため、クラウドベースの開発環境への移行を計画しています。
さらに、同社は顧客サポート向けに、検索拡張生成（RAG）ベースのチャットアプリケーションを導入する予定です。経営陣は、運用リスクを低く抑えながらアプリケーションを開発・展開することを求めています。
現在の環境
Fabrikam Inc.は、以下のコンポーネントを含む単一のAzureサブスクリプションを運用しています。
* 匿名化された臨床データセットおよび運用データセットを含むAzure Data Lake Storage Gen2
* Azure AI Search は、厳選された分析ドキュメントと参考資料をインデックス化します。
* データサイエンティストが管理する、Pythonベースの小規模なトレーニングスクリプト群
* 基盤となるモデルがデプロイされたAzure OpenAIサービス
* RAGベースのソリューションを構築するためのMicrosoft Foundryリソース
評価データには、手動で定義された期待される反応が含まれています。
データサイエンスチームが現在直面している課題は以下のとおりです。
* モデル学習ジョブは、ノートブックから手動で実行されます。
* 実験の追跡が不規則です
* モデルのバージョンは、標準化されたメタデータなしで登録されます。
* デプロイはデータサイエンティストが手動で行い、ロールバック機能は限定的です。
* チームには、生成型AIの出力に関する標準化された評価プロセスがありません。
現在の環境では、パブリックネットワークへのアクセスが許可されています。認証は、管理されたIDではなく、ユーザーアカウントに依存しています。計算ターゲットは手動で作成され、複数の実験で共有されています。このため、ピーク使用時にリソースの競合が発生しています。
ビジネス要件
Fabrikam Inc.は、近代化イニシアチブに関して以下のビジネス要件を掲げています。
内部文書やデータセットを使用して、分析に関する質問に答える対話型インターフェースを提供する。
* 機密性の高い医療関連データが、Fabrikam Inc.のAzureテナント外に公開されないようにしてください。
* 再現性と監査可能性を備えたモデルのトレーニングおよびデプロイプロセスを可能にする。
* プロンプト戦略と微調整されたモデルを比較するための実験を支援する。
* モデルをランク付けされた嗜好に合わせて調整し、長期的な行動を最適化する。
・導入期間中、既存の分析ワークロードへの影響を最小限に抑える。
技術要件
事業目標を支援するため、Fabrikam Inc.は以下の技術要件を特定しました。
* Azure Machine Learningワークスペースを使用して、データ資産、モデル、および環境を一元的に管理します。
* すべてのトレーニングジョブに対して、実験追跡とモデルのバージョン管理を実装する。
手動でノートブックを実行するのではなく、パイプラインを使用してトレーニングと評価をオーケストレーションします。
* 段階的なロールアウトとロールバックをサポートする、従来型の機械学習モデルをデプロイします。
* RAGベースのソリューション出力品質を向上させる。
* 入出力ペアを含む実データに基づいた既存の評価データセットを使用する。
* 迅速なエンジニアリングでは不十分な場合にのみ、高度な微調整技術を適用します。 課題と制約 Fabrikam Inc. は、ネットワーク アクセスを制限し、長期間秘密を保持することを避けることを要求する社内セキュリティ ポリシーを遵守する必要があります。データ サイエンス チームは Azure DevOps の経験が限られているため、ソリューションはカスタム インフラストラクチャよりもマネージド サービスと自動化を優先する必要があります。
コスト予測可能性は重要です。経営陣は可能な限りサーバーレスまたはマネージドコンピューティングオプションを好みますが、安定した本番ワークロードに対しては専用コンピューティングも承認する用意があります。
問題提起
Fabrikam Inc.は、生成型AIモデルの信頼性の高いトレーニング、評価、デプロイ、および反復を可能にするAzureベースのAI運用ソリューションを設計および実装する必要があります。このソリューションは、ガバナンス、セキュリティ、および運用上の安定性を確保しながら、実験と段階的な展開をサポートする必要があります。データサイエンスチームとプラットフォームチームは、Azure Machine LearningとMicrosoft Foundryの機能を活用して、このソリューションを実現するために協力する必要があります。
実験結果の一貫性を確保できるような実験追跡戦略を提案する必要があります。どのような戦略を提案すべきでしょうか？
背景
Fabrikam Inc.は、米国全土の地域病院システムに対し、人口健康ダッシュボードと予測分析を提供する中規模のヘルスケア分析企業です。
Fabrikam Inc.の顧客は、患者の流れ、人員配置のニーズ、再入院リスクを監視するために、ほぼリアルタイムの分析を活用しています。彼らは、予測のために複数の従来型の予測機械学習モデルを使用しています。
Fabrikam Inc.は既にMicrosoft Azureを基盤として運用しています。同社は、ローカルサーバー上で動作するJupyter Notebookを主要な開発環境として使用しています。しかし、データサイエンスチームは、現在の開発プラットフォームにおいて、スケーラビリティ、資産管理、コード管理に関する課題に直面しています。Fabrikam Inc.は、これらの課題を解消するため、クラウドベースの開発環境への移行を計画しています。
さらに、同社は顧客サポート向けに、検索拡張生成（RAG）ベースのチャットアプリケーションを導入する予定です。経営陣は、運用リスクを低く抑えながらアプリケーションを開発・展開することを求めています。
現在の環境
Fabrikam Inc.は、以下のコンポーネントを含む単一のAzureサブスクリプションを運用しています。
* 匿名化された臨床データセットおよび運用データセットを含むAzure Data Lake Storage Gen2
* Azure AI Search は、厳選された分析ドキュメントと参考資料をインデックス化します。
* データサイエンティストが管理する、Pythonベースの小規模なトレーニングスクリプト群
* 基盤となるモデルがデプロイされたAzure OpenAIサービス
* RAGベースのソリューションを構築するためのMicrosoft Foundryリソース
評価データには、手動で定義された期待される反応が含まれています。
データサイエンスチームが現在直面している課題は以下のとおりです。
* モデル学習ジョブは、ノートブックから手動で実行されます。
* 実験の追跡が不規則です
* モデルのバージョンは、標準化されたメタデータなしで登録されます。
* デプロイはデータサイエンティストが手動で行い、ロールバック機能は限定的です。
* チームには、生成型AIの出力に関する標準化された評価プロセスがありません。
現在の環境では、パブリックネットワークへのアクセスが許可されています。認証は、管理されたIDではなく、ユーザーアカウントに依存しています。計算ターゲットは手動で作成され、複数の実験で共有されています。このため、ピーク使用時にリソースの競合が発生しています。
ビジネス要件
Fabrikam Inc.は、近代化イニシアチブに関して以下のビジネス要件を掲げています。
内部文書やデータセットを使用して、分析に関する質問に答える対話型インターフェースを提供する。
* 機密性の高い医療関連データが、Fabrikam Inc.のAzureテナント外に公開されないようにしてください。
* 再現性と監査可能性を備えたモデルのトレーニングおよびデプロイプロセスを可能にする。
* プロンプト戦略と微調整されたモデルを比較するための実験を支援する。
* モデルをランク付けされた嗜好に合わせて調整し、長期的な行動を最適化する。
・導入期間中、既存の分析ワークロードへの影響を最小限に抑える。
技術要件
事業目標を支援するため、Fabrikam Inc.は以下の技術要件を特定しました。
* Azure Machine Learningワークスペースを使用して、データ資産、モデル、および環境を一元的に管理します。
* すべてのトレーニングジョブに対して、実験追跡とモデルのバージョン管理を実装する。
手動でノートブックを実行するのではなく、パイプラインを使用してトレーニングと評価をオーケストレーションします。
* 段階的なロールアウトとロールバックをサポートする、従来型の機械学習モデルをデプロイします。
* RAGベースのソリューション出力品質を向上させる。
* 入出力ペアを含む実データに基づいた既存の評価データセットを使用する。
* 迅速なエンジニアリングでは不十分な場合にのみ、高度な微調整技術を適用します。 課題と制約 Fabrikam Inc. は、ネットワーク アクセスを制限し、長期間秘密を保持することを避けることを要求する社内セキュリティ ポリシーを遵守する必要があります。データ サイエンス チームは Azure DevOps の経験が限られているため、ソリューションはカスタム インフラストラクチャよりもマネージド サービスと自動化を優先する必要があります。
コスト予測可能性は重要です。経営陣は可能な限りサーバーレスまたはマネージドコンピューティングオプションを好みますが、安定した本番ワークロードに対しては専用コンピューティングも承認する用意があります。
問題提起
Fabrikam Inc.は、生成型AIモデルの信頼性の高いトレーニング、評価、デプロイ、および反復を可能にするAzureベースのAI運用ソリューションを設計および実装する必要があります。このソリューションは、ガバナンス、セキュリティ、および運用上の安定性を確保しながら、実験と段階的な展開をサポートする必要があります。データサイエンスチームとプラットフォームチームは、Azure Machine LearningとMicrosoft Foundryの機能を活用して、このソリューションを実現するために協力する必要があります。
実験結果の一貫性を確保できるような実験追跡戦略を提案する必要があります。どのような戦略を提案すべきでしょうか？
