ケーススタディ2 - MJTelco
会社概要
MJTelcoは、世界中の急速に成長しているものの、サービスが行き届いていない市場でネットワークを構築することを計画しているスタートアップ企業です。
同社は革新的な光通信ハードウェアに関する特許を保有している。これらの特許に基づき、安価なハードウェアで信頼性の高い高速基幹回線を多数構築することが可能である。
会社概要
経験豊富な通信業界の幹部によって設立されたMJTelcoは、もともと宇宙空間における通信の課題を克服するために開発された技術を活用しています。事業運営の根幹となるのは、リアルタイム分析を可能にし、機械学習を組み込んでトポロジーを継続的に最適化する分散型データインフラストラクチャの構築です。ハードウェアが安価であるため、ネットワークを過剰に展開することで、地域情勢の変化がロケーションの利用可能性やコストに与える影響に対応できるように計画しています。
彼らの経営陣と運用チームは世界中に分散しており、システム内ではデータ利用者とデータ提供者の間で多対多の関係が構築されています。慎重な検討の結果、彼らはパブリッククラウドが自社のニーズをサポートする最適な環境であると判断しました。
解決策のコンセプト
MJTelcoは自社ラボで概念実証（PoC）プロジェクトを成功裏に実施している。彼らには主に2つのニーズがある。
* 5万件以上のインストール規模に拡大する際に発生する、より大量のデータフローをサポートできるよう、PoC（概念実証）を拡張し、強化する。
* 機械学習サイクルを改良し、トポロジー定義を制御するために使用する動的モデルを検証および改善する。
MJTelcoは、実験の実行、新機能の展開、および本番顧客へのサービス提供のニーズを満たすために、開発/テスト、ステージング、および本番という3つの独立した運用環境も使用します。
ビジネス要件
* 予測不可能な分散型通信ユーザーコミュニティにおいて、必要な時に必要な場所でリソースをインスタンス化することで、最小限のコストで本番環境を拡張します。
最先端の機械学習と分析を保護するため、独自のデータのセキュリティを確保する。
分散した研究者が分析のためにデータに確実かつタイムリーにアクセスできるようにする
顧客に影響を与えることなく、機械学習モデルの迅速な反復開発を可能にする隔離された環境を維持する。
技術要件
テレメトリデータの安全かつ効率的な輸送と保管を確保する
* インスタンスを迅速に拡張し、それぞれ複数のフローを持つ10,000～100,000のデータプロバイダーをサポートします。
* 最大 2 年間のデータを保存するデータ テーブルに対する分析とプレゼンテーションを可能にします。
1日1億の記録
* テレメトリフローと本番環境における学習サイクルの両方において、データパイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEO声明
当社のビジネスモデルは、特許、分析技術、そして動的な機械学習に支えられています。低価格ながら高い信頼性を実現するハードウェア構成により、コスト面で優位性を確保しています。信頼性と容量に関する当社のコミットメントを満たすためには、大規模な分散データパイプラインを迅速に安定化させる必要があります。
CTO声明
当社のパブリッククラウドサービスは、宣伝どおりに動作する必要があります。拡張性とデータセキュリティを確保できるリソースが必要です。また、データサイエンティストがモデルを綿密に分析し、迅速に適応できる環境も必要です。データの処理に自動化を活用しているため、開発環境とテスト環境も、反復作業に合わせて適切に動作する必要があります。
最高財務責任者（CFO）声明
このプロジェクトは規模が大きすぎるため、データと分析に必要なハードウェアとソフトウェアを当社で維持管理することはできません。
また、これほど多くのデータフィードを監視する運用チームを配置する余裕はないため、自動化とインフラストラクチャに頼ることになります。Google Cloudの機械学習を活用することで、当社の定量分析担当者はデータパイプラインの問題ではなく、より価値の高い課題に取り組むことができるようになります。
MJTelcoは1日に取り込むレコードストリームの数が多いため、Google BigQueryのコストが増加することを懸念しています。そこで、MJTelcoは設計ソリューションの提供を依頼してきました。MJTelcoは、tracking_tableという単一の大きなデータテーブルを必要としています。さらに、各日のイベントを詳細に分析しながら、日々のクエリのコストを最小限に抑えたいと考えています。また、ストリーミングによるデータ取り込みも希望しています。どのような対応が必要でしょうか？