データエンジニアリングチームは、Snowflake上でCortex AI LLM関数を使用して大規模なテキスト入力を処理するスケーラブルなデータパイプラインを設計しています。彼らはコスト効率を確保し、LLMコンテキストウィンドウの制限超過によるクエリの失敗を防ぎたいと考えています。事前検証にはSNOWFLAKE. CORTEX. COUNT_TOKENSを使用する予定です。このシナリオにおけるCOUNT_TOKENSの役割とコストについて、以下の記述のうち正しいものはどれですか?(該当するものをすべて選択してください)
正解:A,C,E
オプションAが正解です。埋め込みモデルは、 512 トークンの固定コンテキスト ウィンドウがあります。COUNT_TOKENS を使用すると、テキストがこの制限内に収まるかどうかを事前にチェックできるため、入力がコンテキスト ウィンドウを超えた場合に発生する切り捨てを防ぐことができます。オプション B は、COUNT_TOKENS は関数を実行するための計算コストのみを負担し、後続の LLM 推論呼び出しの課金に追加されるトークン ベースのコストは負担しないため、誤りです。オプション C が正解です。最適な検索結果を得るために、Snowflake はテキストを 512 トークン以下のチャンクに分割することを推奨しています。この方法は、RAG シナリオで一般的に検索と下流の LLM 応答品質の向上につながり、COUNT_TOKENS はこれらのチャンク サイズを管理するための貴重なツールです。オプション D が誤りです。COUNT_TOKENS は計算コスト (トークン ベースのコストではない) を負担しますが、計算量は一般的に処理する入力テキストのサイズに比例するため、コストは入力の長さに完全に依存しませんが、独自の操作に対してトークン単位で課金されることはありません。オプション E が正解です。 COUNT_TOKENS関数は、すべてのモデルのすべての地域で利用可能ですが、他の関数については、モデルによって地域ごとの利用可能状況が異なる場合があります。