このページでは、API を呼び出すときに注意する必要があるスループットとスロットリングの制約について説明します。Documentation Index
Fetch the complete documentation index at: https://docs.apigo.ai/llms.txt
Use this file to discover all available pages before exploring further.
何を確認するか
- 時間枠ごとのリクエスト率
- 同時実行制限
- 異なるモデルまたは機能に個別のクォータがあるかどうか
- 無料環境、テスト環境、運用環境が異なるかどうか
技術指導
- サーバー上で再試行、バックオフ、サーキット ブレークを一元化する
- 高頻度フローにはキャッシュまたはキューを使用する
- ビジネストラフィックのスパイクをモデル呼び出しのスパイクから分離する
推奨されるデバッグ順序
- プラットフォームレベルのスロットルに達したかどうかを確認する
- 特定のモデルまたは機能に独自のレート キャップがあるかどうかを確認する
- クライアントが予期せず再試行または再送信していないかどうかを検査する