이 페이지에서는 API를 호출할 때 주의해야 할 처리량 및 조절 제약 조건에 대해 설명합니다.Documentation Index
Fetch the complete documentation index at: https://docs.apigo.ai/llms.txt
Use this file to discover all available pages before exploring further.
확인해야 할 사항
- 시간 창당 요청 비율
- 동시성 제한
- 다양한 모델이나 기능에 별도의 할당량이 있는지 여부
- 무료, 테스트, 프로덕션 환경이 다른지 여부
엔지니어링 지침
- 서버에서 재시도, 백오프, 회로 차단을 중앙 집중화
- 빈도가 높은 흐름에 캐싱 또는 대기열 사용
- 모델 호출 급증과 별도의 비즈니스 트래픽 급증
권장되는 디버깅 순서
- 플랫폼 수준의 스로틀에 도달했는지 확인
- 특정 모델이나 기능에 자체 요금 한도가 있는지 확인
- 클라이언트가 예기치 않게 다시 시도하거나 다시 제출하는지 검사합니다.