Skip to main content
「The engine is currently overloaded, please try again later」というメッセージを伴う 503 エラーは、Serverless Inference サーバーへのトラフィックが集中しており、現在はリクエストを処理できないことを意味します。このページでは、このエラーが発生する理由と、その軽減方法について説明します。

​
この事象が発生する理由

需要が高い時間帯には、推論エンジンが一時的に過負荷になることがあります。通常はトラフィックが落ち着くと自然に解消します。

​
対処方法

次の対処法を使用して、503 レスポンスから回復し、再度発生する可能性を減らしてください。
  • 少し時間を置いてから再試行する:
    • リクエストを再試行する前に、数秒待ってください。
    • 混雑を悪化させないよう、指数バックオフを使用してください。
  • リクエストを分散させる:
    • 多数のリクエストを送信している場合は、時間を空けて送ってください。
    • リクエストのキューイングを実装して、トラフィックの急増を緩和してください。
サーバー エラー