ROUTER_MAX_FALLBACKS = 5
DEFAULT_BATCH_SIZE = 512
DEFAULT_FLUSH_INTERVAL_SECONDS = 5
DEFAULT_MAX_RETRIES = 2
LITELLM_CHAT_PROVIDERS = [
    # "openai",
    # "openai_like",
    # "xai",
    # "custom_openai",
    # "text-completion-openai",
    # "cohere",
    # "cohere_chat",
    # "clarifai",
    # "anthropic",
    # "anthropic_text",
    # "replicate",
    # "huggingface",
    # "together_ai",
    # "openrouter",
    # "vertex_ai",
    # "vertex_ai_beta",
    # "palm",
    # "gemini",
    # "ai21",
    # "baseten",
    # "azure",
    # "azure_text",
    # "azure_ai",
    # "sagemaker",
    # "sagemaker_chat",
    # "bedrock",
    # "vllm",
    # "nlp_cloud",
    # "petals",
    # "oobabooga",
    # "ollama",
    # "ollama_chat",
    # "deepinfra",
    # "perplexity",
    # "anyscale",
    # "mistral",
    # "groq",
    # "nvidia_nim",
    # "cerebras",
    # "ai21_chat",
    # "volcengine",
    # "codestral",
    # "text-completion-codestral",
    # "deepseek",
    # "sambanova",
    # "maritalk",
    # "voyage",
    # "cloudflare",
    "fireworks_ai",
    "friendliai",
    "watsonx",
    "watsonx_text",
    "triton",
    "predibase",
    "databricks",
    "empower",
    "github",
    "custom",
    "litellm_proxy",
    "hosted_vllm",
    "lm_studio",
    "galadriel",
]