feat(proxy_server.py): check code before defaulting to status code

This commit is contained in:
Krrish Dholakia 2025-03-10 15:34:06 -07:00
parent cc0606b38d
commit c71af5b92e
2 changed files with 23 additions and 15 deletions

View file

@ -1,4 +1,12 @@
model_list: model_list:
- model_name: llama3.2-vision - model_name: gpt-3.5-turbo
litellm_params: litellm_params:
model: ollama/llama3.2-vision model: gpt-3.5-turbo
- model_name: gpt-4o
litellm_params:
model: azure/gpt-4o
api_key: os.environ/AZURE_API_KEY
api_base: os.environ/AZURE_API_BASE
litellm_settings:
fallbacks: [{"gpt-3.5-turbo": ["gpt-4o"]}]

View file

@ -3716,7 +3716,7 @@ async def chat_completion( # noqa: PLR0915
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
headers=headers, headers=headers,
) )
@ -3929,7 +3929,7 @@ async def completion( # noqa: PLR0915
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4138,7 +4138,7 @@ async def embeddings( # noqa: PLR0915
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4257,7 +4257,7 @@ async def image_generation(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4518,7 +4518,7 @@ async def audio_transcriptions(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4667,7 +4667,7 @@ async def get_assistants(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4765,7 +4765,7 @@ async def create_assistant(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4862,7 +4862,7 @@ async def delete_assistant(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -4959,7 +4959,7 @@ async def create_threads(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -5055,7 +5055,7 @@ async def get_thread(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -5154,7 +5154,7 @@ async def add_messages(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -5249,7 +5249,7 @@ async def get_messages(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )
@ -5358,7 +5358,7 @@ async def run_thread(
message=getattr(e, "message", error_msg), message=getattr(e, "message", error_msg),
type=getattr(e, "type", "None"), type=getattr(e, "type", "None"),
param=getattr(e, "param", "None"), param=getattr(e, "param", "None"),
code=getattr(e, "status_code", 500), code=getattr(e, "code", getattr(e, "status_code", 500)),
) )