mirror of
https://github.com/BerriAI/litellm.git
synced 2025-04-25 10:44:24 +00:00
build: add azure resource template
This commit is contained in:
parent
91bb7cd261
commit
80378966a0
5 changed files with 121 additions and 4 deletions
BIN
deploy/azure_resource_manager/azure_marketplace.zip
Normal file
BIN
deploy/azure_resource_manager/azure_marketplace.zip
Normal file
Binary file not shown.
|
@ -0,0 +1,15 @@
|
||||||
|
{
|
||||||
|
"$schema": "https://schema.management.azure.com/schemas/0.1.2-preview/CreateUIDefinition.MultiVm.json#",
|
||||||
|
"handler": "Microsoft.Azure.CreateUIDef",
|
||||||
|
"version": "0.1.2-preview",
|
||||||
|
"parameters": {
|
||||||
|
"config": {
|
||||||
|
"isWizard": false,
|
||||||
|
"basics": { }
|
||||||
|
},
|
||||||
|
"basics": [ ],
|
||||||
|
"steps": [ ],
|
||||||
|
"outputs": { },
|
||||||
|
"resourceTypes": [ ]
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,63 @@
|
||||||
|
{
|
||||||
|
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
|
||||||
|
"contentVersion": "1.0.0.0",
|
||||||
|
"parameters": {
|
||||||
|
"imageName": {
|
||||||
|
"type": "string",
|
||||||
|
"defaultValue": "ghcr.io/berriai/litellm:main-latest"
|
||||||
|
},
|
||||||
|
"containerName": {
|
||||||
|
"type": "string",
|
||||||
|
"defaultValue": "litellm-container"
|
||||||
|
},
|
||||||
|
"dnsLabelName": {
|
||||||
|
"type": "string",
|
||||||
|
"defaultValue": "litellm"
|
||||||
|
},
|
||||||
|
"portNumber": {
|
||||||
|
"type": "int",
|
||||||
|
"defaultValue": 4000
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"resources": [
|
||||||
|
{
|
||||||
|
"type": "Microsoft.ContainerInstance/containerGroups",
|
||||||
|
"apiVersion": "2021-03-01",
|
||||||
|
"name": "[parameters('containerName')]",
|
||||||
|
"location": "[resourceGroup().location]",
|
||||||
|
"properties": {
|
||||||
|
"containers": [
|
||||||
|
{
|
||||||
|
"name": "[parameters('containerName')]",
|
||||||
|
"properties": {
|
||||||
|
"image": "[parameters('imageName')]",
|
||||||
|
"resources": {
|
||||||
|
"requests": {
|
||||||
|
"cpu": 1,
|
||||||
|
"memoryInGB": 2
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"ports": [
|
||||||
|
{
|
||||||
|
"port": "[parameters('portNumber')]"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"osType": "Linux",
|
||||||
|
"restartPolicy": "Always",
|
||||||
|
"ipAddress": {
|
||||||
|
"type": "Public",
|
||||||
|
"ports": [
|
||||||
|
{
|
||||||
|
"protocol": "tcp",
|
||||||
|
"port": "[parameters('portNumber')]"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"dnsNameLabel": "[parameters('dnsLabelName')]"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
42
deploy/azure_resource_manager/main.bicep
Normal file
42
deploy/azure_resource_manager/main.bicep
Normal file
|
@ -0,0 +1,42 @@
|
||||||
|
param imageName string = 'ghcr.io/berriai/litellm:main-latest'
|
||||||
|
param containerName string = 'litellm-container'
|
||||||
|
param dnsLabelName string = 'litellm'
|
||||||
|
param portNumber int = 4000
|
||||||
|
|
||||||
|
resource containerGroupName 'Microsoft.ContainerInstance/containerGroups@2021-03-01' = {
|
||||||
|
name: containerName
|
||||||
|
location: resourceGroup().location
|
||||||
|
properties: {
|
||||||
|
containers: [
|
||||||
|
{
|
||||||
|
name: containerName
|
||||||
|
properties: {
|
||||||
|
image: imageName
|
||||||
|
resources: {
|
||||||
|
requests: {
|
||||||
|
cpu: 1
|
||||||
|
memoryInGB: 2
|
||||||
|
}
|
||||||
|
}
|
||||||
|
ports: [
|
||||||
|
{
|
||||||
|
port: portNumber
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
osType: 'Linux'
|
||||||
|
restartPolicy: 'Always'
|
||||||
|
ipAddress: {
|
||||||
|
type: 'Public'
|
||||||
|
ports: [
|
||||||
|
{
|
||||||
|
protocol: 'tcp'
|
||||||
|
port: portNumber
|
||||||
|
}
|
||||||
|
]
|
||||||
|
dnsNameLabel: dnsLabelName
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -341,7 +341,7 @@ const Settings: React.FC<SettingsPageProps> = ({
|
||||||
return (
|
return (
|
||||||
<div className="w-full mx-4">
|
<div className="w-full mx-4">
|
||||||
<Grid numItems={1} className="gap-2 p-8 w-full mt-2">
|
<Grid numItems={1} className="gap-2 p-8 w-full mt-2">
|
||||||
<Callout title="Presidio PII / Guardrails Coming Soon" color="sky">
|
<Callout title="[UI] Presidio PII + Guardrails Coming Soon. https://docs.litellm.ai/docs/proxy/pii_masking" color="sky">
|
||||||
|
|
||||||
</Callout>
|
</Callout>
|
||||||
<TabGroup>
|
<TabGroup>
|
||||||
|
@ -353,9 +353,6 @@ const Settings: React.FC<SettingsPageProps> = ({
|
||||||
<TabPanel>
|
<TabPanel>
|
||||||
|
|
||||||
<Card >
|
<Card >
|
||||||
<Text>
|
|
||||||
Presidio + Guardrails coming soon
|
|
||||||
</Text>
|
|
||||||
<Table>
|
<Table>
|
||||||
<TableHead>
|
<TableHead>
|
||||||
<TableRow>
|
<TableRow>
|
||||||
|
|
Loading…
Add table
Add a link
Reference in a new issue