forked from phoenix/litellm-mirror
add together ai streaming demo
This commit is contained in:
ishaan-jaff
parent
88fdef0c30
commit
33615c11d8
1 changed files with 576 additions and 32 deletions
|
|
@ -19,12 +19,12 @@
|
|||
},
|
||||
"outputs": [],
|
||||
"source": [
|
||||
"!pip install litellm==0.1.371"
|
||||
"!pip install litellm==0.1.419"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"execution_count": 3,
|
||||
"metadata": {
|
||||
"id": "TMI3739_9q97"
|
||||
},
|
||||
|
|
@ -32,7 +32,7 @@
|
|||
"source": [
|
||||
"import os\n",
|
||||
"from litellm import completion\n",
|
||||
"os.environ[\"TOGETHER_AI_TOKEN\"] = \"\" #@param\n",
|
||||
"os.environ[\"TOGETHERAI_API_KEY\"] = \"\" #@param\n",
|
||||
"user_message = \"Hello, whats the weather in San Francisco??\"\n",
|
||||
"messages = [{ \"content\": user_message,\"role\": \"user\"}]"
|
||||
]
|
||||
|
|
@ -50,26 +50,47 @@
|
|||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"execution_count": 4,
|
||||
"metadata": {
|
||||
"colab": {
|
||||
"base_uri": "https://localhost:8080/"
|
||||
},
|
||||
"id": "Jrrt8puj523f",
|
||||
"outputId": "5a5b5beb-cda3-413e-8e83-4423d392cb44"
|
||||
"outputId": "24494dea-816f-47a6-ade4-1b04f2e9085b"
|
||||
},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"{'choices': [{'finish_reason': 'stop', 'index': 0, 'message': {'role': 'assistant', 'content': \"\\n\\nI'm not able to provide real-time weather information. However, I can suggest\"}}], 'created': 1691629657.9288375, 'model': 'togethercomputer/llama-2-70b-chat', 'usage': {'prompt_tokens': 9, 'completion_tokens': 17, 'total_tokens': 26}}\n"
|
||||
"{\n",
|
||||
" 'choices': [\n",
|
||||
"{\n",
|
||||
" 'finish_reason': 'stop',\n",
|
||||
" 'index': 0,\n",
|
||||
" 'message': {\n",
|
||||
" 'role': 'assistant',\n",
|
||||
" 'content': \"\n",
|
||||
"\n",
|
||||
"I'm not able to provide real-time weather information. However, I can suggest some ways for you to find out the current weather in San Francisco.\n",
|
||||
"\n",
|
||||
"1. Check online weather websites: There are many websites that provide up-to-date weather information, such as AccuWeather, Weather.com, or the National Weather Service. You can enter \"San Francisco\" in the search bar and get the current weather conditions, forecast, and radar imagery.\n",
|
||||
"2. Use a weather app: You can download a weather app on your smartphone that provides real-time weather information. Some popular weather apps include Dark Sky, Weather Underground, and The Weather Channel.\n",
|
||||
"3. Tune into local news: You can watch local news channels or listen to local radio stations to get the latest weather forecast and current conditions.\n",
|
||||
"4. Check social media: Follow local weather accounts on social media platforms like Twitter or Facebook to\"\n",
|
||||
"}\n",
|
||||
"}\n",
|
||||
" ],\n",
|
||||
" 'created': 1692323365.8261144,\n",
|
||||
" 'model': 'togethercomputer/llama-2-70b-chat',\n",
|
||||
" 'usage': {'prompt_tokens': 9, 'completion_tokens': 176, 'total_tokens': 185}\n",
|
||||
"}\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"model_name = \"togethercomputer/llama-2-70b-chat\"\n",
|
||||
"response = completion(model=model_name, messages=messages, custom_llm_provider=\"together_ai\")\n",
|
||||
"response = completion(model=model_name, messages=messages, max_tokens=200)\n",
|
||||
"print(response)"
|
||||
]
|
||||
},
|
||||
|
|
@ -85,46 +106,569 @@
|
|||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 8,
|
||||
"execution_count": null,
|
||||
"metadata": {
|
||||
"colab": {
|
||||
"base_uri": "https://localhost:8080/"
|
||||
},
|
||||
"id": "wuBhlZtC6MH5",
|
||||
"outputId": "fcb82177-6494-4963-8e37-8716d3b9e616"
|
||||
"outputId": "1bedc981-4ab1-4abd-9b81-a9727223b66a"
|
||||
},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"<litellm.utils.CustomStreamWrapper object at 0x7ad005e93ee0>\n",
|
||||
"{'role': 'assistant', 'content': '\\\\n'}\n",
|
||||
"{'role': 'assistant', 'content': '\\\\n'}\n",
|
||||
"{'role': 'assistant', 'content': 'I'}\n",
|
||||
"{'role': 'assistant', 'content': 'm'}\n",
|
||||
"{'role': 'assistant', 'content': ' not'}\n",
|
||||
"{'role': 'assistant', 'content': ' able'}\n",
|
||||
"{'role': 'assistant', 'content': ' to'}\n",
|
||||
"{'role': 'assistant', 'content': ' provide'}\n",
|
||||
"{'role': 'assistant', 'content': ' real'}\n",
|
||||
"{'role': 'assistant', 'content': '-'}\n",
|
||||
"{'role': 'assistant', 'content': 'time'}\n",
|
||||
"{'role': 'assistant', 'content': ' weather'}\n",
|
||||
"{'role': 'assistant', 'content': ' information'}\n",
|
||||
"{'role': 'assistant', 'content': '.'}\n",
|
||||
"{'role': 'assistant', 'content': ' However'}\n",
|
||||
"{'role': 'assistant', 'content': ','}\n",
|
||||
"{'role': 'assistant', 'content': ' I'}\n",
|
||||
"{'role': 'assistant', 'content': ' can'}\n"
|
||||
"<async_generator object together_ai_completion_streaming at 0x7d39eeae81c0>\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ('}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ')'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' popular'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' effect'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'iveness'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' scaling'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' early'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'stage'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ities'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' also'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' distinct'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' differences'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' set'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' them'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' apart'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' this'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ess'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ay'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' we'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' will'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' explore'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' features'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' discuss'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' which'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' might'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' one'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' most'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' world'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Air'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'b'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'nb'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Drop'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'box'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Red'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'dit'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' F'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ounded'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '5'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '9'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' combined'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' valu'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ation'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' billion'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' known'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' inten'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'se'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' three'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'month'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' boot'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' camp'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'style'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' format'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' where'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' work'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' closely'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' experienced'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' develop'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ref'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ine'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' business'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' models'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' prepare'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ra'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ising'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' strong'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' track'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' record'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ident'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ifying'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' spaces'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' other'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' hand'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' relatively'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' new'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' was'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' founded'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '7'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' While'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' it'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' same'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' level'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' brand'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' quickly'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' reputation'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' unique'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' acceleration'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' supporting'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' under'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 're'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'present'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' particularly'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' women'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' people'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' color'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' help'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' succeed'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' designed'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' more'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' flexible'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' personal'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ized'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' than'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' traditional'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' connecting'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' tail'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ored'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' specific'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' needs'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'One'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' type'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' primarily'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' while'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' bro'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ader'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' indust'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ries'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' such'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' health'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'care'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fin'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ance'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' consumer'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' This'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' means'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' if'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' non'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'tech'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' industry'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'An'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'other'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' programs'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' seed'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' all'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' typically'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' contrast'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' does'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' provide'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n",
|
||||
"{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"response = completion(model=model_name, messages=messages, stream=True, custom_llm_provider=\"together_ai\")\n",
|
||||
"print(response)\n",
|
||||
"for chunk in response:\n",
|
||||
" print(chunk['choices'][0]['delta']) # same as openai format"
|
||||
"user_message = \"Write 1page essay on YC + liteLLM\"\n",
|
||||
"messages = [{ \"content\": user_message,\"role\": \"user\"}]\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"import asyncio\n",
|
||||
"async def parse_stream(stream):\n",
|
||||
" async for elem in stream:\n",
|
||||
" print(elem)\n",
|
||||
" return\n",
|
||||
"\n",
|
||||
"stream = completion(model=\"togethercomputer/llama-2-70b-chat\", messages=messages, stream=True, max_tokens=800)\n",
|
||||
"print(stream)\n",
|
||||
"\n",
|
||||
"# Await the asynchronous function directly in the notebook cell\n",
|
||||
"await parse_stream(stream)\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue