From 33615c11d8df3fbad0451a91fbf842ee9bc71535 Mon Sep 17 00:00:00 2001 From: ishaan-jaff Date: Thu, 17 Aug 2023 19:08:27 -0700 Subject: [PATCH] add together ai streaming demo --- cookbook/TogetherAI_liteLLM.ipynb | 608 ++++++++++++++++++++++++++++-- 1 file changed, 576 insertions(+), 32 deletions(-) diff --git a/cookbook/TogetherAI_liteLLM.ipynb b/cookbook/TogetherAI_liteLLM.ipynb index b81659576..db029da3d 100644 --- a/cookbook/TogetherAI_liteLLM.ipynb +++ b/cookbook/TogetherAI_liteLLM.ipynb @@ -19,12 +19,12 @@ }, "outputs": [], "source": [ - "!pip install litellm==0.1.371" + "!pip install litellm==0.1.419" ] }, { "cell_type": "code", - "execution_count": 5, + "execution_count": 3, "metadata": { "id": "TMI3739_9q97" }, @@ -32,7 +32,7 @@ "source": [ "import os\n", "from litellm import completion\n", - "os.environ[\"TOGETHER_AI_TOKEN\"] = \"\" #@param\n", + "os.environ[\"TOGETHERAI_API_KEY\"] = \"\" #@param\n", "user_message = \"Hello, whats the weather in San Francisco??\"\n", "messages = [{ \"content\": user_message,\"role\": \"user\"}]" ] @@ -50,26 +50,47 @@ }, { "cell_type": "code", - "execution_count": 6, + "execution_count": 4, "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "Jrrt8puj523f", - "outputId": "5a5b5beb-cda3-413e-8e83-4423d392cb44" + "outputId": "24494dea-816f-47a6-ade4-1b04f2e9085b" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "{'choices': [{'finish_reason': 'stop', 'index': 0, 'message': {'role': 'assistant', 'content': \"\\n\\nI'm not able to provide real-time weather information. However, I can suggest\"}}], 'created': 1691629657.9288375, 'model': 'togethercomputer/llama-2-70b-chat', 'usage': {'prompt_tokens': 9, 'completion_tokens': 17, 'total_tokens': 26}}\n" + "{\n", + " 'choices': [\n", + "{\n", + " 'finish_reason': 'stop',\n", + " 'index': 0,\n", + " 'message': {\n", + " 'role': 'assistant',\n", + " 'content': \"\n", + "\n", + "I'm not able to provide real-time weather information. However, I can suggest some ways for you to find out the current weather in San Francisco.\n", + "\n", + "1. Check online weather websites: There are many websites that provide up-to-date weather information, such as AccuWeather, Weather.com, or the National Weather Service. You can enter \"San Francisco\" in the search bar and get the current weather conditions, forecast, and radar imagery.\n", + "2. Use a weather app: You can download a weather app on your smartphone that provides real-time weather information. Some popular weather apps include Dark Sky, Weather Underground, and The Weather Channel.\n", + "3. Tune into local news: You can watch local news channels or listen to local radio stations to get the latest weather forecast and current conditions.\n", + "4. Check social media: Follow local weather accounts on social media platforms like Twitter or Facebook to\"\n", + "}\n", + "}\n", + " ],\n", + " 'created': 1692323365.8261144,\n", + " 'model': 'togethercomputer/llama-2-70b-chat',\n", + " 'usage': {'prompt_tokens': 9, 'completion_tokens': 176, 'total_tokens': 185}\n", + "}\n" ] } ], "source": [ "model_name = \"togethercomputer/llama-2-70b-chat\"\n", - "response = completion(model=model_name, messages=messages, custom_llm_provider=\"together_ai\")\n", + "response = completion(model=model_name, messages=messages, max_tokens=200)\n", "print(response)" ] }, @@ -85,46 +106,569 @@ }, { "cell_type": "code", - "execution_count": 8, + "execution_count": null, "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "wuBhlZtC6MH5", - "outputId": "fcb82177-6494-4963-8e37-8716d3b9e616" + "outputId": "1bedc981-4ab1-4abd-9b81-a9727223b66a" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "\n", - "{'role': 'assistant', 'content': '\\\\n'}\n", - "{'role': 'assistant', 'content': '\\\\n'}\n", - "{'role': 'assistant', 'content': 'I'}\n", - "{'role': 'assistant', 'content': 'm'}\n", - "{'role': 'assistant', 'content': ' not'}\n", - "{'role': 'assistant', 'content': ' able'}\n", - "{'role': 'assistant', 'content': ' to'}\n", - "{'role': 'assistant', 'content': ' provide'}\n", - "{'role': 'assistant', 'content': ' real'}\n", - "{'role': 'assistant', 'content': '-'}\n", - "{'role': 'assistant', 'content': 'time'}\n", - "{'role': 'assistant', 'content': ' weather'}\n", - "{'role': 'assistant', 'content': ' information'}\n", - "{'role': 'assistant', 'content': '.'}\n", - "{'role': 'assistant', 'content': ' However'}\n", - "{'role': 'assistant', 'content': ','}\n", - "{'role': 'assistant', 'content': ' I'}\n", - "{'role': 'assistant', 'content': ' can'}\n" + "\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ('}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ')'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' popular'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' effect'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'iveness'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' scaling'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' early'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'stage'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ities'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' also'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' distinct'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' differences'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' set'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' them'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' apart'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' this'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ess'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ay'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' we'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' will'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' explore'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' features'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' discuss'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' which'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' might'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' one'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' most'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' world'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Air'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'b'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'nb'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Drop'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'box'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Red'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'dit'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' F'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ounded'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '5'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '9'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' combined'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' valu'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ation'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' billion'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' known'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' inten'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'se'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' three'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'month'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' boot'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' camp'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'style'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' format'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' where'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' work'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' closely'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' experienced'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' develop'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ref'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ine'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' business'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' models'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' prepare'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ra'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ising'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' strong'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' track'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' record'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ident'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ifying'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' spaces'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' other'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' hand'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' relatively'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' new'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' was'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' founded'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '7'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' While'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' it'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' same'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' level'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' brand'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' quickly'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' reputation'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' unique'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceleration'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' supporting'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' under'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 're'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'present'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' particularly'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' women'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' people'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' color'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' help'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' succeed'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' designed'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' more'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' flexible'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' personal'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ized'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' than'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' traditional'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' connecting'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' tail'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ored'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' specific'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' needs'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'One'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' type'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' primarily'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' while'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' bro'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ader'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' indust'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ries'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' such'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' health'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'care'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fin'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ance'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' consumer'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' This'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' means'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' if'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' non'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'tech'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' industry'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'An'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'other'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' programs'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' seed'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' all'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' typically'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' contrast'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' does'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' provide'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", + "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n" ] } ], "source": [ - "response = completion(model=model_name, messages=messages, stream=True, custom_llm_provider=\"together_ai\")\n", - "print(response)\n", - "for chunk in response:\n", - " print(chunk['choices'][0]['delta']) # same as openai format" + "user_message = \"Write 1page essay on YC + liteLLM\"\n", + "messages = [{ \"content\": user_message,\"role\": \"user\"}]\n", + "\n", + "\n", + "import asyncio\n", + "async def parse_stream(stream):\n", + " async for elem in stream:\n", + " print(elem)\n", + " return\n", + "\n", + "stream = completion(model=\"togethercomputer/llama-2-70b-chat\", messages=messages, stream=True, max_tokens=800)\n", + "print(stream)\n", + "\n", + "# Await the asynchronous function directly in the notebook cell\n", + "await parse_stream(stream)\n" ] } ],