{ "cells": [ { "attachments": {}, "cell_type": "markdown", "metadata": { "id": "WemkFEdDAnJL" }, "source": [ "## liteLLM Together AI Tutorial\n", "https://together.ai/\n" ] }, { "cell_type": "code", "execution_count": null, "metadata": { "id": "pc6IO4V99O25" }, "outputs": [], "source": [ "!pip install litellm==0.1.419" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "id": "TMI3739_9q97" }, "outputs": [], "source": [ "import os\n", "from litellm import completion\n", "os.environ[\"TOGETHERAI_API_KEY\"] = \"\" #@param\n", "user_message = \"Hello, whats the weather in San Francisco??\"\n", "messages = [{ \"content\": user_message,\"role\": \"user\"}]" ] }, { "attachments": {}, "cell_type": "markdown", "metadata": { "id": "bEqJ2HHjBJqq" }, "source": [ "## Calling togethercomputer/llama-2-70b-chat\n", "https://api.together.xyz/playground/chat?model=togethercomputer%2Fllama-2-70b-chat" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "Jrrt8puj523f", "outputId": "24494dea-816f-47a6-ade4-1b04f2e9085b" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "{\n", " 'choices': [\n", "{\n", " 'finish_reason': 'stop',\n", " 'index': 0,\n", " 'message': {\n", " 'role': 'assistant',\n", " 'content': \"\n", "\n", "I'm not able to provide real-time weather information. However, I can suggest some ways for you to find out the current weather in San Francisco.\n", "\n", "1. Check online weather websites: There are many websites that provide up-to-date weather information, such as AccuWeather, Weather.com, or the National Weather Service. You can enter \"San Francisco\" in the search bar and get the current weather conditions, forecast, and radar imagery.\n", "2. Use a weather app: You can download a weather app on your smartphone that provides real-time weather information. Some popular weather apps include Dark Sky, Weather Underground, and The Weather Channel.\n", "3. Tune into local news: You can watch local news channels or listen to local radio stations to get the latest weather forecast and current conditions.\n", "4. Check social media: Follow local weather accounts on social media platforms like Twitter or Facebook to\"\n", "}\n", "}\n", " ],\n", " 'created': 1692323365.8261144,\n", " 'model': 'togethercomputer/llama-2-70b-chat',\n", " 'usage': {'prompt_tokens': 9, 'completion_tokens': 176, 'total_tokens': 185}\n", "}\n" ] } ], "source": [ "model_name = \"togethercomputer/llama-2-70b-chat\"\n", "response = completion(model=model_name, messages=messages, max_tokens=200)\n", "print(response)" ] }, { "attachments": {}, "cell_type": "markdown", "metadata": { "id": "sfWtgf-mBQcM" }, "source": [ "## With Streaming" ] }, { "cell_type": "code", "execution_count": null, "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "wuBhlZtC6MH5", "outputId": "1bedc981-4ab1-4abd-9b81-a9727223b66a" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ('}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ')'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' popular'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' effect'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'iveness'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' scaling'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' early'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'stage'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ities'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' also'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' distinct'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' differences'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' set'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' them'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' apart'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' this'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ess'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ay'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' we'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' will'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' explore'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' features'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' discuss'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' which'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' might'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Com'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'bin'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' one'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' most'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' world'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Air'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'b'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'nb'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Drop'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'box'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Red'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'dit'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' F'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ounded'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '5'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '9'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' combined'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' valu'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ation'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' over'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' billion'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' known'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' inten'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'se'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' three'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'month'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' boot'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' camp'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'style'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' format'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' where'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' work'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' closely'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' experienced'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' develop'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ref'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ine'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' business'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' models'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' prepare'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ra'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ising'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' strong'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' track'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' record'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ident'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ifying'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'urt'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'uring'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' successful'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' spaces'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' other'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' hand'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' relatively'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' new'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ator'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' was'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' founded'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' '}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '7'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' While'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' it'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' have'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' same'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' level'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' brand'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' recognition'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' quickly'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' gained'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' reputation'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' for'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' unique'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceleration'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' The'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' supporting'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' under'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 're'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'present'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ed'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' particularly'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' women'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' people'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' color'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' help'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' these'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' succeed'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': \"'\"}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 's'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' program'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' designed'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' more'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' flexible'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' personal'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ized'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' than'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' traditional'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' acceler'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ators'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' connecting'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' found'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ers'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' with'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' ment'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ors'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' resources'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' are'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' tail'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ored'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' specific'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' needs'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'One'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' key'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' type'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' they'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' support'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'es'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' primarily'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' on'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' software'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' technology'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' internet'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' start'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ups'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' while'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' has'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' bro'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ader'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' focus'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' includes'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' indust'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ries'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' such'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' as'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' health'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'care'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fin'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ance'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' and'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' consumer'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' products'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' This'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' means'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' that'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' if'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' your'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' startup'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' non'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '-'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'tech'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' industry'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' may'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' be'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' a'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' better'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fit'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '\\n'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'An'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'other'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' difference'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' between'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' two'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' programs'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' is'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' their'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' approach'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' Y'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'C'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' provides'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' seed'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' all'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' its'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' port'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'folio'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' companies'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' typically'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' in'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' the'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' range'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' of'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '1'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' $'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '2'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '0'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': '.'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' In'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' contrast'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ','}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' l'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ite'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'LL'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'M'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' does'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' not'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' provide'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' fund'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': 'ing'}}]}\n", "{'choices': [{'delta': {'role': 'assistant', 'content': ' to'}}]}\n" ] } ], "source": [ "user_message = \"Write 1page essay on YC + liteLLM\"\n", "messages = [{ \"content\": user_message,\"role\": \"user\"}]\n", "\n", "\n", "import asyncio\n", "async def parse_stream(stream):\n", " async for elem in stream:\n", " print(elem)\n", " return\n", "\n", "stream = completion(model=\"togethercomputer/llama-2-70b-chat\", messages=messages, stream=True, max_tokens=800)\n", "print(stream)\n", "\n", "# Await the asynchronous function directly in the notebook cell\n", "await parse_stream(stream)\n" ] } ], "metadata": { "colab": { "provenance": [] }, "kernelspec": { "display_name": "Python 3", "name": "python3" }, "language_info": { "name": "python" } }, "nbformat": 4, "nbformat_minor": 0 }