ollama API 本地调用

ollama API 本地调用

• 前提条件，ollama 已经启动了模型，查看 ollama 中的 model 名称

  ollama list

  

• 使用 openai 调用

  from openai import OpenAI
  import openai
  
  openai.api_key = 'ollama'
  openai.base_url = 'http://localhost:11434/v1/'
  
  def get_completion(prompt, model="qwq"):
      client = OpenAI(api_key=openai.api_key,
                      base_url=openai.base_url
                      )
      messages = [{"role": "user", "content": prompt}]
      response = client.chat.completions.create(
          model=model,
          messages=messages,
          stream=False
      )
      return response.choices[0].message.content
  
  prompt = '你好，请介绍下你自己'
  model = "qwq"
  get_completion(prompt, model=model)

  

  可以使用 fastapi将后端服务暴露出来