解决cherrystudio智能体调用ollama的dolphin-llama3:8b模型时工具功能不支持的400错误

1次阅读

共计 1367 个字符，预计需要花费 4 分钟才能阅读完成。

cherrystudio 是一个新兴的智能体开发平台，它允许开发者快速构建和部署 AI 应用。ollama 则是一个开源的模型托管平台，提供了多种预训练模型，其中包括 dolphin-llama3:8b 模型。这个模型是基于 llama3 架构的 8b 参数版本，经过优化处理，适合轻量级任务。

当开发者尝试通过 cherrystudio 智能体调用 ollama 的 dolphin-llama3:8b 模型时，可能会遇到 400 错误。这个错误的核心原因是该模型不支持工具功能调用。具体来说：

某些 AI 模型被设计为纯文本生成模型，不具备执行外部工具操作的能力
API 请求中包含工具调用参数时，不支持的模型会返回 400 错误
dolphin-llama3:8b 模型专注于文本理解和生成，没有集成工具调用功能

在调用 API 前，建议先确认模型的功能支持情况：

查阅 ollama 官方文档，查看模型的功能说明
调用模型信息 API 获取详细规格
发送一个简单的测试请求，检查响应中是否包含工具功能相关字段

以下是 Python 代码示例，展示如何修改 API 调用以避免工具功能相关错误：

import requests

# 原始请求（可能导致 400 错误）# payload = {
#     "model": "dolphin-llama3:8b",
#     "messages": [{"role": "user", "content": "查询天气"}],
#     "tools": [{"type": "function", "function": {"name": "get_weather"}}]
# }

# 修改后的请求（移除了工具参数）payload = {
    "model": "dolphin-llama3:8b",
    "messages": [{"role": "user", "content": "请描述一下今天的天气情况"}]
}

headers = {
    "Authorization": "Bearer your_api_key",
    "Content-Type": "application/json"
}

response = requests.post(
    "https://api.ollama.com/v1/chat/completions",
    json=payload,
    headers=headers
)

print(response.json())

如果需要工具功能支持，可以考虑以下替代方案：