解决cherrystudio智能体调用ollama的dolphin-llama3:8b模型时工具功能不支持的400错误

1次阅读

没有评论

共计 1476 个字符，预计需要花费 4 分钟才能阅读完成。

CherryStudio 是一个智能体开发平台，允许开发者快速构建和部署 AI 应用。Ollama 则是一个本地运行大语言模型的工具，其中 dolphin-llama3:8b 是一个经过优化的轻量级开源模型，适用于资源有限的场景。

这种组合看起来很有吸引力——在 CherryStudio 中利用本地运行的轻量级模型可以降低成本并提高响应速度。然而在实际集成过程中，开发者可能会遇到一个棘手的 400 错误。

400 错误通常表示客户端请求有问题。在调用 dolphin-llama3:8b 模型时，这个错误特别指出 ” 工具功能不支持 ”。这意味着：

该模型版本没有实现 OpenAI API 规范中定义的工具 / 函数调用功能
你的 API 请求中包含了工具相关的参数
模型无法理解或处理这些参数，因此返回 400 错误

在尝试任何修复前，先确认模型能力是明智的。可以通过以下方法检查：

查阅模型文档或发布说明
直接向模型发送一个简单的探测请求

import ollama

# 简单探测模型能力
response = ollama.generate(
    model="dolphin-llama3:8b",
    prompt="你能支持工具调用功能吗？简单回答是或否"
)
print(response)

既然模型不支持工具功能，我们需要调整 API 调用方式。以下是修改后的 Python 示例：

import ollama

# 原始调用（会导致 400 错误）# response = ollama.generate(
#     model="dolphin-llama3:8b",
#     prompt="请用工具获取天气数据...",
#     tools=[...]  # 这里包含工具定义
# )

# 修改后的调用（移除了工具参数）def get_plain_response(prompt):
    """
    获取模型的纯文本响应
    :param prompt: 输入提示
    :return: 模型生成的响应文本
    """
    try:
        response = ollama.generate(
            model="dolphin-llama3:8b",
            prompt=prompt,
            options={
                "temperature": 0.7,
                "max_tokens": 500
            }
        )
        return response["response"]
    except Exception as e:
        print(f"API 调用失败: {str(e)}")
        return None

# 使用示例
weather_prompt = """ 你是一个天气助手。当前已知以下城市天气：- 北京: 晴天, 25°C
- 上海: 多云, 23°C

请问今天上海的天气如何？"""

print(get_plain_response(weather_prompt))

如果项目必须使用工具功能，考虑以下替代方案：