共计 1647 个字符,预计需要花费 5 分钟才能阅读完成。
环境准备:Ollama 与模型部署
- Ollama 安装
官方推荐使用 winget 一键安装(需管理员权限):winget install ollama.ollama - 安装后执行
ollama --version验证 -
常见问题:若出现连接超时,需设置代理环境变量
set HTTP_PROXY=http://127.0.0.1:7890 set HTTPS_PROXY=http://127.0.0.1:7890
-
DeepSeek-7B 模型下载
拉取模型时建议使用国内镜像(节省带宽):ollama pull deepseek-7b@sha256:8b6dc... # 具体 hash 值参考官方文档 - 验证模型:
ollama list应显示deepseek-7b - 磁盘空间:该模型约需 15GB 可用空间
核心配置:Claude Code 设置
关键配置文件 config.json 示例:
{
"hascompletedonboarding": true, // 跳过首次引导直接启用高级功能
"model_endpoint": "http://localhost:11434", // Ollama 默认端口
"max_tokens": 4096, // 与 DeepSeek-7B 的上下文窗口匹配
"temperature": 0.7 // 推荐创意型任务设置
}
- 技术细节 :
hascompletedonboarding实际控制三项行为: - 禁用新手引导弹窗
- 解锁高级参数配置界面
- 允许直接编辑 raw prompt
VSCode 集成实操
- 插件安装
- 在扩展市场搜索
Claude Code -
注意识别官方版本(作者为 Anthropic)
-
连接配置
按Ctrl+,打开设置,搜索Claude填写: - Base URL:
http://localhost:11434 -
Model Name:
deepseek-7b -
SSE 流调试
新建测试文件输入:# 输入以三个冒号开头可触发自动补全 ::: 中国的首都是 - 成功标志:右下角状态栏显示绿色响应计时
- 失败排查:检查 Ollama 日志
ollama serve
验证方案
Python 测试脚本(需安装 aiohttp):
import aiohttp
import asyncio
async def test_model():
async with aiohttp.ClientSession() as session:
async with session.post(
'http://localhost:11434/api/generate',
json={
"model": "deepseek-7b",
"prompt": "Python 的 GIL 是指"
},
timeout=60
) as resp:
async for chunk in resp.content:
print(chunk.decode(), end='')
asyncio.run(test_model())
预期输出应包含 全局解释器锁 等关键词
避坑指南
-
路径问题 :
Windows 路径需转义,如C:\\Users而非C:\Users -
防火墙拦截 :
需要在入站规则放行 11434 端口:New-NetFirewallRule -DisplayName "Ollama" -Direction Inbound -LocalPort 11434 -Protocol TCP -Action Allow -
CUDA 冲突 :
如果出现CUDA out of memory: - 降低并行请求数
- 添加
num_gpu_layers": 20到 Ollama 启动参数
延伸建议
- 性能调优:
- 在
ollama run时添加--numa参数优化内存分配 -
使用
vLLM替代原生 Ollama 提升吞吐量 -
多模型管理:
修改config.json的model_alias字段可实现快捷切换:{ "model_alias": { "fast": "deepseek-7b", "accurate": "llama3-70b" } }
经过上述步骤,你应该已经建立起完整的本地 AI 开发环境。建议从简单的代码补全任务开始,逐步尝试更复杂的提示工程。遇到问题时,Ollama 的日志文件(通常在 ~/.ollama/logs)是最有效的排查依据。
正文完
发表至: 未分类
近一天内

