共计 2596 个字符，预计需要花费 7 分钟才能阅读完成。

开发环境配置的典型痛点

最近团队新来的实习生小明遇到一个典型问题：在本地运行 GLM4.6 模型时，反复出现CUDA runtime error，但明明已经安装了 CUDA 11.3。经过排查发现是 PyTorch 版本与 CUDA 版本不匹配——这种环境配置问题会消耗新手 70% 以上的入门时间。

更麻烦的是，当小明尝试接入 Claude Code API 时，又遇到 SSL 证书验证失败的问题。这些问题看似简单，但会严重打击学习积极性。

环境管理方案对比

Anaconda 方案

• 优点：
• 可视化界面友好
• 可创建隔离的 Python 环境

• 方便管理不同版本的包

• 缺点：

• 安装包体积较大
• 某些情况下可能出现环境变量冲突

Docker 方案

• 优点：
• 环境隔离彻底
• 可跨平台运行

• 方便团队统一开发环境

• 缺点：

• 需要学习 Docker 基本操作
• 对 GPU 支持需要额外配置

裸机 pip 方案

• 优点：
• 最轻量级

• 适合简单项目

• 缺点：

• 容易污染系统环境
• 难以管理多版本共存

对于新手，我推荐从 Anaconda 开始，等熟悉后再过渡到 Docker。

分步安装指南

基础环境准备

1. 安装 Miniconda（Anaconda 的精简版）：

   wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh

2. 创建专用环境：

   conda create -n glm4_env python=3.8
   conda activate glm4_env

GLM4.6 安装

1. 安装 PyTorch（注意 CUDA 版本匹配）：

   conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch

2. 安装 GLM 依赖：

   pip install transformers==4.26.1 icetk

Claude Code API 准备

1. 获取 API 密钥：
2. 登录 Anthropic 控制台

3. 在「API Keys」页面创建新密钥

4. 安装 SDK：

   pip install anthropic

环境验证

GLM4.6 测试代码

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4b-6b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4b-6b", trust_remote_code=True)

inputs = tokenizer("你好，GLM！", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))

Claude Code 测试代码

import anthropic

client = anthropic.Client("your-api-key")
response = client.completion(prompt=f"{anthropic.HUMAN_PROMPT} 你好，Claude！{anthropic.AI_PROMPT}",
    model="claude-code",
    max_tokens_to_sample=100
)
print(response["completion"])

关键参数详解

GLM4.6 加载参数

• trust_remote_code=True：允许从 HF Hub 加载自定义代码
• device_map="auto"：自动分配模型到可用设备
• torch_dtype=torch.float16：使用半精度减少显存占用

Claude Code 认证流程

1. 从环境变量读取 API 密钥（更安全）：

   import os
   api_key = os.getenv("ANTHROPIC_API_KEY")

2. 设置请求头：

   headers = {"Authorization": f"Bearer {api_key}",
       "Content-Type": "application/json"
   }

性能优化技巧

批处理设置

# GLM4.6 批量推理
data = ["输入 1", "输入 2", "输入 3"]
batch = tokenizer(data, padding=True, return_tensors="pt")
outputs = model.generate(**batch)

缓存机制

# 启用模型缓存（适用于频繁调用）model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4b-6b", 
    cache_dir="./model_cache"
)

Claude Code 流式响应

# 处理长文本时节省内存
with client.stream_completion(
    prompt=prompt,
    model="claude-code"
) as stream:
    for chunk in stream:
        print(chunk["completion"], end="")

避坑指南

1. CUDA 版本不匹配
2. 症状：RuntimeError: CUDA error: no kernel image is available

3. 解决：使用 nvcc --version 查 CUDA 版本，安装匹配的 PyTorch

4. 代理设置问题

5. 症状：SSLError/ConnectionError

6. 解决：

   import os
   os.environ["HTTP_PROXY"] = "http://your-proxy:port"
   os.environ["HTTPS_PROXY"] = "http://your-proxy:port"

7. 显存不足

8. 症状：CUDA out of memory
9. 解决：
   • 减小batch_size
   • 使用 .half() 转为半精度
   • 添加device_map="auto"

延伸学习

• 模型微调：尝试在特定领域数据上微调 GLM4.6
• API 高级用法：探索 Claude Code 的对话状态管理
• 性能监控：使用 nvidia-smi 观察 GPU 利用率
• 容器化部署：学习将环境打包为 Docker 镜像

建议从官方文档入手，逐步尝试修改参数观察效果变化。遇到问题时，善用 GitHub Issues 和社区论坛。记住，每个错误都是进步的机会！