CentOS7环境下Docker安装Milvus向量数据库实战指南

共计 3033 个字符，预计需要花费 8 分钟才能阅读完成。

背景痛点

在 CentOS7 裸机环境直接安装 Milvus 时，经常会遇到 glibc 版本冲突的问题。由于 Milvus 依赖较新的 glibc 版本，而 CentOS7 默认的 glibc 版本较旧，导致安装失败或运行时异常。此外，手动安装需要处理大量依赖关系，过程繁琐且容易出错。

使用 Docker 方案可以完美解决这些问题：

• 容器自包含所有依赖，避免环境冲突
• 一键部署，简化安装流程
• 版本管理方便，随时切换不同版本的 Milvus

技术对比

在部署 Milvus 时，主要有两种容器化方案：

1. Docker-compose
2. 适合单机开发和测试环境
3. 配置简单，启动快速

4. 资源消耗较少

5. Kubernetes

6. 适合生产环境和集群部署
7. 支持高可用和自动扩展
8. 管理复杂，需要额外的基础设施

对于大多数开发者和中小型项目，Docker-compose 是更合适的选择。

核心实现

1. 环境准备

首先确保 CentOS7 系统满足以下要求：

• 内核版本 3.10 或更高
• 至少 4GB 内存
• 20GB 可用磁盘空间

然后安装 Docker 和 Docker-compose：

# 安装 Docker
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce docker-ce-cli containerd.io

# 启动 Docker 服务
sudo systemctl start docker
sudo systemctl enable docker

# 安装 Docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

2. 配置防火墙和 SELinux

# 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 临时关闭 SELinux
sudo setenforce 0

# 永久关闭 SELinux
sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

3. 创建 docker-compose.yml

version: '3.5'

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.0
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - /var/lib/milvus/etcd:/etcd
    command: etcd --advertise-client-urls=http://127.0.0.1:2379 --listen-client-urls http://0.0.0.0:2379 --data-dir /etcd

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - /var/lib/milvus/minio:/minio_data
    command: minio server /minio_data
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.3.3
    command: ["milvus", "run", "standalone"]
    environment:
      - ETCD_ENDPOINTS=etcd:2379
      - MINIO_ADDRESS=minio:9000
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - /var/lib/milvus/db:/var/lib/milvus/db
      - /var/lib/milvus/conf:/var/lib/milvus/conf
      - /var/lib/milvus/logs:/var/lib/milvus/logs
    ports:
      - "19530:19530"
      - "9091:9091"
    depends_on:
      - "etcd"
      - "minio"

networks:
  default:
    name: milvus

4. 启动 Milvus

# 创建数据目录
sudo mkdir -p /var/lib/milvus/{etcd,minio,db,conf,logs}
sudo chmod -R 777 /var/lib/milvus

# 启动服务
docker-compose up -d

# 检查服务状态
docker-compose ps

5. 验证安装

# 检查 Milvus 日志
docker logs milvus-standalone

# 健康检查
curl http://localhost:9091/healthz

性能调优

内存配置

Milvus 性能与可用内存密切相关。建议在 docker-compose.yml 中为 standalone 服务添加资源限制：

standalone:
  # ... 其他配置
  deploy:
    resources:
      limits:
        memory: 8G
      reservations:
        memory: 4G

对于生产环境，建议至少分配 8GB 内存。

生产环境推荐配置

standalone:
  environment:
    - COMMON_CACHE_SIZE=4GB  # 查询缓存大小
    - COMMON_CPU_NUM=8       # 使用的 CPU 核心数
    - KNOWHERE_USE_BLAS_THRESHOLD=1000

避坑指南

1. 磁盘权限问题

如果遇到权限错误，可以尝试：

sudo chown -R 1000:1000 /var/lib/milvus

2. cgroup 问题

CentOS7 默认的 cgroup 版本可能较旧，可以升级内核或修改 GRUB 配置：

sudo grubby --update-kernel=ALL --args="systemd.unified_cgroup_hierarchy=0"
sudo reboot

思考题

如何设计 Milvus 集群的高可用方案？

可以考虑以下方向：

1. 使用 Kubernetes 部署多节点 Milvus 集群
2. 配置 Etcd 和 MinIO 的冗余备份
3. 实现读写分离和负载均衡

延伸阅读：
– Milvus 官方文档
– Kubernetes 部署指南
– 生产环境最佳实践