CentOS7环境下Docker安装Milvus向量数据库实战指南

共计 2830 个字符，预计需要花费 8 分钟才能阅读完成。

背景痛点

在 CentOS7 裸机环境直接安装 Milvus 时，经常会遇到 glibc 版本冲突的问题。由于 Milvus 依赖较新的 glibc 版本，而 CentOS7 默认安装的 glibc 版本较旧，导致兼容性问题。此外，不同依赖库之间的版本冲突也是一个常见问题。

使用 Docker 方案可以完美解决这些兼容性问题，因为 Docker 容器提供了独立的运行环境，包含所有必要的依赖库。这种方式不仅简化了安装流程，还确保了环境的隔离性和一致性。

技术对比

Docker-compose vs Kubernetes

• Docker-compose：适用于单机部署，配置简单，适合开发测试环境。通过一个 YAML 文件定义所有服务，启动和停止都非常方便。
• Kubernetes：适用于生产环境，支持多节点部署和高可用。配置复杂，但提供了强大的集群管理能力。

对于新手和开发环境，Docker-compose 是更好的选择，因为它简单易用，能够快速搭建一个可用的 Milvus 服务。

核心实现

1. CentOS7 的 Docker 环境准备

首先，确保系统已经安装了 Docker 和 Docker-compose。以下是安装步骤：

1. 更新系统包：

   sudo yum update -y

2. 安装 Docker：

   sudo yum install -y docker
   sudo systemctl start docker
   sudo systemctl enable docker

3. 安装 Docker-compose：

   sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
   sudo chmod +x /usr/local/bin/docker-compose

4. 配置防火墙和 SELinux：

   sudo systemctl stop firewalld
   sudo systemctl disable firewalld
   sudo setenforce 0
   sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2. 编写 docker-compose.yml 文件

以下是一个带注释的 docker-compose.yml 文件示例：

version: '3.5'

services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.0
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - /var/lib/milvus/etcd:/etcd
    command: etcd --advertise-client-urls=http://0.0.0.0:2379 --listen-client-urls=http://0.0.0.0:2379

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2022-03-17T06-34-49Z
    environment:
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - /var/lib/milvus/minio:/minio_data
    command: minio server /minio_data
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.0.0
    command: ["milvus", "run", "standalone"]
    environment:
      - ETCD_ENDPOINTS=etcd:2379
      - MINIO_ADDRESS=minio:9000
      - MINIO_ACCESS_KEY=minioadmin
      - MINIO_SECRET_KEY=minioadmin
    volumes:
      - /var/lib/milvus/db:/var/lib/milvus/db
      - /var/lib/milvus/conf:/var/lib/milvus/conf
      - /var/lib/milvus/logs:/var/lib/milvus/logs
    ports:
      - "19530:19530"
    depends_on:
      - "etcd"
      - "minio"

3. 验证安装

1. 启动服务：

   docker-compose up -d

2. 检查服务状态：

   docker-compose ps

3. 健康检查：

   curl http://localhost:19530/v1/vector/collections

性能调优

容器内存限制

Milvus 的性能受容器内存限制影响较大。默认情况下，Docker 容器的内存限制为 2GB，这对于生产环境可能不够。可以通过以下命令调整内存限制：

docker update --memory 8g --memory-swap -1 milvus-standalone

生产环境参数配置

以下是一个生产环境推荐的参数配置模板：

services:
  standalone:
    deploy:
      resources:
        limits:
          memory: 8g
        reservations:
          memory: 4g

避坑指南

磁盘权限问题

挂载目录 /var/lib/milvus 时，可能会遇到权限问题。解决方案是确保目录存在并设置正确的权限：

sudo mkdir -p /var/lib/milvus/{etcd,minio,db,conf,logs}
sudo chmod -R 777 /var/lib/milvus

CentOS7 内核版本问题

CentOS7 默认的内核版本较低，可能导致 cgroup 问题。可以通过升级内核解决：

sudo yum install -y kernel kernel-devel
sudo reboot

思考题

如何设计 Milvus 集群的高可用方案？可以考虑使用 Kubernetes 部署 Milvus 集群，并结合负载均衡和自动扩展机制。

延伸阅读

• Milvus 官方文档
• Docker-compose 官方文档
• Kubernetes 部署 Milvus 指南

希望这篇指南能帮助你在 CentOS7 环境下顺利安装和配置 Milvus 向量数据库。如果有任何问题，欢迎在评论区留言讨论。