如何彻底解决 ‘agent is unreachable via tcp’ 问题：从诊断到修复的完整指南

1次阅读

共计 1783 个字符，预计需要花费 5 分钟才能阅读完成。

在分布式系统中，’agent is unreachable via tcp’ 是一个常见但令人头疼的问题。当某个 agent 节点无法通过 TCP 协议与其他节点通信时，可能导致数据不一致、任务堆积甚至整个系统瘫痪。这种情况通常表现为心跳超时、任务分发失败或监控告警频繁触发。

网络配置问题
防火墙规则阻止了必要的端口通信
路由表配置错误导致网络分区
DNS 解析失败或 hosts 文件配置不当
资源限制
系统文件描述符耗尽
网络带宽被占满
内存不足导致 OOM Killer 终止关键进程
软件缺陷
连接池泄漏
心跳检测机制不健全
TCP keepalive 参数设置不合理

基础网络检查

# 测试基本连通性
ping <agent_ip>

# 检查端口是否开放
telnet <agent_ip> <port>
nc -zv <agent_ip> <port>

# 查看路由路径
traceroute <agent_ip>

系统资源检查

# 查看文件描述符使用情况
lsof -n | wc -l

# 检查网络连接状态
ss -s
netstat -antp

# 查看系统资源使用
top -n 1
free -m

日志分析
重点关注 agent 日志中的连接超时错误
审查系统日志中的 OOM 事件
检查内核日志中的网络丢包记录

TCP 连接重试机制实现（Go 示例）

func connectWithRetry(addr string, maxRetries int, backoff time.Duration) (net.Conn, error) {
    var conn net.Conn
    var err error

    for i := 0; i < maxRetries; i++ {conn, err = net.DialTimeout("tcp", addr, 5*time.Second)
        if err == nil {return conn, nil}

        time.Sleep(backoff * time.Duration(i+1))
    }

    return nil, fmt.Errorf("failed after %d retries: %v", maxRetries, err)
}

优化心跳检测（Python 示例）

import socket
import time

def check_heartbeat(host, port, timeout=3, interval=30):
    while True:
        try:
            with socket.create_connection((host, port), timeout=timeout) as s:
                s.sendall(b'PING')
                response = s.recv(4)
                if response != b'PONG':
                    print(f"Unexpected response: {response}")
        except Exception as e:
            print(f"Heartbeat failed: {e}")

        time.sleep(interval)

调整 TCP 参数

# 增加 TCP keepalive 检测频率
echo 30 > /proc/sys/net/ipv4/tcp_keepalive_time
echo 5 > /proc/sys/net/ipv4/tcp_keepalive_intvl
echo 3 > /proc/sys/net/ipv4/tcp_keepalive_probes

# 增加可用端口范围
echo "1024 65535" > /proc/sys/net/ipv4/ip_local_port_range