深入解析Agent is Unreachable via TCP：从网络诊断到解决方案

1次阅读

共计 1850 个字符，预计需要花费 5 分钟才能阅读完成。

在分布式系统或微服务架构中，Agent 作为执行特定任务的独立进程，通常通过 TCP 与其他组件通信。当出现 Agent is Unreachable via TCP 错误时，往往意味着通信链路中断或 Agent 失去响应。常见于以下场景：

跨机房部署时网络抖动或分区
云服务商安全组规则未放通特定端口
Agent 进程因资源不足崩溃后未自动恢复
长连接场景下未配置心跳导致中间设备（如 LB）断开空闲连接

防火墙 / 安全组拦截：检查 iptables/nftables 规则、云平台安全组是否允许目标端口通行
路由异常 ：traceroute 或mtr工具可发现路由黑洞或错误配置
MTU 不匹配 ：大数据包分片丢失导致握手失败（通过ping -s 逐步测试）

连接超时 ：net.ipv4.tcp_keepalive_time 参数过小（默认 7200 秒可能太长）
端口耗尽 ：netstat -ant | grep TIME_WAIT 观察是否大量连接未释放
SYN 重试不足 ：sysctl net.ipv4.tcp_syn_retries 建议调整为 3 - 5 次

线程阻塞 ：JVM 的jstack 或 Golang 的 pprof 检查协程卡死
资源泄漏 ：vmstat 1 观察内存 / 句柄持续增长
启动依赖未就绪：例如数据库连接超时导致服务未完全启动

Telnet 快速验证：

telnet <agent_ip> <port>  # 连不通时结合 tcpdump 抓包

网络流量捕获：
```
tcpdump -i eth0 host <agent_ip> and port <port> -w /tmp/debug.pcap
```
使用 Wireshark 分析握手阶段是否出现 RST 包或 SYN 未响应

连接状态统计：

netstat -anp | grep <port>  # 查看连接状态
ss -s  # 统计总连接数

import socket
from time import sleep
from retrying import retry

@retry(stop_max_attempt_number=3, wait_exponential_multiplier=1000)
def safe_connect(host, port):
    try:
        sock = socket.create_connection((host, port), timeout=5)
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)
        return sock
    except socket.error as e:
        print(f"Connect failed: {e}")
        raise

import "net"

func dialWithKeepalive(addr string) (net.Conn, error) {conn, err := net.DialTimeout("tcp", addr, 10*time.Second)
    if err != nil {return nil, err}
    tcpConn := conn.(*net.TCPConn)
    tcpConn.SetKeepAlive(true)
    tcpConn.SetKeepAlivePeriod(30 * time.Second) // 短于 LB 空闲超时
    return tcpConn, nil
}