ActivityRecord Token 在高并发场景下的性能优化实践

1次阅读

没有评论

共计 2187 个字符，预计需要花费 6 分钟才能阅读完成。

在高并发分布式系统中，ActivityRecord Token 被广泛用于用户行为追踪。传统的实现方式通常依赖数据库存储和验证 Token，这会带来两个主要问题：

数据库压力：每次 Token 生成和验证都需要访问数据库，在高并发场景下会导致数据库连接池耗尽
锁竞争：为了保证 Token 唯一性，通常需要在数据库层面加锁，进一步降低系统吞吐量

我们的监控数据显示，在峰值时段（约 5000QPS），Token 相关操作占用了 70% 的数据库资源，平均延迟达到 200ms，成为系统明显的性能瓶颈。

我们评估了三种主流方案：

JWT（JSON Web Token）
优点：无状态，验证速度快
缺点：无法提前撤销，存储信息有限
Redis 缓存
优点：读写性能高，支持丰富的数据结构
缺点：需要处理缓存一致性
异步队列
优点：削峰填谷，降低实时压力
缺点：增加系统复杂度

最终我们采用 Redis 缓存 + 异步队列的混合方案：
– 热数据（最近生成的 Token）放在 Redis
– 冷数据异步持久化到数据库
– 验证操作优先走 Redis

我们使用 Redis 集群作为缓存层，通过 Lua 脚本保证原子性操作。以下是一个典型的 Token 生成脚本：

-- KEYS[1]: token key
-- ARGV[1]: expiration time
-- ARGV[2]: user data
local exists = redis.call('exists', KEYS[1])
if exists == 1 then
    return nil
end
redis.call('hmset', KEYS[1], 'data', ARGV[2], 'created', tonumber(ARGV[3]))
redis.call('expire', KEYS[1], ARGV[1])
return 1

我们设计了基于 Kafka 的异步处理流水线：

Token 生成后立即写入 Redis
异步发送消息到 Kafka
消费者批量写入数据库

这种设计将数据库写入延迟从关键路径中移除，实测显示可将吞吐量提升 3 倍。

public class DistributedTokenGenerator {
    private final long datacenterId;
    private final long workerId;
    private long sequence = 0L;
    private long lastTimestamp = -1L;

    public synchronized String generateToken() {long timestamp = timeGen();

        if (timestamp < lastTimestamp) {throw new RuntimeException("Clock moved backwards");
        }

        if (lastTimestamp == timestamp) {sequence = (sequence + 1) & 4095;
            if (sequence == 0) {timestamp = tilNextMillis(lastTimestamp);
            }
        } else {sequence = 0L;}

        lastTimestamp = timestamp;

        return Long.toHexString((timestamp << 22) 
            | (datacenterId << 17) 
            | (workerId << 12) 
            | sequence);
    }
}

func BatchVerifyTokens(redisClient *redis.Client, tokens []string) (map[string]bool, error) {pipe := redisClient.Pipeline()
    results := make(map[string]bool)

    for _, token := range tokens {pipe.Exists(context.Background(), "token:"+token)
    }

    cmds, err := pipe.Exec(context.Background())
    if err != nil {return nil, err}

    for i, cmd := range cmds {count, _ := cmd.(*redis.IntCmd).Result()
        results[tokens[i]] = count > 0
    }

    return results, nil
}

我们在生产环境进行了 AB 测试，对比优化前后的性能指标：