陌讯skill在高并发场景下的架构优化实践

4次阅读

没有评论

共计 1712 个字符，预计需要花费 5 分钟才能阅读完成。

陌讯 skill 作为一款即时通讯服务，在用户量快速增长的过程中遇到了明显的性能瓶颈。原有架构主要面临以下问题：

同步处理模式下，请求堆积导致响应延迟飙升，高峰期平均延迟达到 800ms
单机 MySQL 数据库成为性能瓶颈，QPS 超过 2000 时出现明显卡顿
本地缓存命中率低（仅 35%），大量请求穿透到数据库层
传统轮询负载均衡算法导致部分节点过载，资源分配不均

同步处理
优点：实现简单，逻辑直观
缺点：线程阻塞，资源利用率低
适用场景：低并发、强一致性要求的操作
异步处理
优点：高吞吐，资源利用率高
缺点：实现复杂，需要处理消息丢失等问题
适用场景：高并发、允许最终一致性的场景

本地缓存
优点：零网络开销，性能极高
缺点：数据不一致，内存限制
适用场景：静态数据、变化频率低的场景
分布式缓存
优点：数据一致，容量可扩展
缺点：网络延迟，复杂度高
适用场景：动态数据、多节点共享的场景

采用 Kafka 作为消息中间件，实现生产 - 消费者模式：

// 生产者示例
@RestController
public class MessageController {
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @PostMapping("/send")
    public void sendMessage(@RequestBody String message) {kafkaTemplate.send("message_queue", message);
    }
}

// 消费者示例
@KafkaListener(topics = "message_queue", groupId = "group1")
public void consume(String message) {
    // 业务处理逻辑
    processMessage(message);
}

实现 Redis+ 本地缓存的两级缓存架构：

第一层：本地 Caffeine 缓存（TTL=5s）
第二层：Redis 集群缓存（TTL=30s）
缓存更新采用 Write-Through 模式

# Python 实现示例
def get_user(user_id):
    # 尝试从本地缓存获取
    user = local_cache.get(user_id)
    if user:
        return user

    # 从 Redis 获取
    user = redis.get(f"user:{user_id}")
    if user:
        local_cache.set(user_id, user, ttl=5)
        return user

    # 从数据库获取
    user = db.query("SELECT * FROM users WHERE id = ?", user_id)
    if user:
        redis.set(f"user:{user_id}", user, ex=30)
        local_cache.set(user_id, user, ttl=5)
    return user

采用一致性哈希算法替代传统轮询，实现：