高并发场景下的Skill加载与管理优化实战

2次阅读

没有评论

共计 1626 个字符，预计需要花费 5 分钟才能阅读完成。

在高并发业务场景中，Skill 加载与管理往往面临诸多挑战。这些挑战直接影响系统的稳定性和用户体验。

资源竞争问题 ：当大量请求同时请求加载 Skill 时，容易出现 I / O 瓶颈和 CPU 资源争抢，导致响应时间急剧上升。
冷启动延迟 ：首次加载 Skill 时需要从数据库读取并初始化，这个过程耗时较长，在高并发下容易形成雪崩效应。
内存压力 ：频繁加载和卸载 Skill 会导致内存碎片化，长时间运行可能出现 OOM 问题。
线程阻塞 ：同步加载方式会导致请求线程被阻塞，降低系统吞吐量。

针对上述问题，我们对比了三种主流方案：

同步加载
优点：实现简单，逻辑直观
缺点：阻塞请求线程，吞吐量低
异步预加载
优点：提前加载资源，降低延迟
缺点：可能预加载未使用的资源，浪费内存
懒加载 + 缓存
优点：按需加载，资源利用率高
缺点：首次访问仍有延迟

经过压测对比，我们最终选择了 ” 懒加载 + 多级缓存 ” 的混合方案，在内存占用和响应速度之间取得平衡。

内存缓存 ：使用 Caffeine 实现一级缓存，存储热点 Skill
分布式缓存 ：Redis 作为二级缓存，减轻 DB 压力
持久层 ：MySQL 存储完整 Skill 数据

public class SkillLoader {
    private final Cache<String, Skill> localCache;
    private final RedisTemplate<String, Skill> redisTemplate;
    private final SkillRepository skillRepository;

    // 双检锁保证单例初始化
    public Skill getSkill(String skillId) {Skill skill = localCache.getIfPresent(skillId);
        if (skill != null) return skill;

        skill = redisTemplate.opsForValue().get(skillId);
        if (skill != null) {localCache.put(skillId, skill);
            return skill;
        }

        synchronized (this) {skill = skillRepository.findById(skillId);
            if (skill != null) {redisTemplate.opsForValue().set(skillId, skill, 1, TimeUnit.HOURS);
                localCache.put(skillId, skill);
            }
        }
        return skill;
    }
}

使用有界队列防止 OOM
设置合理的核心 / 最大线程数
自定义拒绝策略记录告警

ThreadPoolExecutor executor = new ThreadPoolExecutor(
    4, // 核心线程数
    16, // 最大线程数
    60, TimeUnit.SECONDS,
    new ArrayBlockingQueue<>(1000), // 有界队列
    new CustomThreadFactory(),
    new LogRejectedExecutionHandler() // 自定义拒绝策略);

通过 JMeter 压测对比优化前后指标：