基于用户画像的Agent Skills推荐系统设计与实现

1次阅读

共计 1804 个字符，预计需要花费 5 分钟才能阅读完成。

在客服中心工作过的同学都知道，传统规则匹配经常遇到这样的尴尬：

新上线的话术包永远分不到合适的坐席
遇到方言客户时系统还在推荐英文服务技能
高频技能过度集中导致部分专家座席长期超负荷

这些问题的本质是静态规则难以应对动态场景。我们通过埋点分析发现：

超过 60% 的未解决工单源于技能错配
冷启动期的新技能使用率不足 5%
长尾技能触发率随时间衰减明显

方法	优点	缺点	适用场景
协同过滤	无需人工标注	冷启动困难	用户行为丰富的场景
内容推荐	可解释性强	依赖特征工程	技能标签明确的场景
深度学习	自动特征组合	计算资源消耗大	超大规模数据场景

最终采用 协同过滤 + 内容特征 的 Hybrid 方案，结构如下：

flowchart TD
    A[用户行为日志] --> B[特征工程]
    C[技能元数据] --> B
    B --> D[实时特征服务]
    D --> E[召回层]
    E --> F[排序层]
    F --> G[业务规则过滤]

from pyspark.ml.feature import StringIndexer, OneHotEncoder
from pyspark.sql.functions import udf
from pyspark.sql.types import ArrayType, FloatType

# 关键特征交叉操作
def cross_features(df):
    # 离散特征编码
    indexer = StringIndexer(inputCol="device_type", outputCol="device_idx")
    encoder = OneHotEncoder(inputCols=["device_idx"], 
                           outputCols=["device_ohe"])

    # 连续特征分桶
    bucketizer = Bucketizer(splits=[0, 5, 10, 20, float('inf')],
        inputCol="duration",
        outputCol="duration_bucket"
    )

    # 组合特征
    cross_udf = udf(lambda x,y: [x*y for pair in zip(x,y)], 
        ArrayType(FloatType())
    )

    return df.transform(...)

import faiss

# 关键参数配置
d = 64  # 向量维度
index = faiss.IndexIVFPQ(faiss.IndexFlatL2(d),
    d,            # 维度
    100,          # nlist（聚类中心数）8,            # m（子向量数）8             # bits（每个子向量编码位数）)
index.nprobe = 5  # 搜索的聚类中心数

调参经验：
– nprobe 增大可提升召回率但降低 QPS
– m 值建议取维度 d 的 1 /4~1/8
– 生产环境建议启用 GPU 加速

在 AWS c5.2xlarge 机型测试结果：

算法	QPS	P99 延迟	召回率
暴力搜索	1,200	450ms	100%
HNSW	25,000	28ms	98.7%
IVFPQ(本文)	38,000	15ms	95.2%

敏感特征处理流程：

地理位置：城市级模糊化（如北京 -> 华北）
设备信息：仅保留品牌级别信息
用户 ID：采用动态盐值哈希

技能粒度：控制在 3 - 5 个关键词（如 ” 信用卡 - 挂失 - 加急 ”）
更新机制：每周人工审核新增标签
版本控制：保留历史标签映射关系

def explain_recommend(user_id, skill_id):
    # 获取用户最近 3 次交互技能
    history = get_user_history(user_id) 

    # 计算技能相似度
    sim_scores = [
        (h, cosine_similarity(skill_emb[skill_id], 
            skill_emb[h]
        )) 
        for h in history
    ]

    # 返回 Top 关联原因
    return sorted(sim_scores, key=lambda x: -x[1])[:3]

最近在试验结合 LLM 的增强方案：