基于B站大语言模型笔记的高效知识管理解决方案

1次阅读

没有评论

共计 1557 个字符，预计需要花费 4 分钟才能阅读完成。

随着 B 站大语言模型相关视频和笔记的爆发式增长，开发者们普遍遇到以下问题：

信息碎片化严重 ：优质内容分散在不同 UP 主视频、评论区、专栏文章中，缺乏统一管理
检索效率低下 ：传统关键词搜索无法理解语义，导致 ” 知道内容但搜不出来 ” 的困境
知识关联薄弱 ：不同笔记间的技术点难以自动建立关联，形成知识孤岛
个性化程度不足 ：无法根据开发者技术栈和当前项目自动推荐相关内容

Elasticsearch
优势：成熟的全文检索、丰富的聚合分析功能
不足：高维向量搜索性能较差，扩展成本高
Milvus
优势：专为向量搜索优化，支持亿级数据毫秒响应
劣势：需要额外维护标量索引

最终选择 Milvus 2.3 + PostgreSQL 组合方案，兼顾向量搜索和结构化查询需求。

整个系统分为四个核心模块：

数据采集层
B 站 API 爬虫 (遵守 robots.txt)
浏览器插件辅助收集
手动导入 Markdown 笔记
处理层
使用 LangChain 进行文档分块
Sentence-BERT 生成 384 维向量
自动提取技术标签 (如 ”LLM”,” 微调 ”)
存储层
Milvus：存储文档向量和相似度索引
PostgreSQL：存储原始文本和元数据
应用层
Flask/Vue 构建的 Web 界面
混合搜索 API（语义 + 关键词）
个人知识图谱可视化

# 向量生成与存储示例
from sentence_transformers import SentenceTransformer
import pymilvus

# 初始化模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 连接 Milvus
connections.connect("default", host="localhost", port="19530")

# 定义集合 schema
fields = [FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=384)
]
schema = CollectionSchema(fields, "bilibili_notes")
collection = Collection("bilibili_notes", schema)

# 文本向量化存储
def store_note(content):
    embedding = model.encode(content)
    data = [[get_next_id()],  # IDs
        [embedding.tolist()]  # 向量
    ]
    collection.insert(data)
    return data[0][0]

在 16 核 32GB 内存的测试服务器上：