基于B站大语言模型笔记的高效知识管理解决方案

1次阅读

没有评论

共计 1711 个字符，预计需要花费 5 分钟才能阅读完成。

在学习和研究 B 站大语言模型相关内容时，开发者往往会积累大量笔记。这些笔记通常存在以下问题：

碎片化严重：视频、评论、代码片段分散在不同平台
检索效率低：关键词搜索无法理解语义关联
缺乏结构化：笔记之间难以建立知识图谱关联
版本管理困难：随着模型迭代，历史笔记容易过时

优点：成熟的全文检索能力，丰富的聚合分析功能
缺点：向量搜索性能较弱，社区版功能有限

优点：专为向量搜索优化，支持 GPU 加速
缺点：运维复杂度较高，内存消耗较大

最终选择 Milvus 作为向量数据库，配合 SQLite 存储元数据。

系统分为三个主要模块：

数据采集层：从 B 站 API 获取视频、弹幕、评论数据
处理层：使用 LangChain 进行文本分块和向量化
应用层：基于 FastAPI 提供搜索和推荐服务

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings

# 初始化文本分割器
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50
)

# 初始化嵌入模型
embedder = HuggingFaceEmbeddings(model_name="paraphrase-multilingual-MiniLM-L12-v2")

def process_note(content):
    """处理单条笔记内容"""
    chunks = text_splitter.split_text(content)
    vectors = embedder.embed_documents(chunks)
    return chunks, vectors

from pymilvus import connections, Collection

class VectorSearcher:
    def __init__(self):
        connections.connect("default", host="localhost", port="19530")
        self.collection = Collection("bilibili_notes")

    def semantic_search(self, query, top_k=5):
        """语义搜索实现"""
        # 向量化查询
        query_vec = embedder.embed_query(query)

        # 构建搜索参数
        search_params = {
            "metric_type": "L2",
            "offset": 0,
            "ignore_growing": False,
            "params": {"nprobe": 10}
        }

        # 执行搜索
        results = self.collection.search(data=[query_vec],
            anns_field="embedding",
            param=search_params,
            limit=top_k,
            output_fields=["content", "source"]
        )

        return results

在配备 NVIDIA T4 GPU 的服务器上测试：