基于AI的B站视频自动生成笔记：技术实现与避坑指南

1次阅读

没有评论

共计 2072 个字符，预计需要花费 6 分钟才能阅读完成。

B 站作为国内领先的视频平台，拥有海量的学习类视频资源。然而，用户在观看视频时常常面临以下问题：

视频信息密度高，难以快速抓住重点
手动记笔记效率低下，容易遗漏关键信息
视频内容无法像文本一样方便地检索和回顾

传统解决方案是人工观看并整理笔记，但这种方式耗时耗力，特别是在处理长视频或技术类内容时，准确性和完整性都难以保证。

要实现自动生成视频笔记，我们需要解决三个核心问题：获取视频内容、理解视频信息、生成结构化笔记。经过对比测试，我们选择了以下技术栈：

视频内容获取
使用 B 站官方 API 获取视频元数据和流链接
FFmpeg 进行视频下载和预处理
语音识别 (ASR)
Whisper 模型：开源、多语言支持、准确率高
对比测试显示，中文场景下 Whisper-large 准确率达 90% 以上
文本处理 (NLP)
BERT-extractive 摘要：从识别文本中提取关键句子
T5-generative 摘要：生成更流畅的摘要文本
关键词提取：使用 TF-IDF 结合 TextRank 算法
关键帧提取
OpenCV 进行场景切换检测
基于 SSIM 算法识别显著变化帧

系统架构分为四个主要模块：

数据采集模块
通过 B 站 API 获取视频信息
使用 FFmpeg 下载视频并分离音轨

示例代码：

import ffmpeg

def download_video(bvid):
    # 获取视频流 URL
    stream_url = get_bilibili_stream(bvid)
    # 下载并分离音视频
    (
        ffmpeg
        .input(stream_url)
        .output('audio.wav', acodec='pcm_s16le', ac=1, ar='16k')
        .run(quiet=True)
    )

语音转文字模块
使用 Whisper 进行语音识别
支持中英文混合识别

示例代码：

import whisper

def transcribe_audio(audio_path):
    model = whisper.load_model("large")
    result = model.transcribe(audio_path)
    return result["text"]

文本处理模块
先进行文本清洗（去除语气词、重复内容）
然后使用 BERT 模型提取关键句
最后用 T5 生成连贯摘要

示例代码：

from transformers import pipeline

def generate_summary(text):
    summarizer = pipeline("summarization", model="t5-small")
    summary = summarizer(text, max_length=150, min_length=30)
    return summary[0]["summary_text"]

关键帧提取模块
检测场景变化
提取 PPT/ 字幕帧

示例代码：

import cv2

def extract_key_frames(video_path, threshold=0.3):
    cap = cv2.VideoCapture(video_path)
    ret, prev_frame = cap.read()
    key_frames = []

    while cap.isOpened():
        ret, curr_frame = cap.read()
        if not ret:
            break

        # 计算帧间差异
        diff = cv2.absdiff(prev_frame, curr_frame)
        non_zero = np.count_nonzero(diff)
        if non_zero / diff.size > threshold:
            key_frames.append(curr_frame)
        prev_frame = curr_frame

    return key_frames

在实际应用中，我们发现并解决了以下性能问题：