理解AI的本质：基于概率统计的生成式模型入门指南

1次阅读

没有评论

共计 2036 个字符，预计需要花费 6 分钟才能阅读完成。

传统编程是确定性的：输入固定时输出必然相同，就像菜谱严格规定步骤。而生成式 AI 更像厨师根据经验（概率）即兴发挥——相同输入可能产生不同但合理的输出，核心差异在于：

决策依据 ：if-else 规则 vs 概率分布
输出特性：精确解 vs 可能性空间内的采样
适应能力：硬编码逻辑 vs 从数据中学习模式

举个现实例子：用传统方法写诗歌生成器需要手动定义押韵规则和词汇库，而 AI 模型通过分析大量诗歌自动掌握平仄规律和意象组合概率。

公式看起来吓人：P(A|B) = [P(B|A)*P(A)]/P(B)，其实可以理解为：

先验概率 P(A)：看到数据前的初始认知（比如『下雨概率 20%』）
似然度 P(B|A)：假设成立时观察到数据的概率（『乌云密布时下雨概率 80%』）
后验概率 P(A|B)：考虑新证据后的修正判断（『现在乌云密布，实际下雨概率变为 …』）

在 AI 生成文本时，模型不断计算『在当前上下文后接某个词的概率』，本质上是在做贝叶斯更新。

假设下一个状态只依赖当前状态（一阶马尔可夫性），就像你写句子时主要考虑前一个词的影响。虽然现代 Transformer 有更长记忆，但核心思想仍延续这种局部依赖的建模方式。

用 PyTorch 搭建基于字符的 LSTM 模型（代码已简化，完整版需处理数据加载等细节）：

import torch
import torch.nn as nn

class CharGenerator(nn.Module):
    def __init__(self, vocab_size, hidden_size=128):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, 16)  # 字符转向量
        self.lstm = nn.LSTM(16, hidden_size, batch_first=True)
        self.head = nn.Linear(hidden_size, vocab_size)

    def forward(self, x, hidden=None):
        x = self.embed(x)  # (batch, seq_len) -> (batch, seq_len, 16)
        x, hidden = self.lstm(x, hidden)  # 通过 LSTM 处理序列
        return self.head(x), hidden  # 输出每个位置的下字符概率

# 训练伪代码示例（实际需要准备数据加载和训练循环）model = CharGenerator(len(vocab))
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

for epoch in range(100):
    hidden = None
    for batch in dataloader:
        inputs, targets = batch
        optimizer.zero_grad()
        outputs, hidden = model(inputs, hidden)
        loss = criterion(outputs.view(-1, len(vocab)), targets.view(-1))
        loss.backward()
        optimizer.step()

关键点说明：