AIGC原理与实践：从零开始掌握大语言模型、扩散模型和多模态模型的核心技术

1次阅读

共计 2563 个字符，预计需要花费 7 分钟才能阅读完成。

AIGC（AI Generated Content）正在改变我们创建和消费内容的方式。从自动生成文章到 AI 绘画，再到视频创作，AIGC 技术已经渗透到多个行业领域。作为一名刚接触这个领域的新手，我发现理解这些模型的原理并掌握其使用方法，可以为我们打开一扇通往 AI 创作世界的大门。

现代大语言模型如 GPT 系列都基于 Transformer 架构。它的核心是自注意力机制（Self-Attention），这种机制让模型能够同时关注输入序列中的所有位置，并根据相关性为每个位置分配不同的权重。

自注意力机制 ：计算 query、key 和 value 三个向量，通过点积计算相似度
位置编码 ：因为 Transformer 没有循环结构，需要额外添加位置信息
多头注意力 ：并行多个注意力头，捕捉不同子空间的语义信息

扩散模型通过逐步去噪的过程生成高质量图像。它包含两个主要过程：

前向过程：逐步向图像添加高斯噪声
反向过程：学习如何从噪声中重建原始图像

关键创新点是使用 U -Net 结构预测噪声，而不是直接预测图像本身。

多模态模型如 CLIP 能够理解不同模态数据（如图像和文本）之间的关系。其核心技术是：

对比学习：拉近匹配的图文对，推远不匹配的对
共享嵌入空间：将不同模态数据映射到同一向量空间

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载预训练模型和分词器
model_name = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成文本
input_text = "人工智能的未来是"
input_ids = tokenizer.encode(input_text, return_tensors="pt")

# 生成配置
output = model.generate(
    input_ids,
    max_length=50,
    num_return_sequences=1,
    no_repeat_ngram_size=2,
    do_sample=True,
    top_k=50,
    top_p=0.95,
    temperature=0.7
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

from diffusers import StableDiffusionPipeline
import torch

# 加载模型
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 生成图像
prompt = "一幅未来城市景观，赛博朋克风格，霓虹灯光"
negative_prompt = "模糊，低质量，变形"

image = pipe(
    prompt,
    negative_prompt=negative_prompt,
    height=512,
    width=512,
    num_inference_steps=50,
    guidance_scale=7.5,
    generator=torch.Generator(device="cuda").manual_seed(42)
).images[0]

image.save("future_city.png")

import clip
import torch
from PIL import Image

# 加载模型
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 准备数据
image = preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)
text = clip.tokenize(["一只狗", "一只猫", "一辆车"]).to(device)

# 计算相似度
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("匹配概率:", probs)  # 输出每个文本描述与图像的匹配概率