AI自然语言处理入门实战：从零构建你的第一个NLP应用

1次阅读

共计 2537 个字符，预计需要花费 7 分钟才能阅读完成。

自然语言处理（NLP）是 AI 领域最贴近日常生活的技术之一。从手机语音助手到邮件自动分类，从社交媒体情感分析到智能客服对话系统，NLP 技术已经渗透到我们数字生活的方方面面。掌握 NLP 基础，意味着你能够教会计算机理解人类语言——这种能力在当今数据驱动的世界极具价值。

在开始之前，我们需要准备好 Python 环境和必要的库：

pip install nltk scikit-learn spacy
python -m spacy download en_core_web_sm

原始文本数据往往包含大量噪音，预处理是 NLP 的第一步也是最重要的一步。

import re
import string
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from nltk.stem import PorterStemmer

# 下载 NLTK 数据
import nltk
nltk.download('punkt')
nltk.download('stopwords')

# 示例文本
text = "Hello! This is an example sentence, showing off the pre-processing steps in NLP. #NLP"

# 1. 转换为小写
text = text.lower()

# 2. 移除标点符号
text = re.sub(f'[{re.escape(string.punctuation)}]', '', text)

# 3. 移除数字和特殊字符
text = re.sub(r'\d+', '', text)
text = re.sub(r'[^\w\s]', '', text)

# 4. 分词
tokens = word_tokenize(text)

# 5. 移除停用词
stop_words = set(stopwords.words('english'))
tokens = [word for word in tokens if word not in stop_words]

# 6. 词干提取
stemmer = PorterStemmer()
tokens = [stemmer.stem(word) for word in tokens]

print("预处理后的 tokens:", tokens)

计算机无法直接理解单词，需要将文本转换为数值形式。我们使用 TF-IDF 方法：

from sklearn.feature_extraction.text import TfidfVectorizer

# 示例文档集合
documents = [
    "This is the first document.",
    "This document is the second document.",
    "And this is the third one.",
    "Is this the first document?",
]

# 创建 TF-IDF 向量化器
vectorizer = TfidfVectorizer()

# 拟合并转换文档
X = vectorizer.fit_transform(documents)

# 查看特征名称
print("特征名称:", vectorizer.get_feature_names_out())
print("向量化结果:", X.toarray())

我们以简单的文本分类为例，使用逻辑回归模型：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 示例数据：电影评论和标签（0= 负面，1= 正面）reviews = [
    "This movie was great!",
    "Terrible acting and plot.",
    "I loved every minute of it.",
    "Worst movie I've ever seen.","Amazing cinematography."
]
labels = [1, 0, 1, 0, 1]

# 文本向量化
X = vectorizer.fit_transform(reviews)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)

# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

# 评估
accuracy = accuracy_score(y_test, predictions)
print(f"模型准确率: {accuracy:.2f}")