CMLR数据集入门指南：从零开始构建你的第一个机器学习项目

1次阅读

没有评论

共计 2346 个字符，预计需要花费 6 分钟才能阅读完成。

CMLR（Chinese Multi-Label Recognition）数据集是一个专门用于中文多标签识别任务的数据集。它包含大量中文文本样本，每个样本可能同时属于多个类别标签。这种特性使得 CMLR 在以下场景特别有用：

新闻文章分类（一篇文章可能同时属于政治、经济等多个类别）
商品多标签分类（一个商品可能同时具有多种属性）
情感多标签分析（一段文本可能同时表达多种情感）

CMLR 数据集的主要特点包括：

规模适中，适合教学和小型项目
标签之间有明显的相关性
包含预划分的训练集和测试集
文本已经过基础清洗

以下是使用 Python 加载 CMLR 数据集的基本代码示例：

import pandas as pd
from sklearn.model_selection import train_test_split

# 加载数据集
def load_cmlr_data(data_path):
    """
    加载 CMLR 数据集
    :param data_path: 数据集路径
    :return: 文本数据和对应标签
    """
    data = pd.read_csv(data_path)
    texts = data['text'].values
    labels = data.iloc[:, 1:].values  # 假设第一列是文本，后面都是标签
    return texts, labels

# 示例用法
texts, labels = load_cmlr_data('cmlr_dataset.csv')

针对中文文本，我们需要进行以下预处理步骤：

文本清洗（去除特殊字符、标点等）
分词处理
停用词过滤
文本向量化

以下是预处理代码示例：

import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

# 中文分词函数
def chinese_tokenizer(text):
    return ' '.join(jieba.cut(text))

# 文本预处理管道
def preprocess_texts(texts):
    # 分词
    tokenized_texts = [chinese_tokenizer(text) for text in texts]

    # 向量化
    vectorizer = TfidfVectorizer(max_features=5000)
    X = vectorizer.fit_transform(tokenized_texts)

    return X, vectorizer

# 示例用法
X, vectorizer = preprocess_texts(texts)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)

对于多标签分类问题，我们可以使用以下方法：

问题转换法（将多标签问题转化为多个二分类问题）
算法适配法（使用支持多标签的分类器）

以下是使用问题转换法的示例：

from sklearn.multiclass import OneVsRestClassifier
from sklearn.linear_model import LogisticRegression

# 创建多标签分类器
classifier = OneVsRestClassifier(LogisticRegression(max_iter=1000))

# 训练模型
classifier.fit(X_train, y_train)

# 评估模型
y_pred = classifier.predict(X_test)

多标签分类的评估指标与单标签不同，常用的有：

Hamming Loss
Accuracy
Precision, Recall, F1-score

评估代码示例：

from sklearn.metrics import hamming_loss, classification_report

# 计算 Hamming Loss
loss = hamming_loss(y_test, y_pred)
print(f"Hamming Loss: {loss:.4f}")

# 生成分类报告
print(classification_report(y_test, y_pred))

CMLR 数据集中某些标签可能样本极少，解决方案：