Busi数据集入门指南：从零开始构建高效数据处理流程

1次阅读

共计 1796 个字符，预计需要花费 5 分钟才能阅读完成。

Busi 数据集是一个专注于商业智能分析的开放数据集，包含销售记录、用户行为、库存状态等多维度结构化数据。它常用于以下场景：

零售业销售趋势分析
用户购买行为模式挖掘
库存周转率预测
A/ B 测试效果评估

数据集通常以 CSV 或 JSON 格式提供，包含数十万条记录，适合练习从数据清洗到建模的全流程。

数据加载报错：
问题：编码格式错误导致中文乱码
解决：指定 encoding='utf-8' 或gbk参数
内存不足：
问题：直接读取大文件导致内存溢出
解决：使用 pandas.read_csv(chunksize=50000) 分块读取
日期格式混乱：
问题：多国日期格式混合（如 MM/DD/YY 和 DD-MM-YYYY）
解决：统一用 pd.to_datetime() 转换并指定 format 参数

import pandas as pd
from sklearn.preprocessing import StandardScaler

# 1. 数据加载（带异常值处理）def load_data(path):
    try:
        # 使用 with 自动管理文件句柄
        with open(path, 'r', encoding='utf-8') as f:
            # 跳过注释行
            df = pd.read_csv(f, comment='#')
        print(f"成功加载 {len(df)} 条记录")
        return df
    except Exception as e:
        print(f"加载失败: {str(e)}")
        return None

# 2. 数据清洗
def clean_data(raw_df):
    # 处理缺失值
    df = raw_df.dropna(subset=['order_amount'])

    # 去除测试数据（金额为 0 的记录）df = df[df['order_amount'] > 0]

    # 日期标准化
    df['order_date'] = pd.to_datetime(df['order_date'], format='%Y-%m-%d')

    return df

# 3. 特征工程
def feature_engineering(clean_df):
    # 添加星期特征
    clean_df['day_of_week'] = clean_df['order_date'].dt.dayofweek

    # 金额分箱
    clean_df['amount_level'] = pd.cut(clean_df['order_amount'], 
                                    bins=[0,100,500,1000,float('inf')],
                                    labels=['low','medium','high','vip'])

    # 数值标准化
    scaler = StandardScaler()
    clean_df[['amount_norm']] = scaler.fit_transform(clean_df[['order_amount']])

    return clean_df

# 主流程
if __name__ == '__main__':
    raw_data = load_data('busi_dataset.csv')
    cleaned_data = clean_data(raw_data)
    final_data = feature_engineering(cleaned_data)
    print(final_data.head())