autoglm-9b-phone实战：从零构建手机自动化运行的微调数据集

1次阅读

共计 2014 个字符，预计需要花费 6 分钟才能阅读完成。

现有公开数据集（如 Rico、ReDroid）普遍存在三个问题：

场景单一性：多数仅包含基础操作（点击、滑动），缺乏支付验证、多应用跳转等复杂链路
设备指纹缺失：未记录屏幕分辨率、ROM 版本等关键元数据，导致模型在真机部署时适配失败
时序离散化：人工标注的动作间隔与实际操作存在差异，影响长序列任务的预测精度

通过自建数据集，我们可以捕获真实用户操作流（包括误操作和修正行为），这对训练鲁棒的自动化模型至关重要。

flowchart TD
    A[设备连接层] -->|ADB/WiFi 调试 | B(行为捕获层)
    B --> C{数据持久化层}
    C --> D[(MongoDB)]
    C --> E[Parquet 文件]

设备连接层：通过 ADB over TCP 实现无线连接（避免 USB 线缆干扰操作）
行为捕获层 ：监听getevent 原始输入流，并关联 dumpsys window 获取 Activity 上下文
持久化层：采用增量写入模式，每 1000 条操作记录为一个 Parquet 分片

from retrying import retry
import subprocess

@retry(stop_max_attempt_number=3, wait_fixed=2000)
def capture_touch_event(device_id: str) -> dict:
    """ 捕获单次触摸事件（包含压力值和接触面积）Args:
        device_id: 通过 `adb devices` 获取的设备标识
    Returns:
        {'x': 720, 'y': 1280, 'pressure': 56, 'area': 12}
    """
    raw_event = subprocess.check_output(f'adb -s {device_id} shell getevent -lt /dev/input/event2',
        timeout=0.5
    ).decode()
    # 解析十六进制原始数据（示例代码需补充校验逻辑）return parse_event(raw_event)

import pandas as pd
from sklearn.preprocessing import MinMaxScaler

def preprocess_sequence(df: pd.DataFrame) -> pd.DataFrame:
    """ 将操作序列转化为模型可处理的向量
    关键步骤：1. 计算操作之间的时间差（delta_t）2. 对坐标进行屏幕分辨率归一化
    3. 生成滑动窗口特征（窗口大小 =5）"""
    scaler = MinMaxScaler()
    df[['norm_x', 'norm_y']] = scaler.fit_transform(df[['x', 'y']])

    # 生成序列特征
    df['delta_t'] = df['timestamp'].diff().fillna(0)
    return df.rolling(window=5).mean().dropna()

Prompt 模板设计：

指令：完成美团外卖下单
上下文：当前位于购物车页，已选 2 份黄焖鸡米饭
动作序列：1. [tap] x=720 y=1800   # 点击去结算
2. [wait] 2000ms       # 等待页面加载
3. [swipe] from (300,1600) to (300,1000)  # 滑动查看优惠

Loss 调整：在标准交叉熵损失中加入时序连续性惩罚项

import torch

def custom_loss(y_pred, y_true, time_penalty=0.3):
    ce_loss = F.cross_entropy(y_pred, y_true)
    # 惩罚相邻动作预测结果突变
    time_loss = torch.mean(torch.abs(y_pred[1:] - y_pred[:-1]))
    return ce_loss + time_penalty * time_loss