ArcGIS Pro 机器学习实战：从数据预处理到模型部署的完整解决方案

1次阅读

共计 2477 个字符，预计需要花费 7 分钟才能阅读完成。

地理信息领域的机器学习应用往往面临独特挑战，尤其是当 GIS 数据需要与常规机器学习流程对接时。本文将分享一套完整的解决方案，帮助开发者高效实现从数据预处理到模型部署的全流程。

坐标系转换问题：不同来源的 GIS 数据可能采用不同的坐标参考系统（CRS），直接混合使用会导致空间错位。例如，WGS84 和 Web 墨卡托投影下的同一区域坐标值完全不同。
数据格式差异：机器学习模型通常接受 NumPy 数组或 Pandas DataFrame 作为输入，而 GIS 数据多为栅格（如 GeoTIFF）或矢量（如 Shapefile）格式，需要特殊处理。
空间特性保留：常规特征工程可能破坏空间自相关性这一 GIS 数据的核心特性，导致模型性能下降。
大规模数据处理：高分辨率遥感影像等栅格数据极易导致内存溢出，需要特殊处理技巧。

以下代码演示了如何将 Shapefile 转换为适合机器学习的格式，同时保留空间特性：

import arcpy
import numpy as np
from sklearn.preprocessing import StandardScaler

# 设置工作空间
arcpy.env.workspace = "input_data.gdb"

# 坐标系转换：将所有数据统一到 WGS84
arcpy.Project_management("raw_data.shp", "projected_data.shp", 
                         arcpy.SpatialReference(4326))

# 提取特征到 NumPy 数组
fields = ["NDVI", "Elevation", "Slope"]  # 示例特征字段
arr = arcpy.da.FeatureClassToNumPyArray("projected_data.shp", fields)

# 标准化特征
scaler = StandardScaler()
X = scaler.fit_transform(arr)

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

# 假设已加载标签数据 y
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 训练随机森林模型
clf = RandomForestClassifier(n_estimators=100, n_jobs=-1)
clf.fit(X_train, y_train)

# 评估模型
from sklearn.metrics import confusion_matrix
print(confusion_matrix(y_test, clf.predict(X_test)))

分块处理大栅格数据：

# 使用 ArcPy 的分块处理功能
raster = "large_image.tif"
for x, y in generate_tiles(raster, tile_size=1024):
    tile = arcpy.RasterToNumPyArray(raster, 
                                   arcpy.Point(x, y), 
                                   ncols=1024, nrows=1024)
    # 处理每个分块...

并行计算加速：
使用 Python 的 multiprocessing 模块并行处理多个分块
在 ArcGIS Pro 中启用地理处理工具的并行处理选项

内存映射技术：

# 使用 NumPy memmap 处理超大数组
big_array = np.memmap("temp.dat", dtype='float32', 
                      mode='w+', shape=(100000, 10000))

投影不一致导致偏移：
问题：训练数据和预测数据使用不同 CRS
解决：始终在预处理阶段统一所有数据的坐标系
空间自相关被破坏：
问题：随机划分训练测试集时割裂空间连续性
解决：采用空间分块划分或空间交叉验证
类别不平衡问题：
问题：遥感分类中某些地物类别样本过少
解决：使用分层采样或合成少数类过采样技术(SMOTE)
GPU 加速无效：
问题：使用 TensorFlow 时 GPU 未被调用
解决：确保安装 GPU 版 TensorFlow，并检查 CUDA/cuDNN 版本兼容性

创建 Python 工具箱(.pyt)：

import arcpy

class MachineLearningTool(object):
    def __init__(self):
        self.label = "GIS Classifier"
        self.description = "Custom ML model for spatial analysis"

    def execute(self, parameters, messages):
        # 加载训练好的模型
        import joblib
        model = joblib.load("trained_model.pkl")

        # 处理输入数据
        input_fc = parameters[0].valueAsText
        arr = arcpy.da.FeatureClassToNumPyArray(input_fc, fields)

        # 预测并保存结果
        pred = model.predict(arr)
        arcpy.da.NumPyArrayToFeatureClass(..., "output.shp")
        return