如何高效处理CK Rollup查询结果：Java中的父子层级聚合实战

1次阅读

共计 2333 个字符，预计需要花费 6 分钟才能阅读完成。

ClickHouse 的 Rollup 功能常用于预聚合计算，但查询结果往往是扁平化的多级聚合数据。比如电商场景下的 地区 - 商品类目 - 销售额 三层聚合，在 Java 中需要还原为树形结构时才便于业务处理。常见痛点包括：

内存消耗大：全量构建树形结构时，中间对象创建频繁
层级关系复杂：需要处理多级父子节点匹配（如省→市→区）
计算效率低：传统递归算法在大数据量下性能骤降

// 伪代码示例：两阶段聚合
Map<String, List<RollupData>> groupByParent = rawData.stream()
    .collect(Collectors.groupingBy(RollupData::getParentId));

优点：
– 代码直观，适合简单层级

缺点：
– 需要多次全量遍历（O(n^2)复杂度）
– 无法直接处理动态深度层级

优点：
– 天然契合层级数据处理

缺点：
– 栈溢出风险（StackOverflowError）
– 重复计算问题（需配合缓存）

// 关键数据结构示例
class TreeNode {
    String id;
    String parentId;
    List<TreeNode> children;
    // 业务字段
}

Map<String, TreeNode> nodeIndex = new HashMap<>();

优势：
– 单次遍历即可完成构建（O(n)时间复杂度）
– 天然支持动态深度
– 内存访问局部性好

public class RollupTreeBuilder {
    // 节点定义
    @Data
    public static class Node {
        private String id;
        private String parentId;
        private List<Node> children = new ArrayList<>();
        private BigDecimal value;
    }

    public Node buildTree(List<Map<String, Object>> rollupResults) {
        // 索引所有节点
        Map<String, Node> nodeMap = new HashMap<>();
        rollupResults.forEach(row -> {Node node = new Node();
            node.setId(row.get("id").toString());
            node.setParentId(row.get("parent_id") != null ? 
                row.get("parent_id").toString() : null);
            node.setValue(new BigDecimal(row.get("value").toString()));
            nodeMap.put(node.getId(), node);
        });

        // 构建树结构
        Node root = null;
        for (Node node : nodeMap.values()) {if (node.getParentId() == null) {root = node;} else {Node parent = nodeMap.get(node.getParentId());
                if (parent != null) {parent.getChildren().add(node);
                }
            }
        }
        return root;
    }
}

内存索引 ：通过 HashMap 实现 O(1) 节点查找
懒加载：仅在实际访问时计算子节点聚合值
批量处理 ：使用ArrayList 而非 LinkedList 提升内存连续性

分片加载：结合 CK 的 LIMIT/OFFSET 分批处理
对象池化：复用 TreeNode 对象减少 GC 压力
并行处理：对独立子树使用 ForkJoinPool

// 并行计算示例
List<Node> roots = Collections.synchronizedList(new ArrayList<>());
nodeMap.values().parallelStream().forEach(node -> {if (node.getParentId() == null) {roots.add(node);
    } else {Node parent = nodeMap.get(node.getParentId());
        if (parent != null) {synchronized (parent) {parent.getChildren().add(node);
            }
        }
    }
});