ClickHouse Rollup查询数据在Java中的高效父子层级聚合方案

1次阅读

没有评论

共计 2066 个字符，预计需要花费 6 分钟才能阅读完成。

在处理 ClickHouse Rollup 查询结果时，我们经常遇到需要将扁平化的数据聚合成父子层级结构的场景。传统做法通常有两种：

多次查询数据库获取层级关系
全量加载数据后在内存中处理

这两种方式都存在明显缺陷。多次查询会导致网络 I / O 开销成倍增加，特别是在数据量大时，响应时间会变得不可接受。而全量加载方式虽然减少了查询次数，但内存消耗大，处理效率低，特别是在构建复杂层级关系时，时间复杂度可能达到 O(n²)。

针对这个问题，我们评估了几种常见的技术方案：

递归算法 ：实现简单但性能差，栈溢出风险高
内存索引构建 ：预处理数据关系，查询效率高
MapReduce：适合分布式处理但引入额外复杂度

经过对比，我们选择了基于内存索引构建的方案，它能够在单机环境下提供最佳的性能表现，同时保持代码的可维护性。

我们使用多级 Map 构建内存索引，第一级 Map 以父 ID 为 key，第二级 Map 维护父子关系。这种结构可以将层级关系的查询时间复杂度降低到 O(1)。

Map<String, Map<String, Node>> index = new ConcurrentHashMap<>();

利用 Java 的并行流特性，我们实现了数据的并行预处理和聚合：

rollupData.parallelStream().forEach(node -> {index.computeIfAbsent(node.getParentId(), k -> new ConcurrentHashMap<>())
         .put(node.getId(), node);
});

对于循环引用等异常情况，我们通过添加访问标志和检测机制来避免无限递归：

if (visitedNodes.contains(nodeId)) {throw new IllegalArgumentException("检测到循环引用:" + nodeId);
}

@Data
public class Node {
    private String id;
    private String parentId;
    private String name;
    private BigDecimal value;
    private List<Node> children = new ArrayList<>();}

public Map<String, Node> buildHierarchy(List<Node> flatData) {
    // 构建索引
    Map<String, Node> index = new HashMap<>();
    Map<String, List<Node>> childrenMap = new HashMap<>();

    flatData.forEach(node -> {index.put(node.getId(), node);
        childrenMap.computeIfAbsent(node.getParentId(), k -> new ArrayList<>())
                   .add(node);
    });

    // 构建层级
    childrenMap.forEach((parentId, children) -> {Node parent = index.get(parentId);
        if (parent != null) {parent.setChildren(children);
        }
    });

    return index;
}

public Node aggregateHierarchy(Node root, Map<String, Node> index) {if (root == null) return null;

    // 聚合子节点
    BigDecimal sum = root.getValue();
    for (Node child : root.getChildren()) {Node aggregated = aggregateHierarchy(child, index);
        sum = sum.add(aggregated.getValue());
    }
    root.setValue(sum);
    return root;
}

我们对方案进行了全面的性能测试：