人大金库KFS通过分区索引进行切片入库技术分析，

在上一篇文章中，《技术干货：人大金仓KFS精准过滤和切片并行入库技术解析》利用KFS切片并行入库技术，解决了某金融POC数据同步项目数据存量持续积压问题。优化后，在200并发测压场景中，整体同步性能指标由测压30分钟延迟10-20分钟，为准实时同步，延迟在2秒内。

分片并行入库技术的核心原理是，按顺序入库的数据按事务单位分割并并行入库。

导入了并列入库特性的入库逻辑

例如，在一条车道的道路上，一辆车辆一个人一个人上车的情况下，为了提高通行效率，将其分为两条车道或多条车道（在两条车道的情况下，同一城市的另一个车站是目的地），通过随机或轮询分配给各自的车道，提高通行效率。

然而，在另一个金融项目中，由于客户的业务逻辑非常复杂，数据库表之间的关联错综复杂，从而导致ldquo部署。分片入库rdquo；现场的人们花了几天时间整理相关性。但是，它很好地配置了ldquo。分片入库rdquo；即使提出了建议，整体的协调性也无法满足客户的要求。

1问题深度定位

片并行入库方案引入了严重数据区概念，以解决数据完整性问题。在复杂的数据同步场景中，对整体性能和易用性给予了比较大的冲击。

1.1 ldquo;严重数据区rdquo；它是一个瓶颈

[KFS]ldquo。严重数据区rdquo；将需要处理多个表相关事务的表标记为ldquo。criticalrdquo;处理ldquo。criticalrdquo;表格办公数据时，必须有数据串联入库。例如，如下图所示，9个事务需要1秒才能入库，但如果同时入库3个通道，则无论顺序如何，都会为一个通道分配3个事务，总计3秒即可完成。

但是，如果表D被标记为ldquo。criticalrdquo;处理一切需要三个步骤。

步骤1：在处理事务处理5之前，等待所有通道的数据处理完成。

第2阶段：串行处理事务处理5，并在此时退化为单通道模型。

第3阶段：事务处理5完成后，返回多通道模型，并行处理事务处理6-9。

示例：ldquo；criticalrdquo;通过3车道隧道时，普通轿车可以并行通过，但大型货车通过该隧道时，整个隧道仅允许大型货车通过，大型货车进入隧道时发出待命指示禁止轿车进入。等大型卡车穿过隧道后，才允许轿车并行通行。

在整个事务中，事务1-4分钟在3个通道上并行，2次2秒，5个事务单独1秒，事务6-9分钟在3个通道上并行，2次2秒。没有ldquo需要5秒criticalrdquo；它花了60%的时间

实际上，现场业务比较复杂，ldquo；criticalrdquo;表格事务频繁出现，数据入库时并行和串联交替切换，比如配置了ldquo；分片入库rdquo；计划也没有提高性能的效果。

1.2复杂业务场景中的新问题

由于采用了分片并行入库技术，数据同步测压场景在处理简单业务方面产生了空间，但在实际的复杂业务中，存在以下问题：。

（1、对同一表格中同一行的数据，前后进行不同的操作可能会导致数据不一致。

事务1：将表1中的key=1数据的key修改为2。

事务处理2：将表1中的key=2数据的key修改为3。

如果将两个事务分配给不同的切片，则事务2可能会先运行，从而导致最终数据修复失败。

例如，有两辆带家人的车辆，父母和孩子从同一车道移动到同一个车站，先到的父母和后到的孩子一起去旅行。如果没有被分配到任何一条车道，即使孩子先到达车站，后续的父子也不会到达任何一个车站，孩子谁也不会捡，就会发生迷路的悲剧。

（2、将多表关联交叉事务处理分配给不同的通道并同时执行时，可能会发生死锁。

例如，两辆车上有两名乘客，前一辆车上的乘客是A子的父亲和B子。坐在后面的巴士上的是B子的父亲和A子。到了车站就换了孩子，打算继续各自的旅行。如果这两辆车没有被分配到同一车道，两个父亲就会带着彼此的孩子在错误的车站等着自己的孩子，两者都不能把孩子还给对方，两者都不能收留自己的孩子。

（3、带表外键约束，如分配在不同通道执行，可发生数据入库异常。例如，如果有两张外键相关的表，则认为先插入从属表的数据，后插入从属表的数据不会违反外键约束。如果两个具有外键限制的表被分配给不同的通道，则依赖于表的数据可能会先插入，从而导致数据入库错误。

例如，有两辆带家人的车辆，父母先来，孩子后来，先到的父母带着孩子去旅行。如果没有被分配到同一车道，可能会发生孩子先到谁也不接受，孩子就不在的悲剧。

由于从单通道变成了多通道，所以串行进行的东西可以人为地并行进行。多通道输入数据要实现不同的性能，多分区如何记录截断，分区截断恢复也是一个棘手的问题。

这是一场结束两个行业痛苦的实战演习

对于以上问题，KFS将引入ldquo。根据分区索引入库切片；方案，在完美解决以上问题的前提下，与无差别分片并入库相比还没有性能损失。

下面，我们将从实际测试结果中验证各种场合下的ldquo。根据分区索引入库切片；计划和其他计划的性能不同。

2.模拟测试场景中的效果。

2.1.1测试模型

在数据库中创建5张表，使用Jmeter工具并行地压接事务数据，并按以下情况测量性能。

（1、多表纯INSERT打开与关闭分片并行入库性能对比；

（2、开闭多表混合事务分片并入库性能对比；

2.1.2测试环境

硬件：X86、8核CPU、16GB内存、1TBNVME硬盘。

os：CentOS7.6

JDK：1.8

KES版本：V8R6

2.1.3测试结果

多表INSERT事务场景下入库性能对比

在5个表中插入10万insert数据（一个insert中有一个事务），在纯insert的小事务模型下，可以看到新部署的ldquo。根据分区索引入库切片；方案与前无差别ldquo；分片入库rdquo；计划性能基本相同，与以往的单线程入库性能相比提高了3倍左右。

多表混合事务场景下入库性能对比

五个表同时执行增加、删除和修改操作（包括大约18%的多表混合事务处理。混合事务处理包括1到5个SQL），总共可以看到50万个数据。分片入库rdquo；方案性能较原始的单线程入库性能已没有多少优势，是新引进的ldquo；根据分区索引入库切片；与以往的单线程相比，实现了约2.4倍的性能提高。

2.1.4总结

ldquo;根据分区索引入库切片；方案，无差别分片并用可在入库方案性能前提下不损失，无差别分片并用可弥补入库方案的缺陷。

2.2顾客的课题解决效果

正在放置ldquo。根据分区索引入库切片；方案后，实际业务场景的表现效果与模拟测试基本一致，开4通道并进后，入库性能基本达到单通道的2倍以上，原并发24小时业务延迟持续加大，为准实时同步。

3终极性能背后的黑科技

3.1根据关键技术分区索引将切片分为入库方案

采用了Critical数据区概念的切片并行入库技术的最大问题是，必须事先掌握业务场景，将正确的表放入Critical数据区。在实际业务动态变化的情况下，可能会出现部署遗漏导致的数据不一致。这一次，我们使用了基于分区索引自动分区的关键技术，在不降低性能的情况下解决了这些问题。

3.1.1使用分区索引来指示事务片。

自动分区技术解决的一个关键问题是维护未提交事务的信息。其核心原理是，在分发事务处理时，要检查基于分区索引分发的特定通道，并最小化触发的严重数据区域。

分区索引只记录未提交的事务。数据同步过程中存在相互依赖的事务与整个事务的数量相比是非常少的。

因此，只需要很小的内存空间，就可以消除ldquo的使用。Critical数据区域分片并行入库技术rdquo；存在一个问题，客户必须自己配置一个严重表：易用。切片并行入库技术向产品化迈进了一步。

3.1.2使用分区屏障解决分区故障

在分区索引方案中，如果存储库写数据库（如数据库性能瓶颈）的速度不足，则当发生多个表相关事件时，所有下一个事件都将发送到同一分区多分区机制发生故障

为了解决多分区故障，引入分区屏障机制，当分区队列满时，为该分区设置屏障，并准备暂时阻止发送给该分区的数据。库在导出事务并更新分区索引时自动检查当前分区的使用容量。如果使用容量小于阈值（例如50%），则可以删除此分区的屏障，并将以下事务分发给次分区：。

使用分区屏障机制后，有效解决了数据集中分发到某个分区时分区失效的连锁反应。

4结语

在使用分区索引和分区屏障技术之后，KFS的并行分区入库技术正在走向成熟。KFS并行分区入库技术目前已成功运用于多个关键项目，帮助客户大大缩短数据整合时间，提高业务系统运行效率。

KFS作为自主开发的国产数据同步软件，深耕于各类国产化数据改造项目。让我们拭目以待，因为我们面对每一次数据同步的性能挑战，努力创新，准备了更多的黑色技术。