基于ALUA和本地缓存的分布式块存储性能优化方法.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911394302.0 (22)申请日 2019.12.30 (71)申请人 深圳创新科软件技术有限公司 地址 518000 广东省深圳市龙岗区龙城街 道爱联社区如意路98号办新办公大楼 办1001 (72)发明人 董文祥 (74)专利代理机构 北京集智东方知识产权代理 有限公司 11578 代理人 陈亚斌关兆辉 (51)Int.Cl. G06F 3/06(2006.01) (54)发明名称 一种基于ALUA和本地缓存的分布式块存储 性能优化方法 (57)摘要 本发明公开了

2、一种基于ALUA和本地缓存的 分布式块存储性能优化方法， 采用ALUA多路径模 式， 所述ALUA多路径模式中客户端的连接优先级 分为AO和AN， 所述客户端区分多条路径中的AO和 AN， 优先通过AO路径完成IO请求， 与现有技术相 比， 本发明分布式块存储采用ALUA多路径模式和 本地缓存相结合的模式来提升性能； 分布式块存 储采用ALUA多路径模式和集群缓存均衡器来动 态调整路径优先级， 均衡集群各个节点缓存利用 率； 本发明融合分布式存储和单机存储的优势， 使IO路径同时具备路径高可靠和本地缓存的优 异性能。 权利要求书1页 说明书4页 附图2页 CN 111190546 A 2020

3、.05.22 CN 111190546 A 1.一种基于ALUA和本地缓存的分布式块存储性能优化方法， 其特征在于： 采用ALUA多 路径模式， 所述ALUA多路径模式中客户端的连接优先级分为AO和AN， 所述客户端区分多条 路径中的AO和AN， 优先通过AO路径完成IO请求， 具体包括以下步骤： S1： 在Target层下面加入本地缓存层， 本地缓存层下加入集群缓存均衡器， 所述本地缓 存层用于单机存储， 所述集群缓存均衡器负责实时收集存储节点S1、 存储节点S2、 存储节点 S3的缓存使用详细情况， 并均衡各个节点的缓存利用； S2： 定义各节点缓存利用率为Hcr,节点上各个Target的

4、缓存占用为Tcr,则单节点的缓 存占用率为HcrT1cr+T2cr+T3cr+.+Tncr； S3： 每次有新的Target需要接受客户端连接时， 计算得出Hcr最低的设备为Hn， 设置Hn 上该Target的连接属性为AO， 其他节点该Target的连接属性为AN， 实现优先使用缓存剩余 最多的节点为该Target提供本地缓存服务。 2.根据权利要求1所述的基于ALUA和本地缓存的分布式块存储性能优化方法， 其特征 在于： 确保各Target连接数据一致性为： ALUA不能排除AN节点不接收到IO请求， 在节点接收 到IO请求后， 若发现客户端到分布式存储节点的链路是AN链路， 不下发IO到

5、分布式块层， Target通过内部通讯机制， 找到AO节点将IO转发给AO节点的Target做处理， 实现保证针对 同一个Target的IO处理都经过同样的缓存， 实现各Target连接数据一致。 3.根据权利要求1所述的基于ALUA和本地缓存的分布式块存储性能优化方法， 其特征 在于： 所述步骤S1中各个集群缓存均衡器实时收集本节点的缓存利用率， 由集群管理节点 上的缓存均衡器模块充当整个集群的缓存均衡器， 各个节点实时将详细的缓存利用率信息 反馈给集群管理节点， 管理节点实时计算出利用率最高的节点MaxH和利用率最低的节点 MinH,将利用率最高的节点对应的利用率记为MaxHcr， 利用率

6、最低的节点对应的利用率记 为MinHcr,当MaxHcr和MinHcr的差值大于预设的临界值时， 启动缓存均衡策略。 4.根据权利要求3所述的基于ALUA和本地缓存的分布式块存储性能优化方法， 其特征 在于： 所述缓存均衡策略为： 首先将MaxH节点对各个tcr进行由小到大排序， 选出Tcr占用最小且连接状态为AO的 Target， 将此节点上该Target属性设置为AN， 同时设置MinH节点该Target属性为AO； 如果MaxH节点有且仅有一个Target， 则不进行Target属性修改， 不进行缓存均衡； 客户端在随后的IO中， 发现存储优先级已经切换， 自动的切换到AO路径， 从而实

7、现均衡 集群各个节点的本地缓存利用率。 权利要求书 1/1 页 2 CN 111190546 A 2 一种基于ALUA和本地缓存的分布式块存储性能优化方法 技术领域 0001 本发明涉及数据存储技术领域， 尤其涉及一种基于ALUA和本地缓存的分布式块存 储性能优化方法。 背景技术 0002 对于分布式块存储， 客户端与服务端目前主流的多路径模式是AA模式， 客户端和 多个存储节点来建立iSCSI/FC连接， 以此来实现路径高可靠和负载均衡。 用AA模式， 要保证 客户端到各个Target的多条路径之间的数据实时同步， 因此在Targe服务下面是没有本地 缓存的。 如果存在缓存会导致路径间的数据

8、不一致， 如图1所示为传统主流分布式块存储 session连接图； 对于传统的单机存储， 是有本地缓存的。 如图2所示为传统单机存储架构 图， 本地缓存内部又分为读缓存和写缓存。 写IO下发到写缓存， 即认为写完成， 写缓存根据 一定策略定期下刷缓存块到后端分布式存储。 读缓存可以对有规律的读进行预读， 来提升 读性能。 因为本地缓存层的加入导致写缓存路径缩短， 客户端感知写加快， 因为读缓存加 入， 有一部分读能从缓存直接命中返回， 读路径缩短， 读写速度均有提升。 这也是目前出现 的在同等配置下， 分布式存储性能不及单机存储的一个主要原因。 发明内容 0003 本发明的目的就在于为了解决上

9、述问题而提供一种基于ALUA和本地缓存的分布 式块存储性能优化方法。 0004 本发明通过以下技术方案来实现上述目的： 0005 本发明采用ALUA多路径模式， 所述ALUA多路径模式中客户端的连接优先级分为AO 和AN， 所述客户端区分多条路径中的AO和AN， 优先通过AO路径完成IO请求， 具体包括以下步 骤： 0006 S1： 在Target层下面加入本地缓存层， 本地缓存层下加入集群缓存均衡器， 所述本 地缓存层用于单机存储， 所述集群缓存均衡器负责实时收集各个节点的缓存使用详细情 况， 并尽可能的均衡各个节点的缓存利用， 如图3所示的存储节点S1、 存储节点S2、 存储节点 S3；

10、所述Target具体指iSCSI Target， iSCSI 分为发起端和目标端， 在本实施例中， 指目标 端； 0007 S2： 定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为Tcr, 则单节 点的缓存占用率为HcrT1cr+T2cr+T3cr+.+Tncr； 0008 S3： 每次有新的Target需要接受客户端连接时， 计算得出Hcr最低的设备为Hn， 设 置Hn上该Target的连接属性为AO， 其他节点该Target的连接属性为AN， 实现优先使用缓存 剩余最多的节点为该Target提供本地缓存服务。 0009 进一步， 确保各Target连接数据一致性为： ALU

11、A不能排除AN节点不接收到IO请求， 在节点接收到IO请求后， 发现该链路是AN链路， 不下发IO到分布式块层， Target通过内部通 讯机制， 找到AO节点将IO转发给AO节点的Target 做处理， 实现保证针对同一个Target的IO 说明书 1/4 页 3 CN 111190546 A 3 处理都经过同样的缓存， 数据一致。 0010 对于分布式存储， 客户端访问存储可以通过多条路径访问， 不同的路径对应不同 的存储节点， 如果存在本地缓存， 且本地缓存数据不同步， 则会客户端通过一条路径上更新 的数据在另外一条路径上读到的仍然是旧数据。 如图， 比如c1,通过c11写入数据， 数据

12、被 c11本地缓存缓存住了， 如果c1不和c2同步缓存数据， c1通过c12路径去读， 则读不到刚写入 的数据。 如果同步本地缓存， 一是技术实现难度大， 二是本地缓存各个节点实时同步带来巨 大性能开销， 这些开销会抵消加入本地缓存层带来的性能提升， 这也是目前基本没有分布 式存储会选择使用本地缓存层的原因。 0011 进一步， 各个集群缓存均衡器实时收集本节点的缓存利用率， 由集群管理节点上 的缓存均衡器模块充当整个集群的缓存均衡器， 各个节点实时将详细的缓存利用率信息反 馈给管理节点， 管理节点实时计算出利用率最高的节点MaxH, 利用率MaxHcr， 利用率最低 的的节点MinH， 利用

13、率MinHcr,当MaxHcr和MinHcr 的差值大于预设的临界值， 启动缓存均 衡策略。 所述集群管理节点， 由集群里面的各个节点通过算法选举产生， 同一时刻有一个节 点担任管理节点， 如果管理节点挂了， 则会重新选举产生。 0012 进一步， 所述缓存均衡策略为： 首先将MaxH节点对各个tcr进行由小到大排序， 选 出Tcr占用最小且连接状态为AO的Target， 将此节点上该Target属性设置AN， 同时设置MinH 节点该Target属性为AO， 如果MaxH节点有且仅有一个Target， 则不进行Target属性修改， 不 进行缓存均衡， 客户端在随后的 IO中， 发现存储优先

14、级已经切换， 自动的切换到AO路径， 通 过此办法均衡集群各个节点的本地缓存利用率。 0013 本发明的有益效果在于： 0014 本发明是一种基于ALUA和本地缓存的分布式块存储性能优化方法， 与现有技术相 比， 本发明分布式块存储采用ALUA多路径模式和本地缓存相结合的模式来提升性能； 分布 式块存储采用ALUA多路径模式和集群缓存均衡器来动态调整路径优先级， 均衡集群各个节 点缓存利用率； 本发明融合分布式存储和单机存储的优势， 使IO路径同时具备路径高可靠 和本地缓存的优异性能。 附图说明 0015 图1是现有技术中主流分布式块存储session连接图； 0016 图2是现有技术中单机存

15、储架构图； 0017 图3是本发明的系统架构示意图。 具体实施方式 0018 下面结合附图对本发明作进一步说明： 0019 如图3所示： 本发明采用ALUA多路径模式， 所述ALUA多路径模式中客户端的连接优 先级分为AO(Active/Optimize)和AN(Active/Non-optimized)， 所述客户端区分多条路径 中的AO和AN， 优先通过AO路径完成IO请求， 具体包括步骤S1、 步骤S2和步骤S3： 0020 步骤S1： 在Target层下面加入本地缓存层， 本地缓存层下加入集群缓存均衡器， 所 述本地缓存层用于单机存储， 所述集群缓存均衡器负责实时收集各个节点的缓存使用

16、详细 情况， 并尽可能的均衡各个节点的缓存利用； 说明书 2/4 页 4 CN 111190546 A 4 0021 步骤S2： 定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为 Tcr,则 单节点的缓存占用率为HcrT1cr+T2cr+T3cr+.+Tncr； 0022 步骤S3： 每次有新的Target需要接受客户端连接时， 计算得出Hcr最低的设备为 Hn， 设置Hn上该Target的连接属性为AO， 其他节点该Target的连接属性为AN， 实现优先使用 缓存最富裕的节点为该Target提供本地缓存服务。 0023 进一步， 确保各Target连接数据一致性为： ALU

17、A不能排除AN节点不接收到IO请求， 在节点接收到IO请求后， 发现客户端到分布式存储节点的链路是 AN链路， 不下发IO到分布 式块层(分布式块层， 负责将各个节点的存储能力， 通过软件协议， 虚拟化为一个大的存储 池， 对外提供块存储服务。 )， Target 通过内部通讯机制， 找到AO节点将IO转发给AO节点的 Target做处理， 实现保证针对同一个Target的IO处理都经过同样的缓存， 数据一致。 因为AN 路径上本身读写IO极少， 所以增加内部转发对性能影响很小。 确保各Target连接数据一致 性： 对于分布式存储， 客户端访问存储可以通过多条路径访问， 不同的路径对应不同的

18、存储 节点， 如果存在本地缓存， 且本地缓存数据不同步， 则会客户端通过一条路径上更新的数据 在另外一条路径上读到的仍然是旧数据。 如图3， 比如c1,通过c11写入数据， 数据被c11本地 缓存缓存住了， 如果c1 不和c2同步缓存数据， c1通过c12路径去读， 则读不到刚写入的数 据。 如果同步本地缓存， 一是技术实现难度大， 二是本地缓存各个节点实时同步带来巨大性 能开销， 这些开销会抵消加入本地缓存层带来的性能提升， 这也是目前基本没有分布式存 储会选择使用本地缓存层的原因。 0024 缓存占用多的节点会在处理IO时频繁出现等待空闲缓存页的情况， 缓存性能会有 所下降。 客户端压力是

19、动态变化的， 对应存储端本地缓存压力也是动态变化的， 这些压力不 能在系统搭建前就规划好， 需要后期针对压力有一个动态调整的机制。 在集群中可能出现 一个节点的本地缓存紧张， 而存在其它节点缓存空闲较多的情况。 这种情况需要有一种机 制将缓存压力转移到Hcr较低的设备上。 0025 可选地， 各个集群缓存均衡器实时收集本节点的缓存利用率， 由集群管理节点上 的缓存均衡器模块充当整个集群的缓存均衡器， 各个节点实时将详细的缓存利用率信息反 馈给管理节点， 管理节点实时计算出利用率最高的节点MaxH, 利用率MaxHcr， 利用率最低 的的节点MinH， 利用率MinHcr,当MaxHcr和Min

20、Hcr 的差值大于预设的临界值， 启动缓存均 衡策略。 0026 可选地， 所述缓存均衡策略为： 首先将MaxH节点对各个tcr进行由小到大排序， 选 出Tcr占用最小且连接状态为AO的Target， 将此节点上该Target属性设置AN， 同时设置MinH 节点该Target属性为AO， 如果MaxH节点有且仅有一个Target， 则不进行Target属性修改， 不 进行缓存均衡， 客户端在随后的 IO中， 发现存储优先级已经切换， 自动的切换到AO路径， 通 过此办法均衡集群各个节点的本地缓存利用率。 0027 名词解释： 0028 AA： Active-Active， 各个路径优先级相同

21、； 0029 ALUA： Asymmetric Logical Unit Access， 异步逻辑单元访问； 0030 AO： Active/Optimized， 主动优化路径； 0031 AN： Active/Non-optimized,主动非优化路径。 0032 以上显示和描述了本发明的基本原理和主要特征及本发明的优点。 本行业的技术 说明书 3/4 页 5 CN 111190546 A 5 人员应该了解， 本发明不受上述实施例的限制， 上述实施例和说明书中描述的只是说明本 发明的原理， 在不脱离本发明精神和范围的前提下， 本发明还会有各种变化和改进， 这些变 化和改进都落入要求保护的本发明范围内。 本发明要求保护范围由所附的权利要求书及其 等效物界定。 说明书 4/4 页 6 CN 111190546 A 6 图1 图2 说明书附图 1/2 页 7 CN 111190546 A 7 图3 说明书附图 2/2 页 8 CN 111190546 A 8