分布式存储的数据存取方法及系统的制作方法

分布式存储的数据存取方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据存储技术领域，尤其涉及一种分布式存储的数据存取方法及系统。
【背景技术】
[0002]常见的分布式数据存取技术方式由主控制服务器接收到数据写入(存储)与读取的需求，经由索引服务器的位置对应找到该数据相关的数据节点与数据位置，经由相关数据节点写入或读取数据，完成数据的存取。这样的运作方式，其主要缺陷是在实际上数据节点越来越多的情况下，例如在大数据应用的环境中数据节点增加会相对增加主控制服务器与索引服务器的压力，这样整体运作的性能就会遇到瓶颈。

【发明内容】

[0003]基于此，有必要提供一种能够有效解决数据节点过多造成的索引服务器和主控制服务器压力大的问题的分布式存储的数据存取方法及系统。
[0004]为实现本发明目的提供的一种分布式存储的数据存取方法，包括以下步骤:
[0005]主控制服务器接收数据存取信息，并发送所述数据存取信息到索引服务器；
[0006]所述索引服务器查找到所述数据存取信息对应的数据节点，并返回所述数据节点的信息到所述主控制服务器；
[0007]所述主控制服务器连接所述数据节点进行数据存取。
[0008]作为一种分布式存储的数据存取方法的可实施方式，当所述主控制服务器接收数据存储信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要存储的数据是否为新数据的步骤；
[0009]若是，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤:
[0010]所述数据节点产生所述要存储的数据的数据索引值；
[0011]所述数据节点将所述数据索引值存储到所述索引服务器中；
[0012]所述数据节点存储所述要存储的数据到本地磁盘；
[0013]若否，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤:
[0014]所述数据节点根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0015]所述数据节点用所述要存储的数据覆盖本地磁盘相应位置的原数据。
[0016]作为一种分布式存储的数据存取方法的可实施方式，所述方法还包括所述主控制服务器通过所述索引服务器判断所述要存储的数据是否需要分割的步骤；
[0017]若是，则所述主控制服务器连接多个所述数据节点进行数据存储；
[0018]若否，则所述主控制服务器连接单个所述数据节点进行数据存储。
[0019]作为一种分布式存储的数据存取方法的可实施方式，当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。
[0020]作为一种分布式存储的数据存取方法的可实施方式，当所述主控制服务器接收数据读取信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要读取的数据是否为分割数据的步骤；
[0021]若是，则所述主控制服务器连接多个所述数据节点进行数据读取；
[0022]若否，则所述主控制服务器连接单个所述数据节点进行数据读取。
[0023]作为一种分布式存储的数据存取方法的可实施方式，该方法还包括以下步骤:
[0024]所述主控制服务器实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常；
[0025]当所述数据存取设备异常时，所述主控制服务器控制启动相应的代理设备进行数据存取；
[0026]所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0027]基于同一发明构思的一种分布式存储的数据存取系统，包括主控制服务器、索引服务器和数据节点，其中:
[0028]所述主控制服务器接收数据存取信息，并发送所述数据存取信息到所述索引服务器；
[0029]所述索引服务器查找到所述数据存取信息对应的所述数据节点，并返回所述数据节点的信息到所述主控制服务器；
[0030]所述主控制服务器连接所述数据节点进行数据存取。
[0031]作为一种分布式存储的数据存取系统的可实施方式，该系统还包括本地磁盘，所述主控制服务器包括新数据判断模块，所述数据节点包括索引值产生模块、索引值存储模块、第一存储模块、位置查找模块和第二存储模块；
[0032]当所述主控制服务器接收数据存储信息时，所述新数据判断模块通过所述索引服务器判断要存储的数据是否为新数据；
[0033]根据所述新数据判断模块的判断结果，若是，则
[0034]所述索引值产生模块产生所述要存储的数据的数据索引值；
[0035]所述索引值存储模块将所述数据索引值存储到所述索引服务器中；
[0036]所述第一存储模块存储所述要存储的数据到本地磁盘；
[0037]若否，则
[0038]所述位置查找模块根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0039]所述第二存储模块用所述要存储的数据覆盖本地磁盘相应位置的原数据。
[0040]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括第一数据分割判断模块、多数据节点存储模块和单数据节点存储模块，其中:
[0041]所述第一数据分割判断模块通过所述索引服务器判断所述要存储的数据是否需要分割；
[0042]若是，则所述多数据节点存储模块连接多个所述数据节点进行数据存储；
[0043]若否，则所述单数据节点存储模块连接单个所述数据节点进行数据存储；
[0044]且当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。
[0045]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括第二数据分割判断模块、多数据节点读取模块和单数据节点读取模块；
[0046]当所述主控制服务器接收数据读取信息时，所述第二数据分割判断模块通过所述索引服务器判断要读取的数据是否为分割数据的步骤；
[0047]若是，则所述多数据节点读取模块连接多个所述数据节点进行数据读取；
[0048]若否，则所述单数据节点读取模块连接单个所述数据节点进行数据读取。
[0049]作为一种分布式存储的数据存取系统的可实施方式，所述主控制服务器还包括异常判断模块和异常处理模块，其中:
[0050]所述异常判断模块实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常；
[0051]当所述数据存取设备异常时，所述异常处理模块控制启动相应的代理设备进行数据存取；
[0052]所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0053]本发明的有益效果包括:
[0054]本发明提供的一种分布式存储的数据存取方 法及系统，索引服务器只查找数据节点信息，后续由主控制服务器直接连接数据节点，从而减轻了索引服务器的压力，也摆脱了索引服务器造成的数据节点数量的瓶颈。且在多台主控制服务器同时进行数据读写的过程中，可由多台索引服务器分散处理，大大降低索引服务器的运作瓶颈。能够提升分布式存储的方式的存储性能，简化与整合分布式存储的运作环节所需要的设备，提升分布式存储的持续可用性，将原本单点故障的问题用多数据节点方式解决。
【附图说明】
[0055]图1为本发明一种分布式存储的数据存取方法的一具体实施例的流程图；
[0056]图2为本发明一种分布式存储的数据存取方法的一具体实施例的数据写入示意图；
[0057]图3为本发明一种分布式存储的数据存取方法的一具体实施例的数据读取示意图；
[0058]图4为本发明一种分布式存储的数据存取方法的另一具体实施例的流程图；
[0059]图5为本发明一种分布式存储的数据存取方法的又一具体实施例的流程图；
[0060]图6为本发明一种分布式存储的数据存取方法的再一具体实施例的流程图；
[0061]图7为本发明一种分布式存储的数据存取方法的一具体实施例的数据存储流程示意图；
[0062]图8为本发明一种分布式存储的数据存取方法的一具体实施例的数据读取流程示意图；
[0063]图9为本发明一种分布式存储的数据存取系统的一具体实施例的构成示意图；
[0064]图10为本发明一种分布式存储的数据存取系统的另一具体实施例的构成示意图；
[0065]图11为本发明一种分布式存储的数据存取系统的再一具体实施例的构成示意图；
[0066]图12为本发明一种分布式存储的数据存取系统的一具体实施例的主控制服务器构成示意图；
[0067]图13为本发明一种分布式存储的数据存取系统的另一具体实施例的主控制服务器构成示意图。
【具体实施方式】
[0068]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的分布式存储的数据存取方法及系统的【具体实施方式】进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0069]本发明实施例的分布式存储的数据存取方法，如图1所示，包括以下步骤:
[0070]S100，主控制服务器接收数据存取信息，并发送所述数据存取信息到索引服务器。
[0071]S200，所述索引服务器查找到所述数据存取信息对应的数据节点，并返回所述数据节点的信息到所述主控制服务器。
[0072]S300，所述主控制服务器连接所述数据节点进行数据存取。
[0073]如图2数据写入，和图3数据读取所示，本发明实施例的分布式存储的数据存取方法中，主控制服务器接收客户端发送的数据写入或者读取的操作请求后，先到索引服务器中查找涉及数据的数据节点信息，查找到数据节点信息后，主控制服务器直接建立与相关数据节点的连接，由数据节点配合主控制服务器完成相关数据的读取或者写入(存储)。与传统技术中索引服务器直接查找相关数据在本地磁盘的具体位置不同，本发明实施例中，如图中虚线框所示，索引服务器只查找数据节点信息，后续由主控制服务器直接连接数据节点，从而减轻了索引服务器的压力，也摆脱了索引服务器造成的数据节点数量的瓶颈。且在多台主控制服务器同时进行数据读写的过程中，可由多台索引服务器分散处理，大大降低索引服务器的运作瓶颈。能够提升分布式存储的方式的存储性能，简化与整合分布式存储的运作环节所需要的设备，提升分布式存储的持续可用性，将原本单点故障的问题用多数据节点方式解决。
[0074]较佳地，在其中一个分布式存储的数据存取方法的实施例中，当所述主控制服务器接收数据存储信息时，如图4所示，该方法还包括步骤S030，主控制服务器通过索引服务器判断要存储的数据是否为新数据，得到判断结果。
[0075]主控制服务器接收到数据写入请求后，查询索引(元数据)服务器找到该数据索引值对应的一个或者多个数据节点，并判定是否为新数据，若数据存在索引值，则数据为已有数据的更新，若数据没有相对应的索引值，则判定数据为新数据。
[0076]根据判断结果，当要存储的数据是新数据时，前述步骤S300包括以下步骤:
[0077]S311，数据节点产生所述要存储的数据的数据索引值。
[0078]S312，数据节点将所述数据索引值存储到所述索引服务器中。
[0079]S313，数据节点存储所述要存储的数据到本地磁盘。
[0080]主控制服务器与数据节点建立连接之后，主要由数据节点处理数据的存储，并实时返回所处理数据的传递结果数据给主控制服务器。对应数据节点产生新数据的索引值，并将所述索引值写入索引服务器，同时将要存储的数据存储到本磁盘的对应位置中。
[0081]根据判断结果，当要存储的数据不是新数据时，前述步骤S300包括以下步骤:
[0082]S321，所述数据节点根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0083]S322，所述数据节点用所述要存储的数据覆盖本地磁盘相应位置的原数据。当要存储的数据不是新数据时，则数据节点直接通过索引服务器查找到要存储的数据对应的旧数据对应的本地磁盘的位置及对应的数据覆盖区块，在旧数据位置直接进行数据覆盖即可。
[0084]较佳地，在其中一个分布式存储的数据存取方法的实施例中，当所述主控制服务器接收数据存储信息时，如图5所示，该方法还包括步骤S031，主控制服务器通过所述索引服务器判断所述要存储的数据是否需要分割，得到判断结果。
[0085]根据判断结果，当要存储的数据需要分割时，若是，则执行步骤S301，所述主控制服务器连接多个所述数据节点进行数据存储；
[0086]若否，则执行步骤S302，主控制服务器连接单个所述数据节点进行数据存储。
[0087]其中，当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。其中，单一索引值由索引值标头，数据节点标示和标准元数据信息三部分构成。对于分割的数据，其数据索引值除包括如前面所述的由三部分够成的单一索引值外，还包括由标准分散式的数据算法得到的数据组合值。
[0088]在其中一个分布式存储的数据存取方法的实施例中，如图6所示，该方法还包括以下步骤:
[0089]S400，所述主控制服务器实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常，在数据存取设备异常时，控制启动相应的代理设备进行数据存取。其中，数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0090]结合前述实施例，如图7所示，当各个步骤结合在一个实施例中，数据存储按以下步骤进行:
[0091](I)当前端服务器产生数据写入需求时，主控制服务器接收前述的数据写入需求中的数据 存储信息，并根据数据存储信息查询索引(元数据)服务器找到要存储的数据的索引值对应的数据节点，并判定是否为新数据。
[0092](2)若为新数据，则判定是否进行数据分割，数据分割可由人为因数据情况进行调整，作为参考，可在4K?64M大小范围内进行切割，切割后将分割的数据分别写入各数据节点，数据节点经计算后循环写入各数据节点，若为旧数据，则经由索引服务查询到对应数据节点后，判定是否将数据分割后，传送数据至对应的多个数据节点。
[0093](3)当各数据节点接收到主控制服务器传来的数据写入需求时，根据要写入的数据的数据索引值查询索引服务器，找到要写入的数据的位置，若其索引值连带有组合值，则在要写入的数据经由重新写入并覆盖其区域后重写入新组合值到索引服务器上，若为新数据，则在各数据节点接收到数据写入服务后，产生要写入的数据的单一索引值与数据组合值，并将该要写入的数据写入本地后再将数据的单一索引值与数据组合值写入索引服务器。
[0094](4)若要写入的数据不需要进行分割，并且为新数据时，则经由主控制服务器发送数据写入需求至该数据节点，该数据节点将要写入的数据写入本地后在将要写入的数据的单一索引值作为数据索引值写入索引服务器，若写入为覆写旧数据，则由数据节点查寻索引服务器，找到要写入的数据的位置与区域后将要覆写的部分写入本地。
[0095](5)在每个数据动作过程中皆会传递结果数据给主控制服务器，若有索引服务器，数据节点，本地存储故障时，或任一数据节点故障时，则主控制服务器可以调整由代理设备或数据节点替代其服务。
[0096]较佳地，在其中一个分布式存储的数据存取方法的实施例中，当所述主控制服务器接收数据读取信息时，该方法还包括步骤S032，主控制服务器通过所述索引服务器判断要读取的数据是否为分割数据，得到判断结果。
[0097]根据判断结果，当要读取的是分割数据时，则执行步骤S303，主控制服务器连接多个所述数据节点进行数据读取。
[0098]根据判断结果，当要读取的不是分割数据时，则执行步骤S304，主控制服务器连接单个所述数据节点进行数据读取。
[0099]在其中一个实施例中，如图8所示，数据读取的步骤详细如下:
[0100]当前端服务器(客户端)产生数据读取需求时，将数据需求交由主控制服务器处理，主控制服务器接到数据读取需求后，查询索引(元数据)服务器找到该数据索引值对应的相关数据节点。
[0101](I)若为分割数据，则将读取要求送入该数据分割相关的各数据节点。
[0102](2)当各数据节点接收到主控制服务器传来的数据读取需求时，便依其数据索引值查询索引服务器，找到该数据的位置，若该数据索引(唯一)值连带有数据组合值，则在该数据节点将依照组合值读取本地相关的数据，并送至主控制服务器。
[0103](3)主控制服务器收到各数据节点读取并回应的数据后，借由该数据组合值将数据重新组成完整的数据后，送到数据读取要求的服务器中。
[0104](4)在每个数据动作过程中皆会传递结果数据给主控制服务器，若有索引服务器，数据节点，本地存储故障时，或任一数据节点故障时，则主控制服务器可以调整由代理设备或数据节点替代其服务。
[0105]基于同一发明构思，本发明实施例提供一种分布式存储的数据存取系统，由于此系统解决问题的原理与前述一种方法相似，因此，该系统的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。
[0106]本发明实施例的分布式存储的数据存取系统，如图9所示，包括主控制服务器100、索引服务器200和数据节点300。其中:所述主控制服务器100接收数据存取信息，并发送所述数据存取信息到所述索引服务器；所述索引服务器200查找到所述数据存取信息对应的所述数据节点300，并返回所述数据节点的信息到所述主控制服务器；所述主控制服务器连接所述数据节点进行数据存取。
[0107]其中，所述数据节点和所述索引服务器的数量可根据实际需求连接，随着分布式存储数据量的增长，数据节点和索引服务器的数量也会相应增大。数据节点主动将数据相关信息(如，名称，独一的编号，位置等信息写入索引服务器中)，因此即便同时有多台索引服务器皆可以同步写入，在主控制器或是未来支持索引服务器的存储技术中，也可任意访问一台索引服务器找到该数据的位置，这样也分散了索引服务器的故障导致数据无法访问的问题。
[0108]且本发明实施例中，索引服务器只查找数据节点信息，后续由主控制服务器直接连接数据节点，从而减轻了索引服务器的压力，也摆脱了索引服务器造成的数据节点数量的瓶颈。且在多台主控制服务器同时进行数据读写的过程中，可由多台索引服务器分散处理，大大降低索引服务器的运作瓶颈。能够提升分布式存储的方式的存储性能。
[0109]在其中一个分布式存储的数据存取系统的实施例中，如图10所示，该系统还包括本地磁盘400，所述主控制服务器包括新数据判断模块110，所述数据节点包括索引值产生模块310、索引值存储模块320、第一存储模块330、位置查找模块340和第二存储模块350。
[0110]当所述主控制服务器接收数据存储信息时，所述新数据判断模块110通过所述索引服务器判断要存储的数据是否为新数据；
[0111]根据所述新数据判断模块的判断结果，若是，则
[0112]所述索引值产生模块310产生所述要存储的数据的数据索引值；
[0113]所述索引值存储模块320将所述数据索引值存储到所述索引服务器中；
[0114]所述第一存储模块330存储所述要存储的数据到本地磁盘；
[0115]若否，则
[0116]所述位置查找模块340根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置；
[0117]所述第二存储模块350用所述要存储的数据覆盖本地磁盘相应位置的原数据。
[0118]在其中一个分布式存储的数据存取系统的实施例中，如图11所示，所述主控制服务器还包括第一数据分割判断模块120、多数据节点存储模块130和单数据节点存储模块140。其中:所述第一数据分割判断模块120通过所述索引服务器判断所述要存储的数据是否需要分割；若是，则所述多数据节点存储模块130连接多个所述数据节点进行数据存储；若否，则所述单数据节点存储模块140连接单个所述数据节点进行数据存储；且当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。
[0119]在其中一个分布式存储的数据存取系统的实施例中，如图12所示，所述主控制服务器还包括第二数据分割判断模块150、多数据节点读取模块160和单数据节点读取模块170。
[0120]当所述主控制服务器接收数据读取信息时，所述第二数据分割判断模块150通过所述索引服务器判断要读取的数据是否为分割数据的步骤；若是，则所述多数据节点读取模块160连接多个所述数据节点进行数据读取；若否，则所述单数据节点读取模块 170连接单个所述数据节点进行数据读取。
[0121]在其中一个分布式存储的数据存取系统的实施例中，如图13所示，所述主控制服务器还包括异常判断模块180和异常处理模块190。其中:所述异常判断模块180实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常；当所述数据存取设备异常时，所述异常处理模块190控制启动相应的代理设备进行数据存取。其中，所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
[0122]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种分布式存储的数据存取方法，其特征在于，包括以下步骤: 主控制服务器接收数据存取信息，并发送所述数据存取信息到索引服务器； 所述索引服务器查找到所述数据存取信息对应的数据节点，并返回所述数据节点的信息到所述主控制服务器； 所述主控制服务器连接所述数据节点进行数据存取。2.根据权利要求1所述的分布式存储的数据存取方法，其特征在于，当所述主控制服务器接收数据存储信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要存储的数据是否为新数据的步骤； 若是，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤: 所述数据节点产生所述要存储的数据的数据索引值； 所述数据节点将所述数据索引值存储到所述索引服务器中； 所述数据节点存储所述要存储的数据到本地磁盘； 若否，则所述主控制服务器连接所述数据节点进行数据存取的步骤包括以下步骤:所述数据节点根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置； 所述数据节点用所述要存储的数据覆盖本地磁盘相应位置的原数据。3.根据权利要求2所述的分布式存储的数据存取方法，其特征在于，所述方法还包括所述主控制服务器通过所述索引服务器判断所述要存储的数据是否需要分割的步骤； 若是，则所述主控制服务器连接多个所述数据节点进行数据存储； 若否，则所述主控制服务器连接单个所述数据节点进行数据存储。4.根据权利要求3所述的分布式存储的数据存取方法，其特征在于，当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。5.根据权利要求1所述的分布式存储的数据存取方法，其特征在于，当所述主控制服务器接收数据读取信息时，该方法还包括所述主控制服务器通过所述索引服务器判断要读取的数据是否为分割数据的步骤； 若是，则所述主控制服务器连接多个所述数据节点进行数据读取； 若否，则所述主控制服务器连接单个所述数据节点进行数据读取。6.根据权利要求1至5任一项所述的分布式存储的数据存取方法，其特征在于，该方法还包括以下步骤: 所述主控制服务器实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常； 当所述数据存取设备异常时，所述主控制服务器控制启动相应的代理设备进行数据存取； 所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。7.一种分布式存储的数据存取系统，其特征在于，包括主控制服务器、索引服务器和数据节点，其中: 所述主控制服务器接收数据存取信息，并发送所述数据存取信息到所述索引服务器；所述索引服务器查找到所述数据存取信息对应的所述数据节点，并返回所述数据节点的信息到所述主控制服务器； 所述主控制服务器连接所述数据节点进行数据存取。8.根据权利要求7所述的分布式存储的数据存取系统，其特征在于，该系统还包括本地磁盘，所述主控制服务器包括新数据判断模块，所述数据节点包括索引值产生模块、索引值存储模块、第一存储模块、位置查找模块和第二存储模块； 当所述主控制服务器接收数据存储信息时，所述新数据判断模块通过所述索引服务器判断要存储的数据是否为新数据； 根据所述新数据判断模块的判断结果，若是，则 所述索引值产生模块产生所述要存储的数据的数据索引值； 所述索引值存储模块将所述数据索引值存储到所述索引服务器中； 所述第一存储模块存储所述要存储的数据到本地磁盘； 若否，则 所述位置查找模块根据所述要存储的数据的数据索引值通过所述索引服务器查找到所述要存储的数据在本地磁盘的位置； 所述第二存储模块用所述要存储的数据覆盖本地磁盘相应位置的原数据。9.根据权利要求8所述的分布式存储的数据存取系统，其特征在于，所述主控制服务器还包括第一数据分割判断模块、多数据节点存储模块和单数据节点存储模块，其中: 所述第一数据分割判断模块通过所述索引服务器判断所述要存储的数据是否需要分#1]； 若是，则所述多数据节点存储模块连接多个所述数据节点进行数据存储； 若否，则所述单数据节点存储模块连接单个所述数据节点进行数据存储； 且当所述数据需要分割时，所述数据索引值包括单一索引值和数据组合值。10.根据权利要求7所述的分布式存储的数据存取系统，其特征在于，所述主控制服务器还包括第二数据分割判断模块、多数据节点读取模块和单数据节点读取模块； 当所述主控制服务器接收数据读取信息时，所述第二数据分割判断模块通过所述索引服务器判断要读取的数据是否为分割数据的步骤； 若是，则所述多数据节点读取模块连接多个所述数据节点进行数据读取； 若否，则所述单数据节点读取模块连接单个所述数据节点进行数据读取。11.根据权利要求7至10任一项所述的分布式存储的数据存取系统，其特征在于，所述主控制服务器还包括异常判断模块和异常处理模块，其中: 所述异常判断模块实时接收进行存取的数据的数据传递的结果数据，并根据所述结果数据判断数据存取设备是否异常； 当所述数据存取设备异常时，所述异常处理模块控制启动相应的代理设备进行数据存取； 所述数据存取设备为所述索引服务器，和/或所述数据节点，和/或本地磁盘。
【专利摘要】本发明公开了一种分布式存储的数据存取方法及系统。其中该方法包括如下步骤：主控制服务器接收数据存取信息，并发送数据存取信息到索引服务器；索引服务器查找到数据存取信息对应的数据节点，并返回数据节点的信息到主控制服务器；主控制服务器连接数据节点进行数据存取。其索引服务器只查找数据节点信息，后续由主控制服务器直接连接数据节点，减轻了索引服务器的压力，也摆脱了索引服务器造成的数据节点数量的瓶颈；且在多台主控制服务器同时进行数据读写的过程中，可由多台索引服务器分散处理，提升分布式存储的方式的存储性能，简化与整合分布式存储的运作环节所需要的设备，提升分布式存储的持续可用性。
【IPC分类】H04L29/08, G06F17/30
【公开号】CN104883381
【申请号】CN201410229794
【发明人】陈杰
【申请人】陈杰
【公开日】2015年9月2日
【申请日】2014年5月27日