分布式数据存储的制作方法
专利名称：分布式数据存储的制作方法
技术领域：
本公开涉及在包括多个数据存储节点的数据存储系统中写数据和保持数据的方法，此方法被应用在服务器和数据存储系统中的存储节点中。本公开还涉及能够执行此方法的存储节点和服务器。
背景技术：
类似方法已在例如美国2005/0M6393A1中被公开。此方法被公开，用于一种在不同地理位置使用多个存储中心的系统。分布式对象存储管理器被包括来保存关于所存储数据的信息。与此系统相关的一个问题是如何完成简单和尚健全和可靠的写数据和保持数据。
发明内容
因此本公开的一个目标在于在分布式存储系统中实现健全的写数据或保持数据， 而不使用集中保持服务器，其自身可以是系统中的弱连接。这个目标的实现是通过最初提到的方法，该方法在存储节点中完成，并包括监控系统中其他存储节点的状态和在数据存储系统中执行的写操作；基于监控，检测数据存储系统中的情况，其意指在数据存储系统中的节点之间对数据复制的需求，并且如果此情况被检测到，则开始复制过程。该复制过程包含发送多播消息到多个存储节点，消息查询这些存储节点中的哪些存储了具体数据。通过定义这样的方法，每个存储节点都可作用于整个系统的数据保持。如果一存储节点故障，其数据可以通过系统中的其他节点恢复，系统可以因此认为其自我恢复。监控可以包含聆听来自系统中其他存储节点的心跳(heartbeat)信号。意指复制需求的条件则是出故障的存储节点。数据包含了文件，且意指复制需求的条件可以为文件删除或文件不一致中的一种。包含需要复制的文件的复制列表可以被保持并可以包含优先级。复制过程可以包括发送多播消息到多个存储节点，要求查询那些存储节点中的哪些存储了具体数据，从那些存储节点接收含有该具体数据的响应，确定所述具体数据是否存储在充足数量的存储节点上，并且，如果没有，选择至少一个另外的存储节点并传送所述具体数据到该存储节点。此外，含有其过时版本的存储节点上的具体数据可以被更新。另外，复制过程可以开始于所述存储节点试图在系统的所有存储节点中获得待被复制的文件主控权。监控还可以包含监控在数据存储系统中执行的读取操作。本公开还涉及一种数据存储节点，该存储节点用于执行与所述方法相对应的数据保持。存储节点则通常包括用于执行方法的动作的装置。目标的实现同样是利用最初提到的那种将写数据到数据存储系统的方法，该方法在运行访问数据存储系统中的数据的应用的服务器中被完成。该方法包括发送多播存储查询到多个存储节点，接收来自该存储节点的子集的多个响应，该响应包含涉及每个服务器的地理位置的地理数据，基于该响应选择所述子集中的至少两个存储节点，发送数据和对应于该数据的数据标识符到选择的存储节点。此方法在地理多样化以有效方式实现的意义上，完成健全的写数据。地理位置可以包含所涉及的(in question)存储节点的经度和纬度，响应还可以包含所涉及的系统负载和/或存储节点的系统寿命。多播存储查询可以包括识别待被存储的数据的数据标识符。典型的，至少三个节点可以被选择用来存储，并且成功地存储数据的存储节点列表可以被发送到所选择的存储节点。本公开还涉及一种服务器，用来实现相应于所述方法的写数据。服务器通常包括用于实现方法的动作的装置。附图简述
图1说明分布式数据存储系统。图2A-2C和图3说明数据读取过程。图4A-4C和图5说明数据写过程。图6按图示说明多个文件被存储到多个数据存储节点的情况。图7说明心跳信号的传送。图8为数据保持过程的概况。具体描述本公开涉及一种包括多个存储节点的分布式数据存储系统。系统结构及其使用环境如图1概述。用户计算机1通过互联网3访问在服务器7上运行的应用程序5。如此处说明，因而用户环境是常规客户端-服务器配置，其本身被熟知。然而，需要注意的是，要被公开的此数据存储系统也可以用于其它配置。在说明的例子中，两个应用程序5、9在服务器7上运行。当然，但是，这些数量的应用程序可以是不同的。每一个应用程序有应用程序接口(API) 11，该应用程序接口提供关于分布式数据存储系统13的接口并支持请求，典型的，是来自运行在服务器上的应用程序的写和读请求。从应用程序的角度，来自/到数据存储系统13的读或写信息不需要在使用其它任何种类的存储解决方案方面体现出不同，例如文件服务器或简单的硬件驱动。每一个API 11与在存储系统13中的存储节点15通信，并且存储节点之间互相进行通信。这些通信基于传输控制协议(TCP)和用户数据报协议(UDP)。这些概念技术人员熟知，并在此不做进一步解释。值得注意的是，在同一个服务器7上的不同的API 11可以访问不同系列的存储节点15。还值得注意的是，可以存在比一个更多的服务器7来访问每一个存储节点15。但是这不会任何更大程度地影响存储节点的运转方式，如以后将被详述的。分布式数据存储系统的组件为存储节点15和API 11，在服务器7中，其访问存储节点15。因此本公开涉及在服务器7中和在存储节点15中实现的方法。那些方法最初会被实施为分别运行在服务器和存储节点上的软件安装，且共同确定整个分布式数据存储系统的运转和属性。
存储节点15可以典型地由文件服务器包含，文件服务器被提供有多个功能模块。 存储节点因此可以包括存储介质17，该存储介质典型地包括多个硬件驱动，并可选择地被配置为RAID(独立磁盘冗余数组)系统。然而也可想到其他形式的存储媒介。存储节点15可以还包含目录19，该目录包括一些数据实体/存储节点关系的列表作为主列表(host list)，如在以后将讨论的。除主列表外，每一个存储节点还含有一个节点列表，该列表包含在存储节点的其集合或组中的全部存储节点的IP地址。组中的存储节点数量可以在几个到几百个存储节点间变化。节点列表可以还具有一个版本号。此外，存储节点15可以包含一个复制模块21和一个群集监视器模块23。复制模块21包含一个存储节点API 25，并被配置成用来执行识别需求和实现复制过程的功能，此将在以后用细节详述。复制模块21的存储节点API 25含有的节点可以最大程度地与服务器7的存储节点API 11的节点对应，同时复制过程包括的功能最大程度地与服务器7在被描述的读和写操作期间所实现的功能保持对应。例如，复制过程中执行的写操作最大程度地与服务器7实现的写操作相对应。群集监视器模块23配置成实现监控在数据存储系统 13中的其他存储节点，此将在以后用细节详述。分布式数据存储系统的存储节点15可被考虑存在于同一层次级。不需要指定任何主存储节点来负责保持存储数据实体的目录和监控数据一致性，等。反而，所有存储节点 15可被认为是等同的，以及有时可以相对于系统中的其他存储节点实现数据管理操作。这个等式保证系统的健全。如果一个存储节点出故障，系统中的其他存储节点将掩盖出故障的节点并保证可靠的数据存储。系统操作将按以下顺序阐述读数据，写数据，以及数据保持。即使这些方法一起奏效，值得注意的是它们可以原则上互相独立实现。即，例如数据读取方法可以提供很好的属性，即使本公开的数据写方法没有被用到，反之亦然。读取的方法现在根据图2A-2C和3进行阐述，后者是用于说明方法的流程图。像系统中的其他功能一样，读取的操作利用多播通信与多个存储节点同时进行通信。通过多播或IP多播这里意为点到多点的通信，该通信通过发送消息到IP地址来完成， 该地址保留在多播应用程序中。比如，典型地为一个要求的消息被发送到这样的IP地址(例如，244. 0.0. 1)，并且多个接收服务器被注册为该IP地址的用户。每个接收服务器拥有自己的IP地址。当网络中的交换机接收到指向M4. 0. 0. 1的消息时，交换机将该消息转发到每个注册为用户的服务器的IP地址。原则上，对于多播地址，只有一个服务器可以注册为用户，在该情况下完成点对点的通信。然而，在本公开的情况下，这样的通信仍考虑为多播通信，因为多播方案已被运用。参照具有单个接收方的通信，也使用单播通信。根据图2A和图3，该方法用于从一个数据存储系统中检索数据，该方法包括发送31多播查询到多个存储节点15。在说明示例中有五个存储节点，每个存储节点具有一 IP (互联网协议)地址192. 168. 1. 1,192. 168. 1.2，等。无需多说，存储节点的数量只是一个例子。查询包括数据标识符“2B9B4A97-76E5-499E-A21A6D7932DD7927”，该标识符可以例如为通用唯一标识符UUID，就其本身而言被熟知。
存储节点扫描自身以获得对应标识符的数据。如果这样的数据被找到，则存储节点发送响应，该响应被服务器7接收33，如图2B。如说明中的，响应还可以有选择地含有除表示存储节点具有相关数据的复本以外的其它信息。具体地说，响应可以含有从存储节点目录来的关于含有数据的其他存储节点的信息、关于哪个版本的数据被包含于存储节点的信息、以及关于存储节点目前暴露于哪个负载的信息。基于该响应，服务器选择35从其检索数据的一个或多个存储节点，并发送37对数据的单播请求到那个/那些存储节点，如图2C。响应于对数据的请求，存储节点用单播发送相关数据到接收39数据的服务器。在图示例中，仅有一个存储节点被选择。虽然这已经足够，但为了接收两组数据来使一致性检查成为可能，可以选择多于一个的存储节点。如果数据传输失败，服务器可以选择另外的存储节点来检索。存储节点的选择可以基于一种算法，该算法考虑若干因子以便达到良好的全系统效果。典型的，具有最新的数据版本和最低负载的存储节点将被选择，尽管其他概念也全部可以想到。可选择地，通过服务器发送列表到包含在内的所有存储节点，可推断出操作，表明了哪些节点含有数据和用哪个版本，可以由此得出结果。基于这些信息，存储节点可以通过将被描述的复制过程，正确地自己保持数据。图4A-4C和图5说明分布式数据存储系统的数据写过程。根据图4A和图5，该方法包括服务器发送41多播存储查询到多个存储节点。存储查询包括数据标识符且主要包括的问题是接收存储节点是否能够保存此文件。可选择地， 存储节点可以检查它们的内部目录查看其是否已有这个名字的文件，以及在不太可能的情况下可以通知服务器7是此情况，从而服务器可以重命名文件。在任何情况下，至少存储节点的子集可以通过单播传送提供到服务器7的响应。 典型的，具有预定的最小空余磁盘空间的存储节点回答查询。服务器7接收43响应，该响应包含与每个服务器的地理位置有关的地理数据。例如，如图4B所示，地理数据可以包含每个服务器的经度、纬度和高度。然而，其他种类的地理数据也可以被想到，如邮编或类似物。除地理数据外，更多的信息可以被提供，其用作对存储节点选择过程的输入。在说明示例中，每个存储节点的空余空间量与存储节点系统的寿命指示和存储节点现在经受的负载的指示一起被提供。基于接收的响应，服务器在子集中选择45至少两个存储节点，在典型的实施方式为三个存储节点，用于存储数据。存储节点的选择通过考虑不同数据的算法的方式来实现。 该选择的实现用来获得某种地理多样性。至少可以优选地避免只有同一栈中的文件服务器被选择作为存储节点。典型的，可获得一种好的地理多样性，即使在不同板块中选择存储节点。除地理多样性外，其他因素可以包含在选择算法中。只要达到最小的地理多样性，空余空间、系统寿命和现在的负载都可以被考虑其中。当存储节点被选出时，待存储的数据和对应的数据标识符将被发送到每个选择的节点，典型地使用单播传送。可选择性的，操作可以通过每个存储节点结束，所述存储节点已成功执行写操作，以及发送确认到服务器。服务器紧接着发送列表到所涉及的所有存储节点，表明哪些节点成功地写数据和哪些没有成功地写数据。基于这个信息，存储节点可以自己通过复制过程正确的保持数据，此将被详述。例如，如果一个存储节点的写操作失败，则需要复制文件到另外一个存储节点，以便用于该文件的期望数量的存储节点。数据写方法本身允许在服务器7中的API以一种非常健全的方式来存储数据，从而可以提供很好的地理多样性。除了写和读操作外，服务器7中的API可以实现删除文件和更新文件的操作。这些过程将在以下结合数据保持过程被详述。数据保持过程的目的在于确保有合理数量的无故障存储节点，每个存储节点存储每个文件的最新版本。此外，可以提供无删除文件存储到任何存储节点的功能。保持由存储节点自身实现。这里因此不需要专用的“主控”来负责数据存储的保持。这确保作为“主控”的提高的可靠性可能在其他方面成为系统的弱点。图6按图示说明了多个文件存储到多个数据存储节点中的情况。在图例中，12个节点具有从192. 168. 1. 1到192. 168. 1. 12的连续编号的IP地址，该12个节点被描述以用于说明。然而无须多说，IP地址编号根本不需要在同一范围内。节点以环形顺序排列仅为简便阐述，也就是说，节点不需要具有特定的顺序。每个节点存储一个或两个被识别的文件，为了简便的目的，以字母A-F来标识。根据图8，保存数据的方法包括检测51数据存储系统的情况以及复制过程53，所述情况意指数据存储系统中节点之间复制数据的需求。检测过程51的结果是文件列表55， 对于其识别复制需求。该列表还可以包括关于不同复制需求的优先级的数据。基于该列表， 复制过程53被实现。分布式存储的健全性依靠于每份文件的合理数量的副本、正确的版本存储在系统中。在说明的例子中，每份文件的三份副本被存储。然而，例如，如果地址为192.168.1.5 的存储节点出现错误，则预期数量的文件存储副本“B”和“C”将不能被满足。一个导致复制需求的事件因此为系统中存储节点的故障。系统中的每个存储节点可以监控系统中其他存储节点的状态。这可以通过让每个存储节点每隔一定时间发出所谓的心跳信号来实现，如图7所说明的。在说明的例子中，地址为192. 168. 1. 7的存储节点发出多播信号57到系统中的其他存储节点，表明该存储节点工作正常。这个信号可以被系统中的执行心跳监控59 (如图8)的所有其他运行的存储节点或存储节点的子集接收。然而，在存储节点的地址为192. 168. 1. 5的情况下，该存储节点有故障且不发送任何心跳信号。因此，其他存储节点将察觉此节点长时间没有发出任何心跳信号，由此表明问题中提到的存储节点不运转。除存储节点的地址外，心跳信号还可以包含它的节点列表版本号。另外的存储节点聆听心跳信号以及发现传送的存储节点具有后续版本的节点列表，该另外的存储节点然后可以要求那个传送的存储节点传送它的节点列表。这意味着通过添加和移除存储节点以及发送新的节点列表版本到一个信号存储节点，可以简单地获取存储节点的添加和移除。 此节点列表然后将传到系统中的所有其他的存储节点。再根据图8，每个存储节点搜索61其内部目录来寻找文件，该文件被故障存储节点存储。自身存储了文件“B”和“C”的存储节点将找到故障存储节点，并因此能够添加相应的文件到它们的列表阳.检测过程然而也同样揭示意指复制文件需求的其他条件。典型的这类的情况可能不一致，也就是说，一个或更多的存储节点具有文件的作废版本。删除操作同样意指复制过程，因为这个过程可以实现文件的实际物理删除。服务器的删除操作然后仅需要确保存储节点为问题中提到的文件设置删除标志。每个节点可以因此监控在数据存储系统中实现的读和写操作。信息在读和写操作完成后由服务器7提供，该信息分别可以表明一个存储节点含有文件的作废版本(在读操作的情况下)或是存储节点不能成功地实现写操作。在这两种情况下，需要通过复制保持数据，从而使保持过程的整体目标得以实现。除基本的读和写操作63、65之外，至少两个额外的过程还可以提供存在复制需求的指示，即，现在给出简要解释的删除67和更新69过程。删除过程由服务器7开始(如图1)。类似于读过程，服务器以多播形式发送查询到所有存储节点，以便找出哪个存储节点具有具体数据标识符的数据。存储节点浏览自身寻找具有相关标识符的数据，且如果它们具有问题中提到的数据则用单播传输响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求到被考虑存储被删除文件的存储节点。每个存储节点设置关于文件的标志并标明其应被删除。文件然后被加入复制列表，并发送确认到服务器。复制过程然后物理地删除文件，如将被详述的。更新过程具有类似于其中删除过程中的寻找功能的寻找功能和类似于在写过程中实现的写功能的写功能。服务器通过多播到所有存储节点来发送查询，以便找出哪个存储节点具有带有具体标识符的数据。存储节点扫描自身来寻找具有相关标识符的数据，且如果它们具有所涉及的数据，则用单播传输来响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求，告知存储节点来更新数据。请求当然含有被更新的数据。更新数据的存储节点发送确认到服务器，该服务器通过发送单播传输来响应，该单播传输含有成功更新数据的存储节点和未更新数据的存储节点的列表。此外，保持过程可使用此列表。再根据图8，读取63操作、写65操作、删除67操作、和更新69操作都可以表明复制需求的存在。同样适用于心跳监控59。整个检测过程51因此根据哪些文件需要被复制来生成数据。例如，读取操作或是更新操作可以揭示具体存储节点含有作废版本的文件。删除过程可以为具体文件设置删除标志。心跳监控可以揭示存储在故障存储节点上的多个文件需要被复制到新的存储节点。每个存储节点监控所有文件的复制需求，该文件存储和保持复制列表55。复制列表55因此含有需要被复制的多个文件。文件可以根据每个复制的优先级排序。典型的，这里可以有三种不同的优先级水平。最高水平是为存储节点保存其最新联机副本的文件保留的。这类文件需要迅速复制到其他存储节点，以便可达到合理水平的冗余。中等水平的优先级可以涉及存储节点中版本不一致的文件。低水平的优先级可以涉及存储在故障存储节点上的文件。存储节点根据它们的优先级水平处理复制列表55上的文件。复制过程现在关于存储节点被描述，存储节点在这里被称为操作存储节点，虽然所有的存储节点都可以这种方式被操作。
保持过程的复制部分53由操作存储节点试图71成为其想要复制的文件的主控开始。操作存储节点发送单播请求来成为其他存储节点的主控，已知其他存储节点存储了问题中提到的文件。目录19(如图1)提供主列表，该主列表包括关于询问哪些存储节点的信息。如果，例如一旦有冲突请求，则其中一个存储节点不能做出肯定的响应，文件会被暂时返回列表，而以列表中的下一个文件替代来进行尝试。否则操作存储节点会被考虑作为这个文件的主控，以及其他存储节点设置标志，表示操作存储节点为问题中提到的文件的主控。下一步为在分布式存储系统中找到73所涉及的文件的所有副本。这可以通过操作存储节点发送多播查询到所有存储节点、询问它们中的哪些节点具有文件来实现。具有文件的存储节点为查询提交响应，包含它们保持的文件版本以及其主列表，主列表也就是含有保持在每个存储节点列表中的目录中的相关文件的存储节点的列表。这些主列表然后由操作存储节点合并75，从而主控主列表根据所有取回的主列表的集合而形成。如果找到额外的存储节点，当操作存储节点试图成为主控时，该存储节点没有被访问，则此步骤可以现在对于额外的存储节点进行重复。主控主列表含有信息，该信息是关于不同的存储节点保持哪个版本的文件和说明整个存储系统之内的文件的状态。如果操作存储节点不具有所涉及的文件的最新版本，则该文件然后从具有最新版本的存储节点中的一个被取回77。典型地，如果应添加额外的存储节点，操作存储节点则决定79是否需要更改主列表。如果是这样，操作存储节点可以实现非常类似写过程的过程，所述写过程由服务器实现，并在有关图4A-4C和图5中被详述。这个过程的结果是文件被写到新的存储节点。如果发生版本不一致，操作存储节点可以更新81储存在其他存储节点的文件副本，从而使所存储的所有文件具有正确的版本。存储文件的多余副本可以被删除83。如果复制过程由删除操作开始，过程可以直接跳到这个步骤。然后，一旦所有存储节点接受了文件删除，操作存储节点简单地利用单播来请求所有存储节点物理地删除所涉及的文件。存储节点确认文件已被删除。另外的状态，也就是说，文件的主控主列表被更新。之后可能可选择地重复步骤 73-83来确保复制需求不再存在。该复制导致在步骤85中不需要更新的一致的主控主列表。此后，那个文件的复制过程结束，以及操作存储节点可以通过发送对应的消息到主列表上的所有其他存储节点，来释放87状态作为文件的主控。在此系统中，每个存储节点负责保持其在整个存储节点集合中存储的所有文件， 该系统提供一种具有很好可靠性的(在存储节点故障情况下的)自修复(在文件不一致或文件被删除情况下的)自清洁系统。该系统具有简单的可扩展性以及能够同时存储用于大量不同应用的文件。本发明不限制具体公开的示例，以及可以在所附权利要求的范围内以不同的方式进行变化和更改。
权利要求
1.一种在数据存储系统中保持数据的方法，所述数据存储系统包括多个数据存储节点，所述方法在所述数据存储系统的存储节点中被使用并包括-监控(59)所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作(65、67、69)；-基于所述监控，检测(51)所述数据存储系统中的条件，该条件意指所述数据存储系统中的所述节点之间的数据复制需求；以及-如果这样的条件被检测到，则开始复制过程(53)，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
2.根据权利要求1所述的方法，其中所述监控包括聆听(59)来自所述系统中的其他存储节点的心跳信号，以及其中意指复制需求的条件为出故障的存储节点。
3.根据权利要求1或2所述的方法，其中所述数据包括文件，且条件为文件删除或文件不一致中的一种。
4.根据任一前述权利要求所述的方法，其中保持一复制列表，该复制列表包括需要复制的文件。
5.根据权利要求4所述的方法，其中所述复制列表包括优先级。
6.根据任一前述权利要求所述的方法，其中所述复制过程还包括-从包含所述具体数据的那些存储节点接收响应；-确定所述具体数据是否存储在充足数量的存储节点上；以及-如果没有，则选择至少一个额外的存储节点并传送所述具体数据到该存储节点。
7.根据权利要求6所述的方法，还包括更新在包含所述具体数据的作废版本的存储节点上的所述具体数据。
8.根据权利要求6或7所述的方法，其中所述复制过程以所述存储节点试图在所述系统中的所有存储节点中获得待被复制的文件的主控权来开始。
9.根据任一前述权利要求所述的方法，其中所述监控还包括监控在所述数据存储系统中执行的读取操作(63)。
10.一种数据存储节点，用于在包括多个数据存储节点的数据存储系统中保持数据，所述数据存储节点包括-用于监控所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作的装置；-用于基于所述监控来检测所述数据存储系统中的条件的装置，所述条件意指所述数据存储系统中的节点之间的数据复制需求；以及-用于在这样的条件被检测到的情况下开始复制过程的装置，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
11.一种将数据写到数据存储系统的方法，所述数据存储系统包括多个数据存储节点， 该方法用在运行访问所述数据存储系统中的数据的应用的服务器中，且所述方法包括-发送Gl)多播存储查询到多个所述存储节点；-从所述存储节点的子集接收多个响应，所述响应包括涉及每个存储节点的地理位置的地理数据；-基于所述响应选择G5)所述子集中的至少两个存储节点；以及-发送G7)数据和对应于该数据的数据标识符到所选择的存储节点。
12.根据权利要求11所述的方法，其中所述地理位置包括所涉及的所述存储节点的经度和纬度。
13.根据权利要求12所述的方法，其中所述响应还包括所涉及的所述存储节点的系统寿命ο
14.根据权利要求12或13所述的方法，其中所述响应还包括所涉及的所述存储节点的系统负载。
15.根据权利要求12至14中任一项所述的方法，其中所述多播存储查询包括识别待被存储的数据的数据标识符。
16.根据权利要求12至15中任一项所述的方法，其中至少三个节点被选择。
17.根据权利要求12至16中任一项所述的方法，其中成功地存储所述数据的存储节点的列表被发送到所选择的存储节点。
18.一种服务器，适于将数据写到包括多个数据存储节点的数据存储系统，所述服务器包括-用于发送多播存储查询到多个所述存储节点的装置；-用于从所述存储节点的子集接收多个响应的装置，所述响应包括涉及每个存储节点的地理位置的地理数据；-用于基于所述响应选择所述子集中的至少两个存储节点的装置；以及 -用于发送数据和对应于该数据的数据标识符到所选择的存储节点的装置。
全文摘要
本发明涉及一种包括多个存储节点的分布式数据存储。使用单播和多播传送，服务器应用可在存储系统中读和写数据。每个存储节点可以监控系统上的读和写操作以及其他存储数据的状态。以此方式，存储节点可检测出系统中的文件复制需求，并可以执行复制过程，复制过程用于在不同的地理位置处保持具有正确版本的、充足数量的文件副本的存储。
文档编号G06F17/30GK102301367SQ200980142022
公开日2011年12月28日 申请日期2009年10月21日 优先权日2008年10月24日
发明者克里斯蒂安·梅兰德, 古斯塔夫·佩特森, 斯特凡·贝恩博, 罗杰·佩尔松 申请人:Ilt创新公司
技术领域：
本公开涉及在包括多个数据存储节点的数据存储系统中写数据和保持数据的方法，此方法被应用在服务器和数据存储系统中的存储节点中。本公开还涉及能够执行此方法的存储节点和服务器。
背景技术：
类似方法已在例如美国2005/0M6393A1中被公开。此方法被公开，用于一种在不同地理位置使用多个存储中心的系统。分布式对象存储管理器被包括来保存关于所存储数据的信息。与此系统相关的一个问题是如何完成简单和尚健全和可靠的写数据和保持数据。
发明内容
因此本公开的一个目标在于在分布式存储系统中实现健全的写数据或保持数据， 而不使用集中保持服务器，其自身可以是系统中的弱连接。这个目标的实现是通过最初提到的方法，该方法在存储节点中完成，并包括监控系统中其他存储节点的状态和在数据存储系统中执行的写操作；基于监控，检测数据存储系统中的情况，其意指在数据存储系统中的节点之间对数据复制的需求，并且如果此情况被检测到，则开始复制过程。该复制过程包含发送多播消息到多个存储节点，消息查询这些存储节点中的哪些存储了具体数据。通过定义这样的方法，每个存储节点都可作用于整个系统的数据保持。如果一存储节点故障，其数据可以通过系统中的其他节点恢复，系统可以因此认为其自我恢复。监控可以包含聆听来自系统中其他存储节点的心跳(heartbeat)信号。意指复制需求的条件则是出故障的存储节点。数据包含了文件，且意指复制需求的条件可以为文件删除或文件不一致中的一种。包含需要复制的文件的复制列表可以被保持并可以包含优先级。复制过程可以包括发送多播消息到多个存储节点，要求查询那些存储节点中的哪些存储了具体数据，从那些存储节点接收含有该具体数据的响应，确定所述具体数据是否存储在充足数量的存储节点上，并且，如果没有，选择至少一个另外的存储节点并传送所述具体数据到该存储节点。此外，含有其过时版本的存储节点上的具体数据可以被更新。另外，复制过程可以开始于所述存储节点试图在系统的所有存储节点中获得待被复制的文件主控权。监控还可以包含监控在数据存储系统中执行的读取操作。本公开还涉及一种数据存储节点，该存储节点用于执行与所述方法相对应的数据保持。存储节点则通常包括用于执行方法的动作的装置。目标的实现同样是利用最初提到的那种将写数据到数据存储系统的方法，该方法在运行访问数据存储系统中的数据的应用的服务器中被完成。该方法包括发送多播存储查询到多个存储节点，接收来自该存储节点的子集的多个响应，该响应包含涉及每个服务器的地理位置的地理数据，基于该响应选择所述子集中的至少两个存储节点，发送数据和对应于该数据的数据标识符到选择的存储节点。此方法在地理多样化以有效方式实现的意义上，完成健全的写数据。地理位置可以包含所涉及的(in question)存储节点的经度和纬度，响应还可以包含所涉及的系统负载和/或存储节点的系统寿命。多播存储查询可以包括识别待被存储的数据的数据标识符。典型的，至少三个节点可以被选择用来存储，并且成功地存储数据的存储节点列表可以被发送到所选择的存储节点。本公开还涉及一种服务器，用来实现相应于所述方法的写数据。服务器通常包括用于实现方法的动作的装置。附图简述
图1说明分布式数据存储系统。图2A-2C和图3说明数据读取过程。图4A-4C和图5说明数据写过程。图6按图示说明多个文件被存储到多个数据存储节点的情况。图7说明心跳信号的传送。图8为数据保持过程的概况。具体描述本公开涉及一种包括多个存储节点的分布式数据存储系统。系统结构及其使用环境如图1概述。用户计算机1通过互联网3访问在服务器7上运行的应用程序5。如此处说明，因而用户环境是常规客户端-服务器配置，其本身被熟知。然而，需要注意的是，要被公开的此数据存储系统也可以用于其它配置。在说明的例子中，两个应用程序5、9在服务器7上运行。当然，但是，这些数量的应用程序可以是不同的。每一个应用程序有应用程序接口(API) 11，该应用程序接口提供关于分布式数据存储系统13的接口并支持请求，典型的，是来自运行在服务器上的应用程序的写和读请求。从应用程序的角度，来自/到数据存储系统13的读或写信息不需要在使用其它任何种类的存储解决方案方面体现出不同，例如文件服务器或简单的硬件驱动。每一个API 11与在存储系统13中的存储节点15通信，并且存储节点之间互相进行通信。这些通信基于传输控制协议(TCP)和用户数据报协议(UDP)。这些概念技术人员熟知，并在此不做进一步解释。值得注意的是，在同一个服务器7上的不同的API 11可以访问不同系列的存储节点15。还值得注意的是，可以存在比一个更多的服务器7来访问每一个存储节点15。但是这不会任何更大程度地影响存储节点的运转方式，如以后将被详述的。分布式数据存储系统的组件为存储节点15和API 11，在服务器7中，其访问存储节点15。因此本公开涉及在服务器7中和在存储节点15中实现的方法。那些方法最初会被实施为分别运行在服务器和存储节点上的软件安装，且共同确定整个分布式数据存储系统的运转和属性。
存储节点15可以典型地由文件服务器包含，文件服务器被提供有多个功能模块。 存储节点因此可以包括存储介质17，该存储介质典型地包括多个硬件驱动，并可选择地被配置为RAID(独立磁盘冗余数组)系统。然而也可想到其他形式的存储媒介。存储节点15可以还包含目录19，该目录包括一些数据实体/存储节点关系的列表作为主列表(host list)，如在以后将讨论的。除主列表外，每一个存储节点还含有一个节点列表，该列表包含在存储节点的其集合或组中的全部存储节点的IP地址。组中的存储节点数量可以在几个到几百个存储节点间变化。节点列表可以还具有一个版本号。此外，存储节点15可以包含一个复制模块21和一个群集监视器模块23。复制模块21包含一个存储节点API 25，并被配置成用来执行识别需求和实现复制过程的功能，此将在以后用细节详述。复制模块21的存储节点API 25含有的节点可以最大程度地与服务器7的存储节点API 11的节点对应，同时复制过程包括的功能最大程度地与服务器7在被描述的读和写操作期间所实现的功能保持对应。例如，复制过程中执行的写操作最大程度地与服务器7实现的写操作相对应。群集监视器模块23配置成实现监控在数据存储系统 13中的其他存储节点，此将在以后用细节详述。分布式数据存储系统的存储节点15可被考虑存在于同一层次级。不需要指定任何主存储节点来负责保持存储数据实体的目录和监控数据一致性，等。反而，所有存储节点 15可被认为是等同的，以及有时可以相对于系统中的其他存储节点实现数据管理操作。这个等式保证系统的健全。如果一个存储节点出故障，系统中的其他存储节点将掩盖出故障的节点并保证可靠的数据存储。系统操作将按以下顺序阐述读数据，写数据，以及数据保持。即使这些方法一起奏效，值得注意的是它们可以原则上互相独立实现。即，例如数据读取方法可以提供很好的属性，即使本公开的数据写方法没有被用到，反之亦然。读取的方法现在根据图2A-2C和3进行阐述，后者是用于说明方法的流程图。像系统中的其他功能一样，读取的操作利用多播通信与多个存储节点同时进行通信。通过多播或IP多播这里意为点到多点的通信，该通信通过发送消息到IP地址来完成， 该地址保留在多播应用程序中。比如，典型地为一个要求的消息被发送到这样的IP地址(例如，244. 0.0. 1)，并且多个接收服务器被注册为该IP地址的用户。每个接收服务器拥有自己的IP地址。当网络中的交换机接收到指向M4. 0. 0. 1的消息时，交换机将该消息转发到每个注册为用户的服务器的IP地址。原则上，对于多播地址，只有一个服务器可以注册为用户，在该情况下完成点对点的通信。然而，在本公开的情况下，这样的通信仍考虑为多播通信，因为多播方案已被运用。参照具有单个接收方的通信，也使用单播通信。根据图2A和图3，该方法用于从一个数据存储系统中检索数据，该方法包括发送31多播查询到多个存储节点15。在说明示例中有五个存储节点，每个存储节点具有一 IP (互联网协议)地址192. 168. 1. 1,192. 168. 1.2，等。无需多说，存储节点的数量只是一个例子。查询包括数据标识符“2B9B4A97-76E5-499E-A21A6D7932DD7927”，该标识符可以例如为通用唯一标识符UUID，就其本身而言被熟知。
存储节点扫描自身以获得对应标识符的数据。如果这样的数据被找到，则存储节点发送响应，该响应被服务器7接收33，如图2B。如说明中的，响应还可以有选择地含有除表示存储节点具有相关数据的复本以外的其它信息。具体地说，响应可以含有从存储节点目录来的关于含有数据的其他存储节点的信息、关于哪个版本的数据被包含于存储节点的信息、以及关于存储节点目前暴露于哪个负载的信息。基于该响应，服务器选择35从其检索数据的一个或多个存储节点，并发送37对数据的单播请求到那个/那些存储节点，如图2C。响应于对数据的请求，存储节点用单播发送相关数据到接收39数据的服务器。在图示例中，仅有一个存储节点被选择。虽然这已经足够，但为了接收两组数据来使一致性检查成为可能，可以选择多于一个的存储节点。如果数据传输失败，服务器可以选择另外的存储节点来检索。存储节点的选择可以基于一种算法，该算法考虑若干因子以便达到良好的全系统效果。典型的，具有最新的数据版本和最低负载的存储节点将被选择，尽管其他概念也全部可以想到。可选择地，通过服务器发送列表到包含在内的所有存储节点，可推断出操作，表明了哪些节点含有数据和用哪个版本，可以由此得出结果。基于这些信息，存储节点可以通过将被描述的复制过程，正确地自己保持数据。图4A-4C和图5说明分布式数据存储系统的数据写过程。根据图4A和图5，该方法包括服务器发送41多播存储查询到多个存储节点。存储查询包括数据标识符且主要包括的问题是接收存储节点是否能够保存此文件。可选择地， 存储节点可以检查它们的内部目录查看其是否已有这个名字的文件，以及在不太可能的情况下可以通知服务器7是此情况，从而服务器可以重命名文件。在任何情况下，至少存储节点的子集可以通过单播传送提供到服务器7的响应。 典型的，具有预定的最小空余磁盘空间的存储节点回答查询。服务器7接收43响应，该响应包含与每个服务器的地理位置有关的地理数据。例如，如图4B所示，地理数据可以包含每个服务器的经度、纬度和高度。然而，其他种类的地理数据也可以被想到，如邮编或类似物。除地理数据外，更多的信息可以被提供，其用作对存储节点选择过程的输入。在说明示例中，每个存储节点的空余空间量与存储节点系统的寿命指示和存储节点现在经受的负载的指示一起被提供。基于接收的响应，服务器在子集中选择45至少两个存储节点，在典型的实施方式为三个存储节点，用于存储数据。存储节点的选择通过考虑不同数据的算法的方式来实现。 该选择的实现用来获得某种地理多样性。至少可以优选地避免只有同一栈中的文件服务器被选择作为存储节点。典型的，可获得一种好的地理多样性，即使在不同板块中选择存储节点。除地理多样性外，其他因素可以包含在选择算法中。只要达到最小的地理多样性，空余空间、系统寿命和现在的负载都可以被考虑其中。当存储节点被选出时，待存储的数据和对应的数据标识符将被发送到每个选择的节点，典型地使用单播传送。可选择性的，操作可以通过每个存储节点结束，所述存储节点已成功执行写操作，以及发送确认到服务器。服务器紧接着发送列表到所涉及的所有存储节点，表明哪些节点成功地写数据和哪些没有成功地写数据。基于这个信息，存储节点可以自己通过复制过程正确的保持数据，此将被详述。例如，如果一个存储节点的写操作失败，则需要复制文件到另外一个存储节点，以便用于该文件的期望数量的存储节点。数据写方法本身允许在服务器7中的API以一种非常健全的方式来存储数据，从而可以提供很好的地理多样性。除了写和读操作外，服务器7中的API可以实现删除文件和更新文件的操作。这些过程将在以下结合数据保持过程被详述。数据保持过程的目的在于确保有合理数量的无故障存储节点，每个存储节点存储每个文件的最新版本。此外，可以提供无删除文件存储到任何存储节点的功能。保持由存储节点自身实现。这里因此不需要专用的“主控”来负责数据存储的保持。这确保作为“主控”的提高的可靠性可能在其他方面成为系统的弱点。图6按图示说明了多个文件存储到多个数据存储节点中的情况。在图例中，12个节点具有从192. 168. 1. 1到192. 168. 1. 12的连续编号的IP地址，该12个节点被描述以用于说明。然而无须多说，IP地址编号根本不需要在同一范围内。节点以环形顺序排列仅为简便阐述，也就是说，节点不需要具有特定的顺序。每个节点存储一个或两个被识别的文件，为了简便的目的，以字母A-F来标识。根据图8，保存数据的方法包括检测51数据存储系统的情况以及复制过程53，所述情况意指数据存储系统中节点之间复制数据的需求。检测过程51的结果是文件列表55， 对于其识别复制需求。该列表还可以包括关于不同复制需求的优先级的数据。基于该列表， 复制过程53被实现。分布式存储的健全性依靠于每份文件的合理数量的副本、正确的版本存储在系统中。在说明的例子中，每份文件的三份副本被存储。然而，例如，如果地址为192.168.1.5 的存储节点出现错误，则预期数量的文件存储副本“B”和“C”将不能被满足。一个导致复制需求的事件因此为系统中存储节点的故障。系统中的每个存储节点可以监控系统中其他存储节点的状态。这可以通过让每个存储节点每隔一定时间发出所谓的心跳信号来实现，如图7所说明的。在说明的例子中，地址为192. 168. 1. 7的存储节点发出多播信号57到系统中的其他存储节点，表明该存储节点工作正常。这个信号可以被系统中的执行心跳监控59 (如图8)的所有其他运行的存储节点或存储节点的子集接收。然而，在存储节点的地址为192. 168. 1. 5的情况下，该存储节点有故障且不发送任何心跳信号。因此，其他存储节点将察觉此节点长时间没有发出任何心跳信号，由此表明问题中提到的存储节点不运转。除存储节点的地址外，心跳信号还可以包含它的节点列表版本号。另外的存储节点聆听心跳信号以及发现传送的存储节点具有后续版本的节点列表，该另外的存储节点然后可以要求那个传送的存储节点传送它的节点列表。这意味着通过添加和移除存储节点以及发送新的节点列表版本到一个信号存储节点，可以简单地获取存储节点的添加和移除。 此节点列表然后将传到系统中的所有其他的存储节点。再根据图8，每个存储节点搜索61其内部目录来寻找文件，该文件被故障存储节点存储。自身存储了文件“B”和“C”的存储节点将找到故障存储节点，并因此能够添加相应的文件到它们的列表阳.检测过程然而也同样揭示意指复制文件需求的其他条件。典型的这类的情况可能不一致，也就是说，一个或更多的存储节点具有文件的作废版本。删除操作同样意指复制过程，因为这个过程可以实现文件的实际物理删除。服务器的删除操作然后仅需要确保存储节点为问题中提到的文件设置删除标志。每个节点可以因此监控在数据存储系统中实现的读和写操作。信息在读和写操作完成后由服务器7提供，该信息分别可以表明一个存储节点含有文件的作废版本(在读操作的情况下)或是存储节点不能成功地实现写操作。在这两种情况下，需要通过复制保持数据，从而使保持过程的整体目标得以实现。除基本的读和写操作63、65之外，至少两个额外的过程还可以提供存在复制需求的指示，即，现在给出简要解释的删除67和更新69过程。删除过程由服务器7开始(如图1)。类似于读过程，服务器以多播形式发送查询到所有存储节点，以便找出哪个存储节点具有具体数据标识符的数据。存储节点浏览自身寻找具有相关标识符的数据，且如果它们具有问题中提到的数据则用单播传输响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求到被考虑存储被删除文件的存储节点。每个存储节点设置关于文件的标志并标明其应被删除。文件然后被加入复制列表，并发送确认到服务器。复制过程然后物理地删除文件，如将被详述的。更新过程具有类似于其中删除过程中的寻找功能的寻找功能和类似于在写过程中实现的写功能的写功能。服务器通过多播到所有存储节点来发送查询，以便找出哪个存储节点具有带有具体标识符的数据。存储节点扫描自身来寻找具有相关标识符的数据，且如果它们具有所涉及的数据，则用单播传输来响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求，告知存储节点来更新数据。请求当然含有被更新的数据。更新数据的存储节点发送确认到服务器，该服务器通过发送单播传输来响应，该单播传输含有成功更新数据的存储节点和未更新数据的存储节点的列表。此外，保持过程可使用此列表。再根据图8，读取63操作、写65操作、删除67操作、和更新69操作都可以表明复制需求的存在。同样适用于心跳监控59。整个检测过程51因此根据哪些文件需要被复制来生成数据。例如，读取操作或是更新操作可以揭示具体存储节点含有作废版本的文件。删除过程可以为具体文件设置删除标志。心跳监控可以揭示存储在故障存储节点上的多个文件需要被复制到新的存储节点。每个存储节点监控所有文件的复制需求，该文件存储和保持复制列表55。复制列表55因此含有需要被复制的多个文件。文件可以根据每个复制的优先级排序。典型的，这里可以有三种不同的优先级水平。最高水平是为存储节点保存其最新联机副本的文件保留的。这类文件需要迅速复制到其他存储节点，以便可达到合理水平的冗余。中等水平的优先级可以涉及存储节点中版本不一致的文件。低水平的优先级可以涉及存储在故障存储节点上的文件。存储节点根据它们的优先级水平处理复制列表55上的文件。复制过程现在关于存储节点被描述，存储节点在这里被称为操作存储节点，虽然所有的存储节点都可以这种方式被操作。
保持过程的复制部分53由操作存储节点试图71成为其想要复制的文件的主控开始。操作存储节点发送单播请求来成为其他存储节点的主控，已知其他存储节点存储了问题中提到的文件。目录19(如图1)提供主列表，该主列表包括关于询问哪些存储节点的信息。如果，例如一旦有冲突请求，则其中一个存储节点不能做出肯定的响应，文件会被暂时返回列表，而以列表中的下一个文件替代来进行尝试。否则操作存储节点会被考虑作为这个文件的主控，以及其他存储节点设置标志，表示操作存储节点为问题中提到的文件的主控。下一步为在分布式存储系统中找到73所涉及的文件的所有副本。这可以通过操作存储节点发送多播查询到所有存储节点、询问它们中的哪些节点具有文件来实现。具有文件的存储节点为查询提交响应，包含它们保持的文件版本以及其主列表，主列表也就是含有保持在每个存储节点列表中的目录中的相关文件的存储节点的列表。这些主列表然后由操作存储节点合并75，从而主控主列表根据所有取回的主列表的集合而形成。如果找到额外的存储节点，当操作存储节点试图成为主控时，该存储节点没有被访问，则此步骤可以现在对于额外的存储节点进行重复。主控主列表含有信息，该信息是关于不同的存储节点保持哪个版本的文件和说明整个存储系统之内的文件的状态。如果操作存储节点不具有所涉及的文件的最新版本，则该文件然后从具有最新版本的存储节点中的一个被取回77。典型地，如果应添加额外的存储节点，操作存储节点则决定79是否需要更改主列表。如果是这样，操作存储节点可以实现非常类似写过程的过程，所述写过程由服务器实现，并在有关图4A-4C和图5中被详述。这个过程的结果是文件被写到新的存储节点。如果发生版本不一致，操作存储节点可以更新81储存在其他存储节点的文件副本，从而使所存储的所有文件具有正确的版本。存储文件的多余副本可以被删除83。如果复制过程由删除操作开始，过程可以直接跳到这个步骤。然后，一旦所有存储节点接受了文件删除，操作存储节点简单地利用单播来请求所有存储节点物理地删除所涉及的文件。存储节点确认文件已被删除。另外的状态，也就是说，文件的主控主列表被更新。之后可能可选择地重复步骤 73-83来确保复制需求不再存在。该复制导致在步骤85中不需要更新的一致的主控主列表。此后，那个文件的复制过程结束，以及操作存储节点可以通过发送对应的消息到主列表上的所有其他存储节点，来释放87状态作为文件的主控。在此系统中，每个存储节点负责保持其在整个存储节点集合中存储的所有文件， 该系统提供一种具有很好可靠性的(在存储节点故障情况下的)自修复(在文件不一致或文件被删除情况下的)自清洁系统。该系统具有简单的可扩展性以及能够同时存储用于大量不同应用的文件。本发明不限制具体公开的示例，以及可以在所附权利要求的范围内以不同的方式进行变化和更改。
权利要求
1.一种在数据存储系统中保持数据的方法，所述数据存储系统包括多个数据存储节点，所述方法在所述数据存储系统的存储节点中被使用并包括-监控(59)所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作(65、67、69)；-基于所述监控，检测(51)所述数据存储系统中的条件，该条件意指所述数据存储系统中的所述节点之间的数据复制需求；以及-如果这样的条件被检测到，则开始复制过程(53)，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
2.根据权利要求1所述的方法，其中所述监控包括聆听(59)来自所述系统中的其他存储节点的心跳信号，以及其中意指复制需求的条件为出故障的存储节点。
3.根据权利要求1或2所述的方法，其中所述数据包括文件，且条件为文件删除或文件不一致中的一种。
4.根据任一前述权利要求所述的方法，其中保持一复制列表，该复制列表包括需要复制的文件。
5.根据权利要求4所述的方法，其中所述复制列表包括优先级。
6.根据任一前述权利要求所述的方法，其中所述复制过程还包括-从包含所述具体数据的那些存储节点接收响应；-确定所述具体数据是否存储在充足数量的存储节点上；以及-如果没有，则选择至少一个额外的存储节点并传送所述具体数据到该存储节点。
7.根据权利要求6所述的方法，还包括更新在包含所述具体数据的作废版本的存储节点上的所述具体数据。
8.根据权利要求6或7所述的方法，其中所述复制过程以所述存储节点试图在所述系统中的所有存储节点中获得待被复制的文件的主控权来开始。
9.根据任一前述权利要求所述的方法，其中所述监控还包括监控在所述数据存储系统中执行的读取操作(63)。
10.一种数据存储节点，用于在包括多个数据存储节点的数据存储系统中保持数据，所述数据存储节点包括-用于监控所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作的装置；-用于基于所述监控来检测所述数据存储系统中的条件的装置，所述条件意指所述数据存储系统中的节点之间的数据复制需求；以及-用于在这样的条件被检测到的情况下开始复制过程的装置，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
11.一种将数据写到数据存储系统的方法，所述数据存储系统包括多个数据存储节点， 该方法用在运行访问所述数据存储系统中的数据的应用的服务器中，且所述方法包括-发送Gl)多播存储查询到多个所述存储节点；-从所述存储节点的子集接收多个响应，所述响应包括涉及每个存储节点的地理位置的地理数据；-基于所述响应选择G5)所述子集中的至少两个存储节点；以及-发送G7)数据和对应于该数据的数据标识符到所选择的存储节点。
12.根据权利要求11所述的方法，其中所述地理位置包括所涉及的所述存储节点的经度和纬度。
13.根据权利要求12所述的方法，其中所述响应还包括所涉及的所述存储节点的系统寿命ο
14.根据权利要求12或13所述的方法，其中所述响应还包括所涉及的所述存储节点的系统负载。
15.根据权利要求12至14中任一项所述的方法，其中所述多播存储查询包括识别待被存储的数据的数据标识符。
16.根据权利要求12至15中任一项所述的方法，其中至少三个节点被选择。
17.根据权利要求12至16中任一项所述的方法，其中成功地存储所述数据的存储节点的列表被发送到所选择的存储节点。
18.一种服务器，适于将数据写到包括多个数据存储节点的数据存储系统，所述服务器包括-用于发送多播存储查询到多个所述存储节点的装置；-用于从所述存储节点的子集接收多个响应的装置，所述响应包括涉及每个存储节点的地理位置的地理数据；-用于基于所述响应选择所述子集中的至少两个存储节点的装置；以及 -用于发送数据和对应于该数据的数据标识符到所选择的存储节点的装置。
全文摘要
本发明涉及一种包括多个存储节点的分布式数据存储。使用单播和多播传送，服务器应用可在存储系统中读和写数据。每个存储节点可以监控系统上的读和写操作以及其他存储数据的状态。以此方式，存储节点可检测出系统中的文件复制需求，并可以执行复制过程，复制过程用于在不同的地理位置处保持具有正确版本的、充足数量的文件副本的存储。
文档编号G06F17/30GK102301367SQ200980142022
公开日2011年12月28日 申请日期2009年10月21日 优先权日2008年10月24日
发明者克里斯蒂安·梅兰德, 古斯塔夫·佩特森, 斯特凡·贝恩博, 罗杰·佩尔松 申请人:Ilt创新公司
最新回复(0)