一种分布式文件系统性能瓶颈定位方法、装置和系统的制作方法
一种分布式文件系统性能瓶颈定位方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及性能检测技术领域，特别是涉及一种分布式文件系统性能瓶颈定位方法、装置和系统。
【背景技术】
[0002]分布式文件系统由元数据服务器、数据服务器和客户端组成。一般来说，一个文件的操作首先进行元数据操作，其后是文件数据操作。目前，在读写大文件(文件大小大于或等于10MB的文件)的应用场合主要是考虑文件系统的吞吐量，也就是数据的性能。因为大文件应用元数据请求有限，主要压力是在数据存储上。而针对小文件(文件大小小于10MB的文件)的应用场合，特别是512KB到10ΜΒ之间的小文件，在系统应用中并不能直观地分析出整个分布式文件系统的瓶颈点。
【发明内容】
[0003]有鉴于此，本发明实施例提供一种分布式文件系统性能瓶颈定位方法、装置和系统，以解决现有技术中针对小文件的应用场合，在系统应用中并不能直观地分析出整个分布式文件系统的瓶颈点的问题。
[0004]为实现上述目的，本发明实施例提供如下技术方案:
[0005]—种分布式文件系统性能瓶颈定位方法，包括:
[0006]通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0007]通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0008]若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈；
[0009]若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈。
[0010]其中，所述确认所述数据服务器性能瓶颈后还包括:对所述数据服务器进行性能优化，提高所述数据服务器性能。
[0011]其中，所述确认所述元数据服务器性能瓶颈后还包括:对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0012]其中，所述通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间包括:
[0013]向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0014]接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点；
[0015]根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0016]其中，所述通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间包括:
[0017]向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0018]接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点；
[0019]根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0020]一种分布式文件系统性能瓶颈定位装置，包括:第一计算模块、第二计算模块和定位模块;其中，
[0021 ]所述第一计算模块，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0022]所述第二计算模块，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0023]所述定位模块，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。
[0024]其中，所述分布式文件系统性能瓶颈定位装置还包括:优化模块，用于当所述定位模块确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当所述定位模块确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0025]其中，所述第一计算模块包括:第一发送单元，第一接收单元和第一计算单元;其中，
[0026]所述第一发送单元，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0027]所述第一接收单元，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点；
[0028]所述第一计算单元，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0029]其中，所述第二计算模块包括:第二发送单元，第二接收单元和第二计算单元;其中，
[0030]所述第二发送单元，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0031]所述第二接收单元，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点；
[0032]所述第二计算单元，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0033]—种分布式文件系统性能瓶颈定位系统，包括:上述的分布式文件系统性能瓶颈定位装置、元数据服务器和数据服务器;其中，
[0034]所述分布式文件系统性能瓶颈定位装置，用于通过所述元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；通过所述数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间;若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈；
[0035]所述元数据服务器，用于创建预设数目的文件。
[0036]所述数据服务器，用于在所述元数据服务器创建的每个所述文件中分别写入预设大小的数据。
[0037]其中，所述元数据服务器包括:第三接收单元、第一记录单元和第三发送单元；其中，
[0038]所述第三接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的文件建立请求，根据所述文件建立请求创建预设数目的文件；
[0039]所述第一记录单元，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息；
[0040]所述第三发送单元，用于将所述第一反馈信息返回给所述分布式文件系统性能瓶颈定位装置；
[0041]其中，所述数据服务器包括:第四接收单元、第二记录单元和第四发送单元;其中，
[0042]所述第四接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据；
[0043]所述第二记录单元，用于记录开始写入所述数据的第三时间点，和写入完成所 有所述数据的第四时间点，得到第二反馈信息；
[0044]所述第四发送单元，用于将所述第二反馈信息返回给所述分布式文件系统性能瓶颈定位装置。
[0045]基于上述技术方案，本发明实施例提供的分布式文件系统性能瓶颈定位方法、装置和系统，通过元数据服务器创建预设数目的文件，得到元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，其中，写入的数据的预设大小小于预设阈值，写入该预设大小数据后的文件为小文件，得到数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若得到的第一数据大于得到的第二数据，或得到的第一总时间小于得到的第二总时间，则认为该分布式文件系统中数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈，若得到的第一数据小于得到的第二数据，或得到的第一总时间大于得到的第二总时间，则认为该分布式文件系统中元数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈。通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
【附图说明】
[0046]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0047]图1为本发明实施例提供的分布式文件系统性能瓶颈定位方法的流程图；
[0048]图2为本发明实施例提供的分布式文件系统性能瓶颈定位方法的另一流程图；
[0049]图3为本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第一速率或第一总时间的方法流程图；
[0050]图4为本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第二速率或第二总时间的方法流程图；
[0051 ]图5为本发明实施例提供的分布式文件系统性能瓶颈定位装置的系统框图；
[0052]图6为本发明实施例提供的分布式文件系统性能瓶颈定位装置的另一系统框图；
[0053]图7为本发明实施例提供的分布式文件系统性能瓶颈定位装置中第一计算模块的结构框图；
[0054]图8为本发明实施例提供的分布式文件系统性能瓶颈定位装置中第二计算模块的结构框图；
[0055]图9为本发明实施例提供的分布式文件系统性能瓶颈定位系统的系统框图；
[0056]图10为本发明实施例提供的分布式文件系统性能瓶颈定位系统中元数据服务器的结构框图；
[0057]图11为本发明实施例提供的分布式文件系统性能瓶颈定位系统中数据服务器的结构框图。
【具体实施方式】
[0058]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]图1为本发明实施例提供的分布式文件系统性能瓶颈定位方法的流程图，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点;参照图1，该分布式文件系统性能瓶颈定位方法可以包括:
[0060]步骤S100:通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率；
[0061 ]通过元数据服务器创建预设数目的文件，将可得到该元数据服务器创建每个文件的第一速率。
[0062]可选的，可通过向元数据服务器发送文件建立请求，来请求该元数据服务器建立预设数目的文件。
[0063]可选的，可设置元数据服务器记录开始创建文件的第一时间点，并记录创建完成所有文件的第二时间点，得到第一反馈信息，然后通过接收元数据服务器返回的第一反馈信息，根据该第一时间点、第二时间点来得到元数据服务器创建所有文件消耗的总时间，得到第一总时间。
[0064]在得到第一总时间后，便可根据该第一总时间和预设数目得到元数据服务器创建每个文件的第一速率。例如，若通过元数据服务器创建100000个文件，用时30秒，即第一总时间为30秒，则可得到该元数据服务器创建每个文件的第一速率为3333个/秒。
[0065]步骤S110:通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率；
[0066]通过元数据服务器创建预设数目的文件后，可通过数据服务器在每个文件中分别写入预设大小的数据，然后得到该数据服务器写入每个数据的第二速率。
[0067]其中，数据服务器写入的数据的大小小于预设阈值，可保证数据服务器写入的数据的为小数据。
[0068]可选的，可通过向元数据服务器发送数据写入请求，来请求该元数据服务器在每个文件中分别写入预设大小的数据。
[0069]可选的，可设置元数据服务器记录开始写入数据的第三时间点，并写入完成所有数据的第四时间点，得到第二反馈信息，然后通过接收元数据服务器返回的第二反馈信息，根据该第三时间点、第四时间点来得到数据服务器写入所有数据消耗的第二总时间。
[0070]在得到第二总时间后，便可根据该第二总时间和预设数目得到数据服务器写入每个数据的第二速率。例如，若通过数据服务器写入100000个大小为512KB的数据，用时20秒，即第二总时间为20秒，则可得到该数据服务器写入每个数据的第二速率为5000个/秒。
[0071]步骤S120:判断所述第一数据是否大于所述第二数据；
[0072]可通过判断元数据服务器创建每个文件的第一速率是否大于数据服务器写入每个数据的第二速率，来判断数据服务器是否性能瓶颈，即判断分布式文件系统是否因为数据服务器性能瓶颈而产生性能瓶颈。
[0073]步骤S130:若是，则确定所述数据服务器性能瓶颈；
[0074]若判定元数据服务器创建每个文件的第一速率大于数据服务器写入每个数据的第二速率，则可确定数据服务器性能瓶颈，分布式文件系统因数据服务器性能瓶颈而产生性能瓶颈。
[0075]可选的，可在确定数据服务器性能瓶颈后，对该数据服务器进行性能优化，提高该数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0076]步骤S140:判断所述第一数据是否小于所述第二数据；
[0077]可通过判断元数据服务器创建每个文件的第一速率是否小于数据服务器写入每个数据的第二速率，来判断元数据服务器是否性能瓶颈，即判断分布式文件系统是否因为元数据服务器性能瓶颈而产生性能瓶颈。
[0078]步骤S150:若是，则确定所述元数据服务器性能瓶颈。
[0079]若判断元数据服务器创建每个文件的第一速率小于数据服务器写入每个数据的第二速率，则可确定该元数据服务器性能瓶颈，分布式文件系统因元数据服务器性能瓶颈而广生性能瓶颈。
[0080]可选的，可在确定元数据服务器性能瓶颈后，对该元数据服务器进行性能优化，提高该元数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0081]图2为本发明实施例提供的分布式文件系统性能瓶颈定位方法的另一流程图，参照图2，该分布式文件系统性能瓶颈定位方法可以包括:
[0082]步骤S200:通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建所有所述文件消耗的第一总时间；
[0083]通过数据服务器创建预设数目的文件，将可得到该元数据服务器创建所有文件消耗的总时间，得到第一总时间。
[0084]可选的，可设置元数据服务器记录开始创建文件的第一时间点，并记录创建完成所有文件的第二时间点，得到第一反馈信息，然后通过接收元数据服务器返回的第一反馈信息，根据该第一时间点、第二时间点来得到元数 据服务器创建所有文件消耗的总时间，得到第一总时间。
[0085]步骤S210:通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入所有所述数据消耗的第二总时间；
[0086]通过元数据服务器创建预设数目的文件后，可通过数据服务器在每个文件中分别写入预设大小的数据，然后得到该数据服务器写入所有数据消耗的第二总时间。
[0087]可选的，可设置元数据服务器记录开始写入数据的第三时间点，并写入完成所有数据的第四时间点，得到第二反馈信息，然后通过接收元数据服务器返回的第二反馈信息，根据该第三时间点、第四时间点来得到数据服务器写入所有数据消耗的第二总时间。
[0088]步骤S220:判断所述第一总时间是否小于所述第二总时间；
[0089]可通过判断元数据服务器创建所有文件消耗的第一总时间是否小于数据服务器写入所有数据消耗的第二总时间，来判断数据服务器是否性能瓶颈，即判断分布式文件系统是否因为数据服务器性能瓶颈而产生性能瓶颈。
[0090]步骤S230:若是，则确定所述数据服务器性能瓶颈；
[0091]若判定元数据服务器创建所有文件消耗的第一总时间小于数据服务器写入所有数据消耗的第二总时间，则可确定数据服务器性能瓶颈，分布式文件系统因数据服务器性能瓶颈而广生性能瓶颈。
[0092]可选的，可在确定数据服务器性能瓶颈后，对该数据服务器进行性能优化，提高该数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0093]步骤S240:判断所述第一总时间是否大于所述第二总时间；
[0094]可通过判断元数据服务器创建所有文件消耗的第一总时间是否大于数据服务器写入所有数据消耗的第二总时间，来判断元数据服务器是否性能瓶颈，即判断分布式文件系统是否因为元数据服务器性能瓶颈而产生性能瓶颈。
[0095]步骤S250:若是，则确定所述元数据服务器性能瓶颈。
[0096]若判定元数据服务器创建所有文件消耗的第一总时间大于数据服务器写入所有数据消耗的第二总时间，则可确定元数据服务器性能瓶颈，分布式文件系统因元数据服务器性能瓶颈而产生性能瓶颈。
[0097]可选的，可在确定元数据服务器性能瓶颈后，对该元数据服务器进行性能优化，提高该元数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0098]基于上述技术方案，本发明实施例提供的分布式文件系统性能瓶颈定位方法、装置和系统，通过元数据服务器创建预设数目的文件，得到元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，其中，写入的数据的预设大小小于预设阈值，写入该预设大小数据后的文件为小文件，得到数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若得到的第一数据大于得到的第二数据，或得到的第一总时间小于得到的第二总时间，则认为该分布式文件系统中数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈，若得到的第一数据小于得到的第二数据，或得到的第一总时间大于得到的第二总时间，则认为该分布式文件系统中元数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈。通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0099]可选的，图3示出了本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第一速率或第一总时间的方法流程图，参照图3，该得到第一速率或第一总时间的方法可以包括:
[0100]步骤S300:向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0101]分布式文件系统性能瓶颈定位装置可通过向元数据服务器发送文件建立请求，来请求该元数据服务器建立预设数目的文件。
[0102]步骤S310:接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点；
[0103]元数据服务器接收到文件建立请求后，将根据该文件建立请求建立预设数目的文件，记录开始创建文件的第一时间点和创建完成所有文件的第二时间点，得到第一反馈信息，然后将该第一反馈信息返回。相应的，分布式文件系统性能瓶颈定位装置将接收到该元数据服务器在创建完成所有预设数目的文件后返回的该第一反馈信息。
[0104]步骤S320:根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0105]在接收到元数据服务器返回的第一反馈信息后，将可得知该第一反馈信息中记录的第一时间点和第二时间点，可通过该第一时间点和第二时间点来得到该元数据服务器创建所有文件消耗的第一总时间，并根据第一时间点、第二时间点和创建的文件的预设数目得到该元数据服务器创建每个文件的第一速率。
[0106]可选的，在得知第一反馈信息中记录的第一时间点和第二时间点后，可通过将该第二时间点减去该第一时间点来得到该元数据服务器创建所有所述文件消耗的第一总时间。在得打该第一总时间后，可根据将该第一总时间与创建的文件的预设数目相除来得到该元数据服务器创建每个文件的第一速率。
[0107]若通过比较第一总时间和第二总时间来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第一时间点和第二时间点来得到该元数据服务器创建所有文件消耗的第一总时间;若通过比较第一速率和第二速率来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第一时间点、第二时间点和创建的文件的预设数目来得到该元数据服务器创建每个所述文件的第一速率。
[0108]可选的，图4示出了本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第二速率或第二总时间的方法流程图，参照图4，该得到第二速率或第二总时间的方法可以包括:
[0109]步骤S400:向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0110]分布式文件系统性能瓶颈定位装置可通过向数据服务器发送数据写入请求，来请求该数据服务器在每个文件中分别写入预设大小的数据。
[0111]步骤S410:接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点；
[0112]元数据服务器接收到数据写入请求后，将根据该数据写入请求在每个文件中分别写入预设大小的数据，记录开始写入数据的第三时间点和写入完成所有数据的第四时间点，得到第二反馈信息，然后将该第二反馈信息返回。相应的，分布式文件系统性能瓶颈定位装置将接收到元数据服务器写入所有数据后返回的该第二反馈信息。
[0113]步骤S420:根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0114]在接收到数据服务器返回的第二反馈信息后，将可得知该第二反馈信息中记录的第三时间点和第四时间点，可通过该第三时间点和第四时间点来得到该数据服务器写入所有数据消耗的第二总时间，并根据第三时间点、第四时间点和创建的文件的预设数目得到该数据服务器写入每个数据的第二速率。
[0115]可选的，在得知第二反馈信息中记录的第三时间点和第四时间点后，可通过将该第四时间点减去该第三时间点来得到该数据服务器写入所有数据消耗的第二总时间。在得打该第二总时间后，可根据将该第二总时间与创建的文件的预设数目相除来得到该数据服务器写入每个数据的第二速率。
[0116]若通过比较第一总时间和第二总时间来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第三时间点和第四时间点来得到该数据服务器创建所有文件消耗的第二总时间;若通过比较第一速率和第二速率来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈， 则根据第三时间点、第四时间点和创建的文件的预设数目来得到该数据服务器写入每个数据的第二速率。
[0117]本发明实施例提供的分布式文件系统性能瓶颈定位方法，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0118]下面对本发明实施例提供的分布式文件系统性能瓶颈定位装置进行介绍，下文描述的分布式文件系统性能瓶颈定位装置与上文描述的分布式文件系统性能瓶颈定位方法可相互对应参照。
[0119]图5为本发明实施例提供的分布式文件系统性能瓶颈定位装置的系统框图，参照图5，该分布式文件系统性能瓶颈定位装置可以包括:第一计算模块100、第二计算模块200和定位模块300;其中，
[0120]第一计算模块100，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0121]第二计算模块200，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0122]定位模块300，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。
[0123]可选的，图6示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置的另一系统框图，参照图6，该分布式文件系统性能瓶颈定位装置还可以包括:优化模块400。
[0124]优化模块400，用于当定位模块300确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当定位模块300确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0125]可选的，图7示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置中第一计算模块100的结构框图，参照图7，该第一计算模块100可以包括:第一发送单元110，第一接收单元120和第一计算单元130;其中，
[0126]第一发送单元110，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0127]第一接收单元120，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点；
[0128]第一计算单元130，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0129]可选的，图8示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置中第二计算模块200的结构框图，参照图8，该第二计算模块200可以包括:第二发送单元210，第二接收单元220和第二计算单元230;其中，
[0130]第二发送单元210，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0131]第二接收单元220，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点；
[0132]第二计算单元230，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0133]本发明实施例提供的分布式文件系统性能瓶颈定位装置，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0134]下面对本发明实施例提供的分布式文件系统性能瓶颈定位系统进行介绍，下文描述的分布式文件系统性能瓶颈定位系统基于上文描述的分布式文件系统性能瓶颈定位方法和上文描述的分布式文件系统性能瓶颈定位装置。
[0135]图9为本发明实施例提供的分布式文件系统性能瓶颈定位系统的系统框图，参照图9，该分布式文件系统性能瓶颈定位系统可以包括分布式文件系统性能瓶颈定位装置10、元数据服务器20和数据服务器30;其中，
[0136]分布式文件系统性能瓶颈定位装置10，用于通过所述元数据服务器20创建预设数目的文件，得到元数据服务器20创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0137]通过数据服务器30在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到数据服务器30写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0138]若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈；
[0139]元数据服务器20，用于创建预设数目的文件。
[0140]数据服务器30，用于在元数据服务器20创建的每个所述文件中分别写入预设大小的数据。
[0141]可选的，图10示出了本发明实施例提供的分布式文件系统性能瓶颈定位系统中元数据服务器20的结构框图，参照图10，该元数据服务器20可以包括:第三接收单元21、第一记录单元22和第三发送单元23;其中，
[0142]第三接收单元21，用于接收分布式文件系统性能瓶颈定位装置10发送的文件建立请求，根据所述文件建立请求创建预设数目的文件；
[0143]第一记录单元22，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息；
[0144]第三发送单元23，用于将所述第一反馈信息返回给分布式文件系统性能瓶颈定位装置10。
[0145]可选的，图11示出了本发明实施例提供的分布式文件系统性能瓶颈定位系统中数据服务器30的结构框图，参照图10，该数据服务器30可以包括:第四接收单元31、第二记录单元32和第四发送单元33;其中，
[0146]第四接收单元31，用于接收分布式文件系统性能瓶颈定位装置10发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据；
[0147]第二记录单元32，用于记录开始写入所述数据的第三时间点，和写入完成所有所述数据的第四时间点，得到第二反馈信息；
[0148]第四发送单元33，用于将所述第二反馈信息返回给分布式文件系统性能瓶颈定位装置10。
[0149]本发明实施例提供的分布式文件系统性能瓶颈定位系统，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0150]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0151]专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0152]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【主权项】
1.一种分布式文件系统性能瓶颈定位方法，其特征在于，包括: 通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间； 通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间； 若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈； 若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈。2.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于， 所述确认所述数据服务器性能瓶颈后还包括:对所述数据服务器进行性能优化，提高所述数据服务器性能。 所述确认所述元数据服务器性能瓶颈后还包括:对所述元数据服务器进行性能优化，提供所述元数据服务器性能。3.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于，所述通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间包括: 向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件； 接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点； 根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。4.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于，所述通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间包括: 向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据； 接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点； 根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。5.一种分布式文件系统性能瓶颈定位装置，其特征在于，包括:第一计算模块、第二计算模块和定位模块;其中， 所述第一计算模块，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间； 所述第二计算模块，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间； 所述定位模块，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。6.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，还包括:优化模块，用于当所述定位模块确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当所述定位模块确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。7.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，所述第一计算模块包括:第一发送单元，第一接收单元和第一计算单元;其中， 所述第一发送单元，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件； 所述第一接收单元，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点； 所述第一计算单元，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。8.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，所述第二计算模块包括:第二发送单元，第二接收单元和第二计算单元;其中， 所述第二发送单元，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据； 所述第二接收单元，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点； 所述第二计算单元，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。9.一种分布式文件系统性能瓶颈定位系统，其特征在于，包括:权利要求5-8任一项所述的分布式文件系统性能瓶颈定位装置、元数据服务器和数据服务器;其中， 所述分布式文件系统性能瓶颈定位装置，用于通过所述元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；通过所述数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈； 所述元数据服务器，用于创建预设数目的文件。 所述数据服务器，用于在所述元数据服务器创建的每个所述文件中分别写入预设大小的数据。10.根据权利要求9所述的分布式文件系统性能瓶颈定位系统，其特征在于， 所述元数据服务器包括:第三接收单元、第一记录单元和第三发送单元;其中， 所述第三接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的文件建立请求，根据所述文件建立请求创建预设数目的文件； 所述第一记录单元，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息； 所述第三发送单元，用于将所述第一反馈信息返回给所述分布式文件系统性能瓶颈定位装置； 所述数据服务器包括:第四接收单元、第二记录单元和第四发送单元;其中， 所述第四接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据； 所述第二记录单元，用于记录开始写入所述数据的第三时间点，和写入完成所有所述数据的第四时间点，得到第二反馈信息； 所述第四发送单元，用于将所述第二反馈信息返回给所述分布式文件系统性能瓶颈定位装置。
【专利摘要】本发明提供一种分布式文件系统性能瓶颈定位方法、装置和系统，其中方法包括：通过元数据服务器创建预设数目的文件，得到该元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，预设大小小于预设阈值，得到该数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若第一数据大于第二数据或第一总时间小于第二总时间，则确定数据服务器性能瓶颈，若第一数据小于第二数据或第一总时间大于第二总时间，则确定元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
【IPC分类】G06F17/30
【公开号】CN105488202
【申请号】CN201510906179
【发明人】张延良, 李雪生
【申请人】浪潮(北京)电子信息产业有限公司
【公开日】2016年4月13日
【申请日】2015年12月9日
【技术领域】
[0001]本发明涉及性能检测技术领域，特别是涉及一种分布式文件系统性能瓶颈定位方法、装置和系统。
【背景技术】
[0002]分布式文件系统由元数据服务器、数据服务器和客户端组成。一般来说，一个文件的操作首先进行元数据操作，其后是文件数据操作。目前，在读写大文件(文件大小大于或等于10MB的文件)的应用场合主要是考虑文件系统的吞吐量，也就是数据的性能。因为大文件应用元数据请求有限，主要压力是在数据存储上。而针对小文件(文件大小小于10MB的文件)的应用场合，特别是512KB到10ΜΒ之间的小文件，在系统应用中并不能直观地分析出整个分布式文件系统的瓶颈点。
【发明内容】
[0003]有鉴于此，本发明实施例提供一种分布式文件系统性能瓶颈定位方法、装置和系统，以解决现有技术中针对小文件的应用场合，在系统应用中并不能直观地分析出整个分布式文件系统的瓶颈点的问题。
[0004]为实现上述目的，本发明实施例提供如下技术方案:
[0005]—种分布式文件系统性能瓶颈定位方法，包括:
[0006]通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0007]通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0008]若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈；
[0009]若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈。
[0010]其中，所述确认所述数据服务器性能瓶颈后还包括:对所述数据服务器进行性能优化，提高所述数据服务器性能。
[0011]其中，所述确认所述元数据服务器性能瓶颈后还包括:对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0012]其中，所述通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间包括:
[0013]向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0014]接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点；
[0015]根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0016]其中，所述通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间包括:
[0017]向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0018]接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点；
[0019]根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0020]一种分布式文件系统性能瓶颈定位装置，包括:第一计算模块、第二计算模块和定位模块;其中，
[0021 ]所述第一计算模块，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0022]所述第二计算模块，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0023]所述定位模块，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。
[0024]其中，所述分布式文件系统性能瓶颈定位装置还包括:优化模块，用于当所述定位模块确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当所述定位模块确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0025]其中，所述第一计算模块包括:第一发送单元，第一接收单元和第一计算单元;其中，
[0026]所述第一发送单元，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0027]所述第一接收单元，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点；
[0028]所述第一计算单元，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0029]其中，所述第二计算模块包括:第二发送单元，第二接收单元和第二计算单元;其中，
[0030]所述第二发送单元，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0031]所述第二接收单元，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点；
[0032]所述第二计算单元，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0033]—种分布式文件系统性能瓶颈定位系统，包括:上述的分布式文件系统性能瓶颈定位装置、元数据服务器和数据服务器;其中，
[0034]所述分布式文件系统性能瓶颈定位装置，用于通过所述元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；通过所述数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间;若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈；
[0035]所述元数据服务器，用于创建预设数目的文件。
[0036]所述数据服务器，用于在所述元数据服务器创建的每个所述文件中分别写入预设大小的数据。
[0037]其中，所述元数据服务器包括:第三接收单元、第一记录单元和第三发送单元；其中，
[0038]所述第三接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的文件建立请求，根据所述文件建立请求创建预设数目的文件；
[0039]所述第一记录单元，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息；
[0040]所述第三发送单元，用于将所述第一反馈信息返回给所述分布式文件系统性能瓶颈定位装置；
[0041]其中，所述数据服务器包括:第四接收单元、第二记录单元和第四发送单元;其中，
[0042]所述第四接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据；
[0043]所述第二记录单元，用于记录开始写入所述数据的第三时间点，和写入完成所 有所述数据的第四时间点，得到第二反馈信息；
[0044]所述第四发送单元，用于将所述第二反馈信息返回给所述分布式文件系统性能瓶颈定位装置。
[0045]基于上述技术方案，本发明实施例提供的分布式文件系统性能瓶颈定位方法、装置和系统，通过元数据服务器创建预设数目的文件，得到元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，其中，写入的数据的预设大小小于预设阈值，写入该预设大小数据后的文件为小文件，得到数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若得到的第一数据大于得到的第二数据，或得到的第一总时间小于得到的第二总时间，则认为该分布式文件系统中数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈，若得到的第一数据小于得到的第二数据，或得到的第一总时间大于得到的第二总时间，则认为该分布式文件系统中元数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈。通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
【附图说明】
[0046]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0047]图1为本发明实施例提供的分布式文件系统性能瓶颈定位方法的流程图；
[0048]图2为本发明实施例提供的分布式文件系统性能瓶颈定位方法的另一流程图；
[0049]图3为本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第一速率或第一总时间的方法流程图；
[0050]图4为本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第二速率或第二总时间的方法流程图；
[0051 ]图5为本发明实施例提供的分布式文件系统性能瓶颈定位装置的系统框图；
[0052]图6为本发明实施例提供的分布式文件系统性能瓶颈定位装置的另一系统框图；
[0053]图7为本发明实施例提供的分布式文件系统性能瓶颈定位装置中第一计算模块的结构框图；
[0054]图8为本发明实施例提供的分布式文件系统性能瓶颈定位装置中第二计算模块的结构框图；
[0055]图9为本发明实施例提供的分布式文件系统性能瓶颈定位系统的系统框图；
[0056]图10为本发明实施例提供的分布式文件系统性能瓶颈定位系统中元数据服务器的结构框图；
[0057]图11为本发明实施例提供的分布式文件系统性能瓶颈定位系统中数据服务器的结构框图。
【具体实施方式】
[0058]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]图1为本发明实施例提供的分布式文件系统性能瓶颈定位方法的流程图，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点;参照图1，该分布式文件系统性能瓶颈定位方法可以包括:
[0060]步骤S100:通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率；
[0061 ]通过元数据服务器创建预设数目的文件，将可得到该元数据服务器创建每个文件的第一速率。
[0062]可选的，可通过向元数据服务器发送文件建立请求，来请求该元数据服务器建立预设数目的文件。
[0063]可选的，可设置元数据服务器记录开始创建文件的第一时间点，并记录创建完成所有文件的第二时间点，得到第一反馈信息，然后通过接收元数据服务器返回的第一反馈信息，根据该第一时间点、第二时间点来得到元数据服务器创建所有文件消耗的总时间，得到第一总时间。
[0064]在得到第一总时间后，便可根据该第一总时间和预设数目得到元数据服务器创建每个文件的第一速率。例如，若通过元数据服务器创建100000个文件，用时30秒，即第一总时间为30秒，则可得到该元数据服务器创建每个文件的第一速率为3333个/秒。
[0065]步骤S110:通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率；
[0066]通过元数据服务器创建预设数目的文件后，可通过数据服务器在每个文件中分别写入预设大小的数据，然后得到该数据服务器写入每个数据的第二速率。
[0067]其中，数据服务器写入的数据的大小小于预设阈值，可保证数据服务器写入的数据的为小数据。
[0068]可选的，可通过向元数据服务器发送数据写入请求，来请求该元数据服务器在每个文件中分别写入预设大小的数据。
[0069]可选的，可设置元数据服务器记录开始写入数据的第三时间点，并写入完成所有数据的第四时间点，得到第二反馈信息，然后通过接收元数据服务器返回的第二反馈信息，根据该第三时间点、第四时间点来得到数据服务器写入所有数据消耗的第二总时间。
[0070]在得到第二总时间后，便可根据该第二总时间和预设数目得到数据服务器写入每个数据的第二速率。例如，若通过数据服务器写入100000个大小为512KB的数据，用时20秒，即第二总时间为20秒，则可得到该数据服务器写入每个数据的第二速率为5000个/秒。
[0071]步骤S120:判断所述第一数据是否大于所述第二数据；
[0072]可通过判断元数据服务器创建每个文件的第一速率是否大于数据服务器写入每个数据的第二速率，来判断数据服务器是否性能瓶颈，即判断分布式文件系统是否因为数据服务器性能瓶颈而产生性能瓶颈。
[0073]步骤S130:若是，则确定所述数据服务器性能瓶颈；
[0074]若判定元数据服务器创建每个文件的第一速率大于数据服务器写入每个数据的第二速率，则可确定数据服务器性能瓶颈，分布式文件系统因数据服务器性能瓶颈而产生性能瓶颈。
[0075]可选的，可在确定数据服务器性能瓶颈后，对该数据服务器进行性能优化，提高该数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0076]步骤S140:判断所述第一数据是否小于所述第二数据；
[0077]可通过判断元数据服务器创建每个文件的第一速率是否小于数据服务器写入每个数据的第二速率，来判断元数据服务器是否性能瓶颈，即判断分布式文件系统是否因为元数据服务器性能瓶颈而产生性能瓶颈。
[0078]步骤S150:若是，则确定所述元数据服务器性能瓶颈。
[0079]若判断元数据服务器创建每个文件的第一速率小于数据服务器写入每个数据的第二速率，则可确定该元数据服务器性能瓶颈，分布式文件系统因元数据服务器性能瓶颈而广生性能瓶颈。
[0080]可选的，可在确定元数据服务器性能瓶颈后，对该元数据服务器进行性能优化，提高该元数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0081]图2为本发明实施例提供的分布式文件系统性能瓶颈定位方法的另一流程图，参照图2，该分布式文件系统性能瓶颈定位方法可以包括:
[0082]步骤S200:通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建所有所述文件消耗的第一总时间；
[0083]通过数据服务器创建预设数目的文件，将可得到该元数据服务器创建所有文件消耗的总时间，得到第一总时间。
[0084]可选的，可设置元数据服务器记录开始创建文件的第一时间点，并记录创建完成所有文件的第二时间点，得到第一反馈信息，然后通过接收元数据服务器返回的第一反馈信息，根据该第一时间点、第二时间点来得到元数 据服务器创建所有文件消耗的总时间，得到第一总时间。
[0085]步骤S210:通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入所有所述数据消耗的第二总时间；
[0086]通过元数据服务器创建预设数目的文件后，可通过数据服务器在每个文件中分别写入预设大小的数据，然后得到该数据服务器写入所有数据消耗的第二总时间。
[0087]可选的，可设置元数据服务器记录开始写入数据的第三时间点，并写入完成所有数据的第四时间点，得到第二反馈信息，然后通过接收元数据服务器返回的第二反馈信息，根据该第三时间点、第四时间点来得到数据服务器写入所有数据消耗的第二总时间。
[0088]步骤S220:判断所述第一总时间是否小于所述第二总时间；
[0089]可通过判断元数据服务器创建所有文件消耗的第一总时间是否小于数据服务器写入所有数据消耗的第二总时间，来判断数据服务器是否性能瓶颈，即判断分布式文件系统是否因为数据服务器性能瓶颈而产生性能瓶颈。
[0090]步骤S230:若是，则确定所述数据服务器性能瓶颈；
[0091]若判定元数据服务器创建所有文件消耗的第一总时间小于数据服务器写入所有数据消耗的第二总时间，则可确定数据服务器性能瓶颈，分布式文件系统因数据服务器性能瓶颈而广生性能瓶颈。
[0092]可选的，可在确定数据服务器性能瓶颈后，对该数据服务器进行性能优化，提高该数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0093]步骤S240:判断所述第一总时间是否大于所述第二总时间；
[0094]可通过判断元数据服务器创建所有文件消耗的第一总时间是否大于数据服务器写入所有数据消耗的第二总时间，来判断元数据服务器是否性能瓶颈，即判断分布式文件系统是否因为元数据服务器性能瓶颈而产生性能瓶颈。
[0095]步骤S250:若是，则确定所述元数据服务器性能瓶颈。
[0096]若判定元数据服务器创建所有文件消耗的第一总时间大于数据服务器写入所有数据消耗的第二总时间，则可确定元数据服务器性能瓶颈，分布式文件系统因元数据服务器性能瓶颈而产生性能瓶颈。
[0097]可选的，可在确定元数据服务器性能瓶颈后，对该元数据服务器进行性能优化，提高该元数据服务器性能，来解决该分布式文件系统的性能瓶颈。
[0098]基于上述技术方案，本发明实施例提供的分布式文件系统性能瓶颈定位方法、装置和系统，通过元数据服务器创建预设数目的文件，得到元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，其中，写入的数据的预设大小小于预设阈值，写入该预设大小数据后的文件为小文件，得到数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若得到的第一数据大于得到的第二数据，或得到的第一总时间小于得到的第二总时间，则认为该分布式文件系统中数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈，若得到的第一数据小于得到的第二数据，或得到的第一总时间大于得到的第二总时间，则认为该分布式文件系统中元数据服务器性能瓶颈，可通过对该数据服务器进行性能优化来解决该分布式文件系统的性能瓶颈。通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0099]可选的，图3示出了本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第一速率或第一总时间的方法流程图，参照图3，该得到第一速率或第一总时间的方法可以包括:
[0100]步骤S300:向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0101]分布式文件系统性能瓶颈定位装置可通过向元数据服务器发送文件建立请求，来请求该元数据服务器建立预设数目的文件。
[0102]步骤S310:接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点；
[0103]元数据服务器接收到文件建立请求后，将根据该文件建立请求建立预设数目的文件，记录开始创建文件的第一时间点和创建完成所有文件的第二时间点，得到第一反馈信息，然后将该第一反馈信息返回。相应的，分布式文件系统性能瓶颈定位装置将接收到该元数据服务器在创建完成所有预设数目的文件后返回的该第一反馈信息。
[0104]步骤S320:根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0105]在接收到元数据服务器返回的第一反馈信息后，将可得知该第一反馈信息中记录的第一时间点和第二时间点，可通过该第一时间点和第二时间点来得到该元数据服务器创建所有文件消耗的第一总时间，并根据第一时间点、第二时间点和创建的文件的预设数目得到该元数据服务器创建每个文件的第一速率。
[0106]可选的，在得知第一反馈信息中记录的第一时间点和第二时间点后，可通过将该第二时间点减去该第一时间点来得到该元数据服务器创建所有所述文件消耗的第一总时间。在得打该第一总时间后，可根据将该第一总时间与创建的文件的预设数目相除来得到该元数据服务器创建每个文件的第一速率。
[0107]若通过比较第一总时间和第二总时间来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第一时间点和第二时间点来得到该元数据服务器创建所有文件消耗的第一总时间;若通过比较第一速率和第二速率来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第一时间点、第二时间点和创建的文件的预设数目来得到该元数据服务器创建每个所述文件的第一速率。
[0108]可选的，图4示出了本发明实施例提供的分布式文件系统性能瓶颈定位方法中得到第二速率或第二总时间的方法流程图，参照图4，该得到第二速率或第二总时间的方法可以包括:
[0109]步骤S400:向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0110]分布式文件系统性能瓶颈定位装置可通过向数据服务器发送数据写入请求，来请求该数据服务器在每个文件中分别写入预设大小的数据。
[0111]步骤S410:接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点；
[0112]元数据服务器接收到数据写入请求后，将根据该数据写入请求在每个文件中分别写入预设大小的数据，记录开始写入数据的第三时间点和写入完成所有数据的第四时间点，得到第二反馈信息，然后将该第二反馈信息返回。相应的，分布式文件系统性能瓶颈定位装置将接收到元数据服务器写入所有数据后返回的该第二反馈信息。
[0113]步骤S420:根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0114]在接收到数据服务器返回的第二反馈信息后，将可得知该第二反馈信息中记录的第三时间点和第四时间点，可通过该第三时间点和第四时间点来得到该数据服务器写入所有数据消耗的第二总时间，并根据第三时间点、第四时间点和创建的文件的预设数目得到该数据服务器写入每个数据的第二速率。
[0115]可选的，在得知第二反馈信息中记录的第三时间点和第四时间点后，可通过将该第四时间点减去该第三时间点来得到该数据服务器写入所有数据消耗的第二总时间。在得打该第二总时间后，可根据将该第二总时间与创建的文件的预设数目相除来得到该数据服务器写入每个数据的第二速率。
[0116]若通过比较第一总时间和第二总时间来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，则根据第三时间点和第四时间点来得到该数据服务器创建所有文件消耗的第二总时间;若通过比较第一速率和第二速率来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈， 则根据第三时间点、第四时间点和创建的文件的预设数目来得到该数据服务器写入每个数据的第二速率。
[0117]本发明实施例提供的分布式文件系统性能瓶颈定位方法，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0118]下面对本发明实施例提供的分布式文件系统性能瓶颈定位装置进行介绍，下文描述的分布式文件系统性能瓶颈定位装置与上文描述的分布式文件系统性能瓶颈定位方法可相互对应参照。
[0119]图5为本发明实施例提供的分布式文件系统性能瓶颈定位装置的系统框图，参照图5，该分布式文件系统性能瓶颈定位装置可以包括:第一计算模块100、第二计算模块200和定位模块300;其中，
[0120]第一计算模块100，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0121]第二计算模块200，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0122]定位模块300，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。
[0123]可选的，图6示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置的另一系统框图，参照图6，该分布式文件系统性能瓶颈定位装置还可以包括:优化模块400。
[0124]优化模块400，用于当定位模块300确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当定位模块300确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。
[0125]可选的，图7示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置中第一计算模块100的结构框图，参照图7，该第一计算模块100可以包括:第一发送单元110，第一接收单元120和第一计算单元130;其中，
[0126]第一发送单元110，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件；
[0127]第一接收单元120，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点；
[0128]第一计算单元130，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。
[0129]可选的，图8示出了本发明实施例提供的分布式文件系统性能瓶颈定位装置中第二计算模块200的结构框图，参照图8，该第二计算模块200可以包括:第二发送单元210，第二接收单元220和第二计算单元230;其中，
[0130]第二发送单元210，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据；
[0131]第二接收单元220，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点；
[0132]第二计算单元230，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。
[0133]本发明实施例提供的分布式文件系统性能瓶颈定位装置，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0134]下面对本发明实施例提供的分布式文件系统性能瓶颈定位系统进行介绍，下文描述的分布式文件系统性能瓶颈定位系统基于上文描述的分布式文件系统性能瓶颈定位方法和上文描述的分布式文件系统性能瓶颈定位装置。
[0135]图9为本发明实施例提供的分布式文件系统性能瓶颈定位系统的系统框图，参照图9，该分布式文件系统性能瓶颈定位系统可以包括分布式文件系统性能瓶颈定位装置10、元数据服务器20和数据服务器30;其中，
[0136]分布式文件系统性能瓶颈定位装置10，用于通过所述元数据服务器20创建预设数目的文件，得到元数据服务器20创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；
[0137]通过数据服务器30在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到数据服务器30写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；
[0138]若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈；
[0139]元数据服务器20，用于创建预设数目的文件。
[0140]数据服务器30，用于在元数据服务器20创建的每个所述文件中分别写入预设大小的数据。
[0141]可选的，图10示出了本发明实施例提供的分布式文件系统性能瓶颈定位系统中元数据服务器20的结构框图，参照图10，该元数据服务器20可以包括:第三接收单元21、第一记录单元22和第三发送单元23;其中，
[0142]第三接收单元21，用于接收分布式文件系统性能瓶颈定位装置10发送的文件建立请求，根据所述文件建立请求创建预设数目的文件；
[0143]第一记录单元22，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息；
[0144]第三发送单元23，用于将所述第一反馈信息返回给分布式文件系统性能瓶颈定位装置10。
[0145]可选的，图11示出了本发明实施例提供的分布式文件系统性能瓶颈定位系统中数据服务器30的结构框图，参照图10，该数据服务器30可以包括:第四接收单元31、第二记录单元32和第四发送单元33;其中，
[0146]第四接收单元31，用于接收分布式文件系统性能瓶颈定位装置10发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据；
[0147]第二记录单元32，用于记录开始写入所述数据的第三时间点，和写入完成所有所述数据的第四时间点，得到第二反馈信息；
[0148]第四发送单元33，用于将所述第二反馈信息返回给分布式文件系统性能瓶颈定位装置10。
[0149]本发明实施例提供的分布式文件系统性能瓶颈定位系统，通过比较元数据服务器创建每个文件的第一速率和数据服务器写入每个数据的第二速率，或比较元数据服务器创建所有文件消耗的第一总时间和数据服务器写入所有数据消耗的第二总时间，来确定是数据服务器性能瓶颈还是元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
[0150]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0151]专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0152]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
【主权项】
1.一种分布式文件系统性能瓶颈定位方法，其特征在于，包括: 通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间； 通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间； 若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈； 若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈。2.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于， 所述确认所述数据服务器性能瓶颈后还包括:对所述数据服务器进行性能优化，提高所述数据服务器性能。 所述确认所述元数据服务器性能瓶颈后还包括:对所述元数据服务器进行性能优化，提供所述元数据服务器性能。3.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于，所述通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间包括: 向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件； 接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建完成所有所述文件的第二时间点； 根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。4.根据权利要求1所述的分布式文件系统性能瓶颈定位方法，其特征在于，所述通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间包括: 向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据； 接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入完成所有所述数据的第四时间点； 根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。5.一种分布式文件系统性能瓶颈定位装置，其特征在于，包括:第一计算模块、第二计算模块和定位模块;其中， 所述第一计算模块，用于通过元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间； 所述第二计算模块，用于通过数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间； 所述定位模块，用于当所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间时，确定所述数据服务器性能瓶颈，当所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间时，确定所述元数据服务器性能瓶颈。6.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，还包括:优化模块，用于当所述定位模块确定所述数据服务器性能瓶颈后，对所述数据服务器进行性能优化，提高所述数据服务器性能，当所述定位模块确认所述元数据服务器性能瓶颈后，对所述元数据服务器进行性能优化，提供所述元数据服务器性能。7.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，所述第一计算模块包括:第一发送单元，第一接收单元和第一计算单元;其中， 所述第一发送单元，用于向所述元数据服务器发送文件建立请求，请求所述元数据服务器建立预设数目的文件； 所述第一接收单元，用于接收所述元数据服务器创建所有预设数目的文件后返回的第一反馈信息，所述第一反馈信息包括所述元数据服务器开始创建所述文件的第一时间点，和所述元数据服务器创建所有所述文件的第二时间点； 所述第一计算单元，根据所述第一时间点和第二时间点得到所述元数据服务器创建所有所述文件消耗的第一总时间，或根据所述第一时间点、第二时间点和所述预设数目得到所述元数据服务器创建每个所述文件的第一速率。8.根据权利要求5所述的分布式文件系统性能瓶颈定位装置，其特征在于，所述第二计算模块包括:第二发送单元，第二接收单元和第二计算单元;其中， 所述第二发送单元，用于向所述数据服务器发送数据写入请求，请求所述数据服务器在每个所述文件中分别写入预设大小的数据； 所述第二接收单元，用于接收所述数据服务器写入所有所述数据后返回的第二反馈信息，所述第二反馈信息包括所述数据服务器开始写入所述数据的第三时间点，和所述数据服务器写入所有所述数据的第四时间点； 所述第二计算单元，根据所述第三时间点和第四时间点得到所述数据服务器写入所有所述数据消耗的第二总时间，或根据所述第三时间点、第四时间点和所述预设数目得到所述数据服务器写入每个所述数据的第二速率。9.一种分布式文件系统性能瓶颈定位系统，其特征在于，包括:权利要求5-8任一项所述的分布式文件系统性能瓶颈定位装置、元数据服务器和数据服务器;其中， 所述分布式文件系统性能瓶颈定位装置，用于通过所述元数据服务器创建预设数目的文件，得到所述元数据服务器创建每个所述文件的第一速率或创建所有所述文件消耗的第一总时间；通过所述数据服务器在每个所述文件中分别写入预设大小的数据，所述预设大小小于预设阈值，得到所述数据服务器写入每个所述数据的第二速率或写入所有所述数据消耗的第二总时间；若所述第一数据大于所述第二数据或所述第一总时间小于所述第二总时间，则确定所述数据服务器性能瓶颈;若所述第一数据小于所述第二数据或所述第一总时间大于所述第二总时间，则确定所述元数据服务器性能瓶颈； 所述元数据服务器，用于创建预设数目的文件。 所述数据服务器，用于在所述元数据服务器创建的每个所述文件中分别写入预设大小的数据。10.根据权利要求9所述的分布式文件系统性能瓶颈定位系统，其特征在于， 所述元数据服务器包括:第三接收单元、第一记录单元和第三发送单元;其中， 所述第三接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的文件建立请求，根据所述文件建立请求创建预设数目的文件； 所述第一记录单元，用于记录开始创建所述文件的第一时间点，和创建完成所有所述文件的第二时间点，得到第一反馈信息； 所述第三发送单元，用于将所述第一反馈信息返回给所述分布式文件系统性能瓶颈定位装置； 所述数据服务器包括:第四接收单元、第二记录单元和第四发送单元;其中， 所述第四接收单元，用于接收所述分布式文件系统性能瓶颈定位装置发送的数据写入请求，根据在每个所述文件中分别写入预设大小的数据； 所述第二记录单元，用于记录开始写入所述数据的第三时间点，和写入完成所有所述数据的第四时间点，得到第二反馈信息； 所述第四发送单元，用于将所述第二反馈信息返回给所述分布式文件系统性能瓶颈定位装置。
【专利摘要】本发明提供一种分布式文件系统性能瓶颈定位方法、装置和系统，其中方法包括：通过元数据服务器创建预设数目的文件，得到该元数据服务器创建每个文件的第一速率或创建所有文件消耗的第一总时间，通过数据服务器在每个文件中分别写入预设大小的数据，预设大小小于预设阈值，得到该数据服务器写入每个数据的第二速率或写入所有数据消耗的第二总时间，若第一数据大于第二数据或第一总时间小于第二总时间，则确定数据服务器性能瓶颈，若第一数据小于第二数据或第一总时间大于第二总时间，则确定元数据服务器性能瓶颈，能够直观地分析出整个分布式文件系统的瓶颈点。
【IPC分类】G06F17/30
【公开号】CN105488202
【申请号】CN201510906179
【发明人】张延良, 李雪生
【申请人】浪潮(北京)电子信息产业有限公司
【公开日】2016年4月13日
【申请日】2015年12月9日
最新回复(0)