大数据的写入方法和装置、读取方法和装置及处理系统的制作方法
大数据的写入方法和装置、读取方法和装置及处理系统的制作方法
【专利摘要】本发明实施例提供了一种大数据的写入方法和装置、读取方法和装置及处理系统，其中，写入方法包括：接收写入请求；依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；分别将所述多条子数据写入指定的存储介质中；在各条子数据中添加当前子数据在所述存储介质中的存储位置。本发明可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【专利说明】大数据的写入方法和装置、读取方法和装置及处理系统
【技术领域】
[0001]本发明涉及通信【技术领域】，特别是涉及一种大数据的写入方法，一种大数据的读取方法，一种大数据的写入装置，一种大数据的读取装置，以及，一种大数据的处理系统。
【背景技术】
[0002]随着互联网等信息技术的发展，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。所谓大数据，是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
[0003]大数据的意义在于它是伴随着人类日益普及的网络行为而产生的，受到相关部门、企业采集的，蕴含着数据生产者的真实意图、喜好的非结构化和传统意义的数据信息。因此，快速存储和读取大数据，尤其是对大数据进行更新，是获得有价值的信息的手段之一、[0004]然而，由于结构化和非结构化的数据量持续增长，以及分析数据的来源更加多样化，此前的大数据存储、读取以及更新技术已经无法满足大数据应用的需要。通常，对于大数据的存储、读取以及更新，主要采用数据库(DataBase，DB)的方式来完成，用户通过数据库管理系统(DataBase Management System, DBMS)对数据库进行管理，引入数据库后的计算机系统则称为数据库系统(DataBase System, DBS)，但是，数据库系统在存储和读取大数据，尤其是对大数据进行频繁地更新时，由于磁盘和内存之间的数据传输需要进行复杂的转换运算，导致数据存取速度缓慢，效率下降。
[0005]例如，某个商家通过短信群发平台发送短信给用户时。商家可能提交了 5000万条甚至更多短信到短信群发平台，这时就需要记录短信内容和所有用户的手机号码，状态为“未发送”。因为短信需要一条一条地发送给用户，所以每发送一条短信就要更新该条短信的状态为“已发送”，剩余的短信仍然为“未发送”。根据用户的接收情况在几秒内又会将状态更新为“成功送达”、“失败”、“关机”等状态，这样每秒就会有数万条数据需要更新。若采用数据库系统存储、读取大数据，则需要通过复杂的算法，例如哈希算法等，计算该大数据所在磁盘的位置，以及各种存储策略的验证，容易造成时间的耗费，从而导致数据存取速度缓慢，系统性能降低，效率严重下降。
[0006]因此，目前需要本领域技术人员迫切解决的一个技术问题就是:提供一种大数据的写入方法和装置、读取方法和装置及处理系统，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【发明内容】
[0007]本发明实施例所要解决的技术问题是提供一种大数据的写入方法和读取方法，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0008]相应的，本发明实施例还提供了一种大数据的写入装置、读取装置以及一种大数据的处理系统，用以保证上述方法的实现及应用。
[0009]为了解决上述问题，本发明公开了一种大数据的写入方法，包括:
[0010]接收写入请求；
[0011]依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；
[0012]分别将所述多条子数据写入指定的存储介质中；
[0013]在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0014]优选地，所述方法还包括:
[0015]当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0016]在所述存储位置上对所述一条或多条子数据进行更新。
[0017]为了解决上述问题，本发明还公开了一种大数据的读取方法，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述方法包括:
[0018]接收读取请求；
[0019]依据所述读取请求确定待读取的一条或多条子数据；
[0020]从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0021 ] 从所述存储位置读取所述一条或多条子数据。
[0022]优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括:
[0023]采用所述读取请求遍历所述多条子数据；
[0024]确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0025]优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括:
[0026]采用所述读取请求计算对应的一条或多条子数据的起始位置；
[0027]确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0028]依据本发明的实施例，公开了一种大数据的写入装置，包括:
[0029]写入请求接收模块，用于接收写入请求；
[0030]大数据切分模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0031]多条子数据写入模块，用于分别将所述多条子数据写入指定的存储介质中；
[0032]存储位置添加模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0033]优选地，所述装置还包括:
[0034]第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0035]更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
[0036]依据本发明的实施例，还公开了一种大数据的读取装置，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述装置包括:
[0037]读取请求接收模块，用于接收读取请求；
[0038]待读取子数据确定模块，用于依据所述读取请求确定待读取的一条或多条子数据；
[0039]第二存储位置提取模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0040]子数据读取模块，用于从所述存储位置读取所述一条或多条子数据。
[0041]优选地，所述待读取子数据确定模块包括:
[0042]多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据；
[0043]待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0044]依据本发明的实施例，还公开了一种大数据的处理系统，包括大数据的写入装置及大数据的读取装置，其中，
[0045]所述大数据的写入装置包括:
[0046]接收写入请求模块，用于接收写入请求；
[0047]切分大数据模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0048]写入多条子数据模块，用于分别将所述多条子数据写入指定的存储介质中；
[0049]添加存储位置模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置；
[0050]所述大数据的读取装置包括:
[0051]接收读取请求模块，用于接收读取请求；
[0052]确定待读取子数据模块，用于依据所述读取请求确定待读取的一条或多条子数据；
[0053]提取存储位置模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0054]读取子数据模块，用于从所述存储位置读取所述一条或多条子数据。
[0055]与现有技术相比，本发明实施例包括以下优点:
[0056]本发明通过采用线性方式直接将格式化的大数据写入指定的存储介质中，大数据被切分为多条子数据，多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，可以使得大数据的存储更加有序且不浪费空间，切分为多条子数据便于写入，通过把存储位置置于多条子数据自身内部，从而可以实现将存储位置映射到内存的目的。因此，可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0057]进一步地，本发明在对大数据进行更新时，由于每条子数据本身记录有自身的存储位置，可以直接按照所记录的存储位置进行更新，从而避免了数据库中复杂的定位算法及各种存储策略的验证，因此，大数据的更新变得简单高效，效率明显提升，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0058]更进一步地，本发明在读取时，由于每条子数据本身记录有自身的存储位置，当确定出待读取的一条或多条子数据时，存储位置即可被提取出来，按照存储位置将所述待读取的一条或多条子数据读取出来。由于对子数据进行读取处理必然是在内存中进行，然而，子数据的长度一致使得读取数据时可以有规律地快速获取待读取的一条或多条子数据的存储位置，从而避免了读取时的线性检索，也就可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0059]尤其地，本发明多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据及子数据的字段的存储位置呈线性排列，使得待读取的一条或多条子数据可以通过线性匹配或者直接定位的方式确定出，此外，为了减少IO次数以达到提升性能的目的，采取批量读入的机制，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0060]最后，本发明通过建立多条子数据与存储位置的映射关系，既可以保证定位快速，又可以便于程序实现，由于存储的大数据的数据量会比较大，映射关系只需要进行简单加减乘除即可得到，因此还可以保证占用的CPU、内存等系统资源较少。从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【专利附图】
【附图说明】
[0061]图1示出了本发明的一种大数据的写入方法实施例的步骤流程图；
[0062]图2示出了本发明的一种大数据的读取方法实施例的步骤流程图；
[0063]图3示出了本发明的一种大数据的写入装置实施例的结构框图；
[0064]图4示出了本发明的一种大数据的读取装置实施例的结构框图；
[0065]图5示出了本发明的一种大数据的处理系统实施例的结构框图。
【具体实施方式】
[0066]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0067]本发明实施例的核心构思之一在于，存储时，将大数据切分为长度一致的多条子数据，并且，多条子数据中相同字段对应的数据部分在每条子数据中的位置固定，同时，将当前子数据在所述存储介质中的存储位置添加到各条子数据中，因此，在读取时，根据等差数列的性质便捷的计算出待读取的一条或多条子数据的存储位置，从而快速读取，在更新时，由于已知已读取的一条或多条子数据的存储位置，因此，可以直接按照该存储位置进行更新，从而可以在频繁更新大数据时，对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0068]参照图1，示出了本发明的一种大数据的写入方法实施例的步骤流程图，具体可以包括如下步骤:[0069]步骤101，接收写入请求；
[0070]在具体实施中，当接收到写入请求时，即有大数据需要写入指定的存储介质。
[0071]步骤102，依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；
[0072]在实际应用中，可以将需要写入的大数据进行切分，切分的规则可以是切分出的多条子数据的长度一致，并且，多条子数据中相同字段对应的数据部分在每条子数据中的位置固定，类似于对齐操作。例如:假设切分出的多条子数据的长度为10个字节，每条子数据都包括字段1、字段2、字段3、字段4这四个字段对应的数据，其中，字段I占一个字节，字段2占两个字节，字段3占三个字节，字段4占四个字节，若子数据I的格式按照字段1、字段2、字段3、字段4这样固定的位置排序，则子数据η的格式也按照字段1、字段2、字段3、字段4这样固定的位置排序。
[0073]更具体的，例如:存储一条短信数据，其中包含“手机号”、“短信内容”、“用户姓名”等等字段，每条数据本身的“短信内容”长度不是固定的，但为了便于存储，可以将该字段“格式化”为固定长度，即用可能出现的最大值——70个汉字，不足70个汉字的短信就以“NULL”来占位。
[0074]步骤103，分别将所述多条子数据写入指定的存储介质中；
[0075]在具体应用中，当需要写入的大数据按上述步骤切分为多条子数据之后，可以分别将该多条子数据写入指定的存储介质中。
[0076]步骤104，在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0077]在本发明具体应用中的一种示例中，当各条子数据写入指定的存储介质中后，各条子数据将获得各自的存储位置，将当前各条子数据在所述存储介质中的存储位置添加到对应的各条子数据中，完成当次存储。
[0078]需要说明的是，本发明对于大数据的可靠性从两方面进行保证，一是软件层面，通过在内部进行数据完整性的校验，例如MD5 (Message Digest Algorithm MD5,消息摘要算法第五版)校验，奇偶校验等等校验方法保证数据的可靠性；二是硬件层面，利用“磁盘阵列”，例如RAIDl (Redundant Array of IndependentDisks,独立磁盘冗余阵列)来保证数据的可靠性。
[0079]磁盘阵列是一种具体应用(软件)无关的存储技术，可以简单地理解为磁盘备份。当某磁盘本身出现物理损坏时，磁盘阵列可以保证数据不会丢失仍然能继续读写。实际上是多个磁盘冗余存储数据，所以即使其中一个磁盘损坏了，数据仍不会受影响。
[0080]本发明通过采用线性方式直接将格式化的大数据写入指定的存储介质中，大数据被切分为多条子数据，多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，可以使得大数据的存储更加有序且不浪费空间，切分为多条子数据便于写入，通过把存储位置置于多条子数据自身内部，从而可以实现将存储位置映射到内存的目的。因此，可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0081]在本发明的一种优选实施例中，还可以包括:
[0082]当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0083]在所述存储位置上对所述一条或多条子数据进行更新。
[0084]需要说明的是，需要更新一条或多条子数据时，更新必然是针对读取过的子数据，所以，存储位置在更新之前就已经读取出来了。
[0085]由于每条子数据本身记录有自身的存储位置，所以更新变得简单高效，直接按照所记录的存储位置改写存储介质中的文件即可，免去了数据库中复杂的定位算法及各种存储策略的验证，所以效率提升会非常明显。
[0086]本发明在对大数据进行更新时，由于每条子数据本身记录有自身的存储位置，可以直接按照所记录的存储位置进行更新，从而避免了数据库中复杂的定位算法及各种存储策略的验证，因此，大数据的更新变得简单高效，效率明显提升，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0087]本发明通过建立多条子数据与存储位置的映射关系，既可以保证定位快速，又可以便于程序实现，由于存储的大数据的数据量会比较大，映射关系只需要进行简单加减乘除即可得到，因此还可以保证占用的CPU、内存等系统资源较少。从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0088]参照图2，示出了本发明的一种大数据的读取方法实施例的步骤流程图，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，具体可以包括如下步骤:
[0089]步骤201，接收读取请求；
[0090]在实际应用中，读取请求可以根据用户的查询条件生成，读取请求可以是请求读取具体的某一条子数据，例如:读取请求需要读取第N条子数据，其中，N为正整数；读取请求也可以是请求读取具有与读取请求匹配字段的子数据，例如:读取请求需要读取具有与某个关键词匹配的子数据。当然，读取请求也可以是其他形式，本发明实施例对此无需加以限制。
[0091]当读取请求生成后，进行接收。
[0092]步骤202，依据所述读取请求确定待读取的一条或多条子数据；
[0093]在具体实施中，由于所有的读取请求所请求读取子数据的条数不尽相同，可以对读取请求进行解析，解析出该读取请求所要读取的是待读取的一条还是多条子数据。
[0094]确定出待读取的一条或多条子数据可以采用直接定位或者线性匹配的方式，直接定位可以是定位指定的某一条子数据，线性匹配可以是从第一条子数据依次顺序匹配。
[0095]因此，在本发明的一种优选实施例中，所述步骤202具体可以包括以下子步骤:
[0096]子步骤S211，采用所述读取请求遍历所述多条子数据；
[0097]在实际应用中，由于多条子数据的长度一致，在遍历多条子数据时，可以采用线性匹配的方式从第一条子数据依次顺序匹配，每次匹配增加一条子数据的长度即为下一条子数据。例如:假设每条子数据的长度为10个字节，每个字节占用一个位置，采用线性匹配的方式匹配时，若采用第7个位置到第10个位置上的数据部分作为匹配的起始，即第一条子数据的第7个到第10个字节，则匹配第二条子数据时，采用第17个位置到第20个位置上的数据部分进行匹配即可。[0098]根据读取请求确定遍历需要匹配的字段，从第一条子数据的该字段开始依次进行匹配。
[0099]子步骤S212，确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0100]在具体实施中，当一条或多条子数据中的字段与读取请求匹配时，确定该一条或多条子数据为待读取的一条或多条子数据。
[0101]在本发明的另一种优选实施例中，所述步骤202具体可以包括以下子步骤:
[0102]子步骤S221，采用所述读取请求计算对应的一条或多条子数据的起始位置；
[0103]作为本发明具体应用的一种示例，读取请求中可以包括子数据的顺序号，由于每条子数据的长度一致，因此，通过类似于等差数列的公式即可计算出对应的一条或多条子数据的起始位置。例如，假设每条子数据的长度为10个字节，每个字节占一个位置，读取请求中请求读取第1000条子数据，则该第1000条子数据的起始位置位于第9991个位置。
[0104]子步骤S222，确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0105]作为本发明具体应用的一种示例，当计算出起始位置后，该起始位置上的一条或多条子数据即为待读取的一条或多条子数据的起始，由于每条子数据的长度一致，因此，待读取的一条或多条子数据的结束也即为已知。对应于上述子步骤S221的举例，第9991个位置上的数据部分即为第1000条子数据的起始，每条子数据的长度为10个字节，则第10000个位置上的数据部分即为第1000条子数据的结束。
[0106]本发明多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据及子数据的字段的存储位置呈线性排列，使得待读取的一条或多条子数据可以通过线性匹配或者直接定位的方式确定出，此外，为了减少IO次数以达到提升性能的目的，采取批量读入的机制，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0107]步骤203，从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0108]在本发明具体应用的一种示例中，各条子数据中都记录有该子数据在指定的存储介质中的存储位置，因此，当待读取的一条或多条子数据被确定时，可以从待读取的一条或多条子数据中提取出存储位置。
[0109]步骤204，从所述存储位置读取所述一条或多条子数据。
[0110]在具体应用中，提取出存储位置，即可以读取该存储位置上的一条或多条子数据，此外，为了减少IO次数以达到提升性能的目的，可以采取批量读入的机制，即一次读取多条子数据。
[0111]本发明在读取时，由于每条子数据本身记录有自身的存储位置，当确定出待读取的一条或多条子数据时，存储位置即可被提取出来，按照存储位置将所述待读取的一条或多条子数据读取出来。由于对子数据进行读取处理必然是在内存中进行，然而，子数据的长度一致使得读取数据时可以有规律地快速获取待读取的一条或多条子数据的存储位置，从而避免了读取时的线性检索，也就可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。[0112]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0113]参照图3，示出了本发明的一种大数据的写入装置实施例的结构框图，具体可以包括如下模块:
[0114]写入请求接收模块301，用于接收写入请求；
[0115]大数据切分模块302，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0116]多条子数据写入模块303，用于分别将所述多条子数据写入指定的存储介质中；
[0117]存储位置添加模块304，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0118]在本发明的一种优选示例中，所述系统还可以包括如下模块:
[0119]第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0120]更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
[0121]对于图3所示的写入装置实施例而言，由于其与图1所示的写入方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0122]参照图4，示出了本发明的一种大数据的读取装置实施例的结构框图，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，具体可以包括如下模块:
[0123]读取请求接收模块401，用于接收读取请求；
[0124]待读取子数据确定模块402，用于依据所述读取请求确定待读取的一条或多条子数据；
[0125]第二存储位置提取模块403，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0126]子数据读取模块404，用于从所述存储位置读取所述一条或多条子数据。
[0127]在本发明的一种优选示例中，所述待读取子数据确定模块402可以包括如下子模块:
[0128]多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据；
[0129]第一待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0130]在本发明的一种优选示例中，所述待读取子数据确定模块402可以包括如下子模块:
[0131]起始位置计算子模块，用于采用所述读取请求计算对应的一条或多条子数据的起始位置；[0132]第二待读取子数据确定子模块，用于确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0133]对于图4所示的读取装置实施例而言，由于其与图2所示的读取方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134]参照图5，示出了本发明的一种大数据的处理系统实施例的结构框图，包括大数据的写入装置及大数据的读取装置，其中，
[0135]所述大数据的写入装置可以包括如下模块:
[0136]接收写入请求模块501，用于接收写入请求；
[0137]切分大数据模块502，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0138]写入多条子数据模块503，用于分别将所述多条子数据写入指定的存储介质中；
[0139]添加存储位置模块504，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置；
[0140]所述大数据的读取装置可以包括如下模块:
[0141]接收读取请求模块505，用于接收读取请求；
[0142]确定待读取子数据模块506，用于依据所述读取请求确定待读取的一条或多条子数据；
[0143]提取存储位置模块507，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0144]读取子数据模块508，用于从所述存储位置读取所述一条或多条子数据。
[0145]对于图5所示的系统实施例而言，由于其与图1和图2所示的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0146]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0147]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0148]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0151]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0152]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。 [0153]以上对本发明所提供的大数据的写入方法和装置、读取方法和装置及处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种大数据的写入方法，其特征在于，包括: 接收写入请求； 依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定； 分别将所述多条子数据写入指定的存储介质中； 在各条子数据中添加当前子数据在所述存储介质中的存储位置。
2.根据权利要求1所述的方法，其特征在于，还包括: 当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置； 在所述存储位置上对所述一条或多条子数据进行更新。
3.一种大数据的读取方法，其特征在于，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述方法包括: 接收读取请求； 依据所述读取请求确定待读取的一条或多条子数据； 从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 从所述存储位置读取所述一条或多条子数据。
4.根据权利要求3所述的方法，其特征在于，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括: 采用所述读取请求遍历所述多条子数据； 确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
5.根据权利要求3所述的方法，其特征在于，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括: 采用所述读取请求计算对应的一条或多条子数据的起始位置； 确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
6.一种大数据的写入装置，其特征在于，包括: 写入请求接收模块，用于接收写入请求； 大数据切分模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；多条子数据写入模块，用于分别将所述多条子数据写入指定的存储介质中； 存储位置添加模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
7.根据权利要求6所述的装置，其特征在于，包括: 第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置； 更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
8.一种大数据的读取装置，其特征在于，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述装置包括:读取请求接收模块，用于接收读取请求； 待读取子数据确定模块，用于依据所述读取请求确定待读取的一条或多条子数据； 第二存储位置提取模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 子数据读取模块，用于从所述存储位置读取所述一条或多条子数据。
9.根据权利要求8所述的装置，其特征在于，所述待读取子数据确定模块包括: 多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据； 待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
10.一种大数据的处理系统，其特征在于，包括大数据的写入装置及大数据的读取装置，其中， 所述大数据的写 入装置包括: 接收写入请求模块，用于接收写入请求； 切分大数据模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；写入多条子数据模块，用于分别将所述多条子数据写入指定的存储介质中； 添加存储位置模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置； 所述大数据的读取装置包括: 接收读取请求模块，用于接收读取请求； 确定待读取子数据模块，用于依据所述读取请求确定待读取的一条或多条子数据；提取存储位置模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 读取子数据模块，用于从所述存储位置读取所述一条或多条子数据。
【文档编号】G06F3/06GK103970844SQ201410175583
【公开日】2014年8月6日 申请日期:2014年4月28日 优先权日:2014年4月28日
【发明者】曾开荣 申请人:北京创世漫道科技有限公司
【专利摘要】本发明实施例提供了一种大数据的写入方法和装置、读取方法和装置及处理系统，其中，写入方法包括：接收写入请求；依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；分别将所述多条子数据写入指定的存储介质中；在各条子数据中添加当前子数据在所述存储介质中的存储位置。本发明可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【专利说明】大数据的写入方法和装置、读取方法和装置及处理系统
【技术领域】
[0001]本发明涉及通信【技术领域】，特别是涉及一种大数据的写入方法，一种大数据的读取方法，一种大数据的写入装置，一种大数据的读取装置，以及，一种大数据的处理系统。
【背景技术】
[0002]随着互联网等信息技术的发展，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。所谓大数据，是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
[0003]大数据的意义在于它是伴随着人类日益普及的网络行为而产生的，受到相关部门、企业采集的，蕴含着数据生产者的真实意图、喜好的非结构化和传统意义的数据信息。因此，快速存储和读取大数据，尤其是对大数据进行更新，是获得有价值的信息的手段之一、[0004]然而，由于结构化和非结构化的数据量持续增长，以及分析数据的来源更加多样化，此前的大数据存储、读取以及更新技术已经无法满足大数据应用的需要。通常，对于大数据的存储、读取以及更新，主要采用数据库(DataBase，DB)的方式来完成，用户通过数据库管理系统(DataBase Management System, DBMS)对数据库进行管理，引入数据库后的计算机系统则称为数据库系统(DataBase System, DBS)，但是，数据库系统在存储和读取大数据，尤其是对大数据进行频繁地更新时，由于磁盘和内存之间的数据传输需要进行复杂的转换运算，导致数据存取速度缓慢，效率下降。
[0005]例如，某个商家通过短信群发平台发送短信给用户时。商家可能提交了 5000万条甚至更多短信到短信群发平台，这时就需要记录短信内容和所有用户的手机号码，状态为“未发送”。因为短信需要一条一条地发送给用户，所以每发送一条短信就要更新该条短信的状态为“已发送”，剩余的短信仍然为“未发送”。根据用户的接收情况在几秒内又会将状态更新为“成功送达”、“失败”、“关机”等状态，这样每秒就会有数万条数据需要更新。若采用数据库系统存储、读取大数据，则需要通过复杂的算法，例如哈希算法等，计算该大数据所在磁盘的位置，以及各种存储策略的验证，容易造成时间的耗费，从而导致数据存取速度缓慢，系统性能降低，效率严重下降。
[0006]因此，目前需要本领域技术人员迫切解决的一个技术问题就是:提供一种大数据的写入方法和装置、读取方法和装置及处理系统，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【发明内容】
[0007]本发明实施例所要解决的技术问题是提供一种大数据的写入方法和读取方法，用以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0008]相应的，本发明实施例还提供了一种大数据的写入装置、读取装置以及一种大数据的处理系统，用以保证上述方法的实现及应用。
[0009]为了解决上述问题，本发明公开了一种大数据的写入方法，包括:
[0010]接收写入请求；
[0011]依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；
[0012]分别将所述多条子数据写入指定的存储介质中；
[0013]在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0014]优选地，所述方法还包括:
[0015]当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0016]在所述存储位置上对所述一条或多条子数据进行更新。
[0017]为了解决上述问题，本发明还公开了一种大数据的读取方法，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述方法包括:
[0018]接收读取请求；
[0019]依据所述读取请求确定待读取的一条或多条子数据；
[0020]从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0021 ] 从所述存储位置读取所述一条或多条子数据。
[0022]优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括:
[0023]采用所述读取请求遍历所述多条子数据；
[0024]确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0025]优选地，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括:
[0026]采用所述读取请求计算对应的一条或多条子数据的起始位置；
[0027]确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0028]依据本发明的实施例，公开了一种大数据的写入装置，包括:
[0029]写入请求接收模块，用于接收写入请求；
[0030]大数据切分模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0031]多条子数据写入模块，用于分别将所述多条子数据写入指定的存储介质中；
[0032]存储位置添加模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0033]优选地，所述装置还包括:
[0034]第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0035]更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
[0036]依据本发明的实施例，还公开了一种大数据的读取装置，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述装置包括:
[0037]读取请求接收模块，用于接收读取请求；
[0038]待读取子数据确定模块，用于依据所述读取请求确定待读取的一条或多条子数据；
[0039]第二存储位置提取模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0040]子数据读取模块，用于从所述存储位置读取所述一条或多条子数据。
[0041]优选地，所述待读取子数据确定模块包括:
[0042]多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据；
[0043]待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0044]依据本发明的实施例，还公开了一种大数据的处理系统，包括大数据的写入装置及大数据的读取装置，其中，
[0045]所述大数据的写入装置包括:
[0046]接收写入请求模块，用于接收写入请求；
[0047]切分大数据模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0048]写入多条子数据模块，用于分别将所述多条子数据写入指定的存储介质中；
[0049]添加存储位置模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置；
[0050]所述大数据的读取装置包括:
[0051]接收读取请求模块，用于接收读取请求；
[0052]确定待读取子数据模块，用于依据所述读取请求确定待读取的一条或多条子数据；
[0053]提取存储位置模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0054]读取子数据模块，用于从所述存储位置读取所述一条或多条子数据。
[0055]与现有技术相比，本发明实施例包括以下优点:
[0056]本发明通过采用线性方式直接将格式化的大数据写入指定的存储介质中，大数据被切分为多条子数据，多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，可以使得大数据的存储更加有序且不浪费空间，切分为多条子数据便于写入，通过把存储位置置于多条子数据自身内部，从而可以实现将存储位置映射到内存的目的。因此，可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0057]进一步地，本发明在对大数据进行更新时，由于每条子数据本身记录有自身的存储位置，可以直接按照所记录的存储位置进行更新，从而避免了数据库中复杂的定位算法及各种存储策略的验证，因此，大数据的更新变得简单高效，效率明显提升，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0058]更进一步地，本发明在读取时，由于每条子数据本身记录有自身的存储位置，当确定出待读取的一条或多条子数据时，存储位置即可被提取出来，按照存储位置将所述待读取的一条或多条子数据读取出来。由于对子数据进行读取处理必然是在内存中进行，然而，子数据的长度一致使得读取数据时可以有规律地快速获取待读取的一条或多条子数据的存储位置，从而避免了读取时的线性检索，也就可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0059]尤其地，本发明多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据及子数据的字段的存储位置呈线性排列，使得待读取的一条或多条子数据可以通过线性匹配或者直接定位的方式确定出，此外，为了减少IO次数以达到提升性能的目的，采取批量读入的机制，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0060]最后，本发明通过建立多条子数据与存储位置的映射关系，既可以保证定位快速，又可以便于程序实现，由于存储的大数据的数据量会比较大，映射关系只需要进行简单加减乘除即可得到，因此还可以保证占用的CPU、内存等系统资源较少。从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
【专利附图】
【附图说明】
[0061]图1示出了本发明的一种大数据的写入方法实施例的步骤流程图；
[0062]图2示出了本发明的一种大数据的读取方法实施例的步骤流程图；
[0063]图3示出了本发明的一种大数据的写入装置实施例的结构框图；
[0064]图4示出了本发明的一种大数据的读取装置实施例的结构框图；
[0065]图5示出了本发明的一种大数据的处理系统实施例的结构框图。
【具体实施方式】
[0066]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0067]本发明实施例的核心构思之一在于，存储时，将大数据切分为长度一致的多条子数据，并且，多条子数据中相同字段对应的数据部分在每条子数据中的位置固定，同时，将当前子数据在所述存储介质中的存储位置添加到各条子数据中，因此，在读取时，根据等差数列的性质便捷的计算出待读取的一条或多条子数据的存储位置，从而快速读取，在更新时，由于已知已读取的一条或多条子数据的存储位置，因此，可以直接按照该存储位置进行更新，从而可以在频繁更新大数据时，对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0068]参照图1，示出了本发明的一种大数据的写入方法实施例的步骤流程图，具体可以包括如下步骤:[0069]步骤101，接收写入请求；
[0070]在具体实施中，当接收到写入请求时，即有大数据需要写入指定的存储介质。
[0071]步骤102，依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；
[0072]在实际应用中，可以将需要写入的大数据进行切分，切分的规则可以是切分出的多条子数据的长度一致，并且，多条子数据中相同字段对应的数据部分在每条子数据中的位置固定，类似于对齐操作。例如:假设切分出的多条子数据的长度为10个字节，每条子数据都包括字段1、字段2、字段3、字段4这四个字段对应的数据，其中，字段I占一个字节，字段2占两个字节，字段3占三个字节，字段4占四个字节，若子数据I的格式按照字段1、字段2、字段3、字段4这样固定的位置排序，则子数据η的格式也按照字段1、字段2、字段3、字段4这样固定的位置排序。
[0073]更具体的，例如:存储一条短信数据，其中包含“手机号”、“短信内容”、“用户姓名”等等字段，每条数据本身的“短信内容”长度不是固定的，但为了便于存储，可以将该字段“格式化”为固定长度，即用可能出现的最大值——70个汉字，不足70个汉字的短信就以“NULL”来占位。
[0074]步骤103，分别将所述多条子数据写入指定的存储介质中；
[0075]在具体应用中，当需要写入的大数据按上述步骤切分为多条子数据之后，可以分别将该多条子数据写入指定的存储介质中。
[0076]步骤104，在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0077]在本发明具体应用中的一种示例中，当各条子数据写入指定的存储介质中后，各条子数据将获得各自的存储位置，将当前各条子数据在所述存储介质中的存储位置添加到对应的各条子数据中，完成当次存储。
[0078]需要说明的是，本发明对于大数据的可靠性从两方面进行保证，一是软件层面，通过在内部进行数据完整性的校验，例如MD5 (Message Digest Algorithm MD5,消息摘要算法第五版)校验，奇偶校验等等校验方法保证数据的可靠性；二是硬件层面，利用“磁盘阵列”，例如RAIDl (Redundant Array of IndependentDisks,独立磁盘冗余阵列)来保证数据的可靠性。
[0079]磁盘阵列是一种具体应用(软件)无关的存储技术，可以简单地理解为磁盘备份。当某磁盘本身出现物理损坏时，磁盘阵列可以保证数据不会丢失仍然能继续读写。实际上是多个磁盘冗余存储数据，所以即使其中一个磁盘损坏了，数据仍不会受影响。
[0080]本发明通过采用线性方式直接将格式化的大数据写入指定的存储介质中，大数据被切分为多条子数据，多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，可以使得大数据的存储更加有序且不浪费空间，切分为多条子数据便于写入，通过把存储位置置于多条子数据自身内部，从而可以实现将存储位置映射到内存的目的。因此，可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0081]在本发明的一种优选实施例中，还可以包括:
[0082]当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0083]在所述存储位置上对所述一条或多条子数据进行更新。
[0084]需要说明的是，需要更新一条或多条子数据时，更新必然是针对读取过的子数据，所以，存储位置在更新之前就已经读取出来了。
[0085]由于每条子数据本身记录有自身的存储位置，所以更新变得简单高效，直接按照所记录的存储位置改写存储介质中的文件即可，免去了数据库中复杂的定位算法及各种存储策略的验证，所以效率提升会非常明显。
[0086]本发明在对大数据进行更新时，由于每条子数据本身记录有自身的存储位置，可以直接按照所记录的存储位置进行更新，从而避免了数据库中复杂的定位算法及各种存储策略的验证，因此，大数据的更新变得简单高效，效率明显提升，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0087]本发明通过建立多条子数据与存储位置的映射关系，既可以保证定位快速，又可以便于程序实现，由于存储的大数据的数据量会比较大，映射关系只需要进行简单加减乘除即可得到，因此还可以保证占用的CPU、内存等系统资源较少。从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0088]参照图2，示出了本发明的一种大数据的读取方法实施例的步骤流程图，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，具体可以包括如下步骤:
[0089]步骤201，接收读取请求；
[0090]在实际应用中，读取请求可以根据用户的查询条件生成，读取请求可以是请求读取具体的某一条子数据，例如:读取请求需要读取第N条子数据，其中，N为正整数；读取请求也可以是请求读取具有与读取请求匹配字段的子数据，例如:读取请求需要读取具有与某个关键词匹配的子数据。当然，读取请求也可以是其他形式，本发明实施例对此无需加以限制。
[0091]当读取请求生成后，进行接收。
[0092]步骤202，依据所述读取请求确定待读取的一条或多条子数据；
[0093]在具体实施中，由于所有的读取请求所请求读取子数据的条数不尽相同，可以对读取请求进行解析，解析出该读取请求所要读取的是待读取的一条还是多条子数据。
[0094]确定出待读取的一条或多条子数据可以采用直接定位或者线性匹配的方式，直接定位可以是定位指定的某一条子数据，线性匹配可以是从第一条子数据依次顺序匹配。
[0095]因此，在本发明的一种优选实施例中，所述步骤202具体可以包括以下子步骤:
[0096]子步骤S211，采用所述读取请求遍历所述多条子数据；
[0097]在实际应用中，由于多条子数据的长度一致，在遍历多条子数据时，可以采用线性匹配的方式从第一条子数据依次顺序匹配，每次匹配增加一条子数据的长度即为下一条子数据。例如:假设每条子数据的长度为10个字节，每个字节占用一个位置，采用线性匹配的方式匹配时，若采用第7个位置到第10个位置上的数据部分作为匹配的起始，即第一条子数据的第7个到第10个字节，则匹配第二条子数据时，采用第17个位置到第20个位置上的数据部分进行匹配即可。[0098]根据读取请求确定遍历需要匹配的字段，从第一条子数据的该字段开始依次进行匹配。
[0099]子步骤S212，确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0100]在具体实施中，当一条或多条子数据中的字段与读取请求匹配时，确定该一条或多条子数据为待读取的一条或多条子数据。
[0101]在本发明的另一种优选实施例中，所述步骤202具体可以包括以下子步骤:
[0102]子步骤S221，采用所述读取请求计算对应的一条或多条子数据的起始位置；
[0103]作为本发明具体应用的一种示例，读取请求中可以包括子数据的顺序号，由于每条子数据的长度一致，因此，通过类似于等差数列的公式即可计算出对应的一条或多条子数据的起始位置。例如，假设每条子数据的长度为10个字节，每个字节占一个位置，读取请求中请求读取第1000条子数据，则该第1000条子数据的起始位置位于第9991个位置。
[0104]子步骤S222，确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0105]作为本发明具体应用的一种示例，当计算出起始位置后，该起始位置上的一条或多条子数据即为待读取的一条或多条子数据的起始，由于每条子数据的长度一致，因此，待读取的一条或多条子数据的结束也即为已知。对应于上述子步骤S221的举例，第9991个位置上的数据部分即为第1000条子数据的起始，每条子数据的长度为10个字节，则第10000个位置上的数据部分即为第1000条子数据的结束。
[0106]本发明多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据及子数据的字段的存储位置呈线性排列，使得待读取的一条或多条子数据可以通过线性匹配或者直接定位的方式确定出，此外，为了减少IO次数以达到提升性能的目的，采取批量读入的机制，从而可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。
[0107]步骤203，从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0108]在本发明具体应用的一种示例中，各条子数据中都记录有该子数据在指定的存储介质中的存储位置，因此，当待读取的一条或多条子数据被确定时，可以从待读取的一条或多条子数据中提取出存储位置。
[0109]步骤204，从所述存储位置读取所述一条或多条子数据。
[0110]在具体应用中，提取出存储位置，即可以读取该存储位置上的一条或多条子数据，此外，为了减少IO次数以达到提升性能的目的，可以采取批量读入的机制，即一次读取多条子数据。
[0111]本发明在读取时，由于每条子数据本身记录有自身的存储位置，当确定出待读取的一条或多条子数据时，存储位置即可被提取出来，按照存储位置将所述待读取的一条或多条子数据读取出来。由于对子数据进行读取处理必然是在内存中进行，然而，子数据的长度一致使得读取数据时可以有规律地快速获取待读取的一条或多条子数据的存储位置，从而避免了读取时的线性检索，也就可以简便地对大数据快速定位，减少时间的耗费，提高大数据存储读取的速度，提高系统性能，提高工作效率。[0112]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0113]参照图3，示出了本发明的一种大数据的写入装置实施例的结构框图，具体可以包括如下模块:
[0114]写入请求接收模块301，用于接收写入请求；
[0115]大数据切分模块302，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0116]多条子数据写入模块303，用于分别将所述多条子数据写入指定的存储介质中；
[0117]存储位置添加模块304，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
[0118]在本发明的一种优选示例中，所述系统还可以包括如下模块:
[0119]第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置；
[0120]更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
[0121]对于图3所示的写入装置实施例而言，由于其与图1所示的写入方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0122]参照图4，示出了本发明的一种大数据的读取装置实施例的结构框图，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，具体可以包括如下模块:
[0123]读取请求接收模块401，用于接收读取请求；
[0124]待读取子数据确定模块402，用于依据所述读取请求确定待读取的一条或多条子数据；
[0125]第二存储位置提取模块403，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0126]子数据读取模块404，用于从所述存储位置读取所述一条或多条子数据。
[0127]在本发明的一种优选示例中，所述待读取子数据确定模块402可以包括如下子模块:
[0128]多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据；
[0129]第一待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
[0130]在本发明的一种优选示例中，所述待读取子数据确定模块402可以包括如下子模块:
[0131]起始位置计算子模块，用于采用所述读取请求计算对应的一条或多条子数据的起始位置；[0132]第二待读取子数据确定子模块，用于确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
[0133]对于图4所示的读取装置实施例而言，由于其与图2所示的读取方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134]参照图5，示出了本发明的一种大数据的处理系统实施例的结构框图，包括大数据的写入装置及大数据的读取装置，其中，
[0135]所述大数据的写入装置可以包括如下模块:
[0136]接收写入请求模块501，用于接收写入请求；
[0137]切分大数据模块502，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定;
[0138]写入多条子数据模块503，用于分别将所述多条子数据写入指定的存储介质中；
[0139]添加存储位置模块504，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置；
[0140]所述大数据的读取装置可以包括如下模块:
[0141]接收读取请求模块505，用于接收读取请求；
[0142]确定待读取子数据模块506，用于依据所述读取请求确定待读取的一条或多条子数据；
[0143]提取存储位置模块507，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置；
[0144]读取子数据模块508，用于从所述存储位置读取所述一条或多条子数据。
[0145]对于图5所示的系统实施例而言，由于其与图1和图2所示的方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0146]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0147]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0148]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0151]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0152]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。 [0153]以上对本发明所提供的大数据的写入方法和装置、读取方法和装置及处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种大数据的写入方法，其特征在于，包括: 接收写入请求； 依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定； 分别将所述多条子数据写入指定的存储介质中； 在各条子数据中添加当前子数据在所述存储介质中的存储位置。
2.根据权利要求1所述的方法，其特征在于，还包括: 当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置； 在所述存储位置上对所述一条或多条子数据进行更新。
3.一种大数据的读取方法，其特征在于，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述方法包括: 接收读取请求； 依据所述读取请求确定待读取的一条或多条子数据； 从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 从所述存储位置读取所述一条或多条子数据。
4.根据权利要求3所述的方法，其特征在于，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括: 采用所述读取请求遍历所述多条子数据； 确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
5.根据权利要求3所述的方法，其特征在于，所述依据所述读取请求确定待读取的一条或多条子数据的步骤包括: 采用所述读取请求计算对应的一条或多条子数据的起始位置； 确定所述起始位置对应的一条或多条子数据为待读取的一条或多条子数据。
6.一种大数据的写入装置，其特征在于，包括: 写入请求接收模块，用于接收写入请求； 大数据切分模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；多条子数据写入模块，用于分别将所述多条子数据写入指定的存储介质中； 存储位置添加模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置。
7.根据权利要求6所述的装置，其特征在于，包括: 第一存储位置提取模块，用于当需要更新一条或多条子数据时，从所述一条或多条子数据中提取其在存储介质中的存储位置； 更新模块，用于在所述存储位置上对所述一条或多条子数据进行更新。
8.一种大数据的读取装置，其特征在于，所述大数据被切分为多条子数据，所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定，各条子数据中包括当前子数据在存储介质中的存储位置，所述装置包括:读取请求接收模块，用于接收读取请求； 待读取子数据确定模块，用于依据所述读取请求确定待读取的一条或多条子数据； 第二存储位置提取模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 子数据读取模块，用于从所述存储位置读取所述一条或多条子数据。
9.根据权利要求8所述的装置，其特征在于，所述待读取子数据确定模块包括: 多条子数据遍历子模块，用于采用所述读取请求遍历所述多条子数据； 待读取子数据确定子模块，用于确定具有匹配字段的一条或多条子数据为待读取的一条或多条子数据。
10.一种大数据的处理系统，其特征在于，包括大数据的写入装置及大数据的读取装置，其中， 所述大数据的写 入装置包括: 接收写入请求模块，用于接收写入请求； 切分大数据模块，用于依据所述写入请求将所述大数据切分为多条子数据；所述多条子数据的长度一致，并且，所述多条子数据中相同字段对应的数据部分的相对位置固定；写入多条子数据模块，用于分别将所述多条子数据写入指定的存储介质中； 添加存储位置模块，用于在各条子数据中添加当前子数据在所述存储介质中的存储位置； 所述大数据的读取装置包括: 接收读取请求模块，用于接收读取请求； 确定待读取子数据模块，用于依据所述读取请求确定待读取的一条或多条子数据；提取存储位置模块，用于从所述待读取的一条或多条子数据中提取其在存储介质中的存储位置； 读取子数据模块，用于从所述存储位置读取所述一条或多条子数据。
【文档编号】G06F3/06GK103970844SQ201410175583
【公开日】2014年8月6日 申请日期:2014年4月28日 优先权日:2014年4月28日
【发明者】曾开荣 申请人:北京创世漫道科技有限公司
最新回复(0)