一种上网行为数据采集方法及其系统的制作方法
一种上网行为数据采集方法及其系统的制作方法
【技术领域】
[0001]本发明涉及无线网络技术领域，具体涉及一种上网行为数据采集方法及其系统。
【背景技术】
[0002]当前无线覆盖越来越多，使用手机等移动终端设备也越来越多，通过WiFi上网成为当前的主流方式，相比有线覆盖而言，流量的突发性和网络延迟有很大的不同，其数据量大，突发性强，人流量快带来了新的问题，如何解决无线覆盖区域的用户上网行为数据采集和上传是一个新的课题。
【发明内容】
[0003]本发明的目的在于提供一种上网行为数据采集方法及其系统，通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
[0004]为了达到上述目的，本发明通过以下技术方案实现:一种上网行为数据采集方法，其特点是，包含以下步骤:
51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
52、对符合预设条件的上行数据包进行处理；
53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
[0005]所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。
[0006]所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
[0007]所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。
[0008]一种上网行为数据采集系统，其特点是，包含:
若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理；
存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包；
上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。
[0009]所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。
[0010]所述的上网行为数据采集系统还包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0011]所述的上网行为数据采集系统还包含包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0012]所述的预设加密算法为采用AES-128位进行加密。
[0013]所述的预设压缩算法为使用gzip工具进行压缩。
[0014]本发明一种上网行为数据采集方法及其系统与现有技术相比具有以下优点:采用预设上传条件，有效保证数据的完整性和一定的实时性问题，并且解决了上传数据至云服务器时的并发问题，同时上传数据会对云服务器造成负载压力，分散时间上传，减少上传并发量，减轻云服务器负载压力；通过对要进行上传得上行数据包进行压缩，减少对宽带的占用率，节约宽带资源；采用AES-128位进行加密，有效保证上传数据的安全性。
【附图说明】
[0015]图1为本发明一种上网行为数据采集系统的结构框图；
图2为本发明一种上网行为数据采集方法的流程图。
【具体实施方式】
[0016]以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
[0017]本发明主要是通过无线覆盖区域内的若干无线热点(AP)收集用户通过移动终端(如手机)上网的数据，然后汇总压缩后上传到云端服务器。由于某一区域的无线覆盖是通过若干AP的无线信号相互重叠形成的Mesh网络实现，而用户通过WiFi使用手机等移动终端上网必须接入某一个AP，这样就可以通过每一个AP监控上网的行为并采集所需要的上网行为数据，然后通过压缩利用FTP协议上传到指定的云服务器，从而完成整个上网行为的数据采集和上传。解决了在无线覆盖的商户，超市或企业等区域如何通过无线热点(Access Point)有效的收集用户上网行为的数据，并且将数据进行加密和压缩上传云端服务器的过程。
[0018]如图1所示，本发明公开一种上网行为数据采集系统用于实现对上网行为数据的收集，包含:若干个监听单元101，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；处理单元102，分别与若干个监听单元101连接，用于对监听单元101采集的符合预设条件的上行数据包进行处理；存储单元103，与所述处理单元102连接，用于存储经处理单元102处理后的上行数据包；上传单元104，与所述存储单元103连接，用于将存储单元103中的上行数据包上传至云服务器。
[0019]优选地，所述的处理单元102包含依次连接的加密模块1021及压缩模块1022，所述加密模块1021与所述监听单元101连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密，例如采用AES-128位进行加密；所述压缩模块1022与所述存储单元103连接，用于对加密后的上行数据包采用预设压缩算法进行压缩，例如使用gzip工具进行压缩。
[0020]在本发明的较佳实施例中，上网行为数据采集系统还包含一计时单元105，分别与所述存储单元103及上传单元104连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元104将上行数据包上传至云服 务器。
[0021]优选地所述的上网行为数据采集系统还包含一文件大小判断单元106，分别与所述存储单元103及上传单元104连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元104将上行数据包上传至云服务器。预设加密算法为采用。
[0022]如图2所示，一种上网行为数据采集方法，包含以下步骤:
51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
52、对符合预设条件的上行数据包进行处理，处理包含对符合预设条件的上行数据包进行加密及压缩处理后保存；
53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
[0023]所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
[0024]所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。具体地，系统判断符合其中之一就可以执行上传步骤。
[0025]具体应用:每一个AP内设置一个监听单元，当用户通过手机等移动终端上网时，监听单元通过预设条件将满足的用户上行数据包送到处理单元进一步分析和确认，若确认无误则保存到存储单元中缓存下来，等待下一条数据。获得的数据会被保存在一个内存文件中，当满足一定条件时会上传到指定的云端服务器，在上传云服务器之前，将此文件压缩成gzip然后上传，因为数据文件是文本文件，所以使用gzip工具压缩，压缩比比较高，很大程度的节约了上行的宽带资源。将压缩好的数据文件上传，当AP的数量比较多时，会在一段时间内出现并发上传量非常大的情况，会给云服务器带来压力；通过设置两个条件来解决此问题，满足下列条件之一就直接上传:条件1，一个周期开始计时，若超过周期时间阈值的一半，则上传至云服务器；或者条件2，数据文件压缩后大于等于1M字节则上传至云服务器。这样的方法即保证了数据一定的实时性，又分散了时间上传，从而减少了上传并发量。为了加强安全性，上传的数据文件不仅需要压缩，而且需要加密，即数据文件采用AES-128位进行加密压缩，保证了数据安全性，同时通过SFTP (Secure File TransferProtocol)协议上传到FTP服务器。
[0026]尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
【主权项】
1.一种上网行为数据采集方法，其特征在于，包含以下步骤: 51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包； 52、对符合预设条件的上行数据包进行处理； 53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。2.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。3.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。4.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。5.一种上网行为数据采集系统，其特征在于，包含: 若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包； 处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理； 存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包； 上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。6.如权利要求5所述的上网行为数据采集系统，其特征在于，所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。7.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。8.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。9.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设加密算法为采用AES-128位进行加密。10.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设压缩算法为使用gzip工具进行压缩。
【专利摘要】本发明公开了一种上网行为数据采集方法，包含以下步骤：S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；S2、对符合预设条件的上行数据包进行处理；S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。本发明还公开了一种上网行为数据采集系统。本发明通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
【IPC分类】H04L12/26, H04L29/08
【公开号】CN104901849
【申请号】CN201510301284
【发明人】乐毅
【申请人】上海斐讯数据通信技术有限公司
【公开日】2015年9月9日
【申请日】2015年6月4日
【技术领域】
[0001]本发明涉及无线网络技术领域，具体涉及一种上网行为数据采集方法及其系统。
【背景技术】
[0002]当前无线覆盖越来越多，使用手机等移动终端设备也越来越多，通过WiFi上网成为当前的主流方式，相比有线覆盖而言，流量的突发性和网络延迟有很大的不同，其数据量大，突发性强，人流量快带来了新的问题，如何解决无线覆盖区域的用户上网行为数据采集和上传是一个新的课题。
【发明内容】
[0003]本发明的目的在于提供一种上网行为数据采集方法及其系统，通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
[0004]为了达到上述目的，本发明通过以下技术方案实现:一种上网行为数据采集方法，其特点是，包含以下步骤:
51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
52、对符合预设条件的上行数据包进行处理；
53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
[0005]所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。
[0006]所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
[0007]所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。
[0008]一种上网行为数据采集系统，其特点是，包含:
若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理；
存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包；
上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。
[0009]所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。
[0010]所述的上网行为数据采集系统还包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0011]所述的上网行为数据采集系统还包含包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。
[0012]所述的预设加密算法为采用AES-128位进行加密。
[0013]所述的预设压缩算法为使用gzip工具进行压缩。
[0014]本发明一种上网行为数据采集方法及其系统与现有技术相比具有以下优点:采用预设上传条件，有效保证数据的完整性和一定的实时性问题，并且解决了上传数据至云服务器时的并发问题，同时上传数据会对云服务器造成负载压力，分散时间上传，减少上传并发量，减轻云服务器负载压力；通过对要进行上传得上行数据包进行压缩，减少对宽带的占用率，节约宽带资源；采用AES-128位进行加密，有效保证上传数据的安全性。
【附图说明】
[0015]图1为本发明一种上网行为数据采集系统的结构框图；
图2为本发明一种上网行为数据采集方法的流程图。
【具体实施方式】
[0016]以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
[0017]本发明主要是通过无线覆盖区域内的若干无线热点(AP)收集用户通过移动终端(如手机)上网的数据，然后汇总压缩后上传到云端服务器。由于某一区域的无线覆盖是通过若干AP的无线信号相互重叠形成的Mesh网络实现，而用户通过WiFi使用手机等移动终端上网必须接入某一个AP，这样就可以通过每一个AP监控上网的行为并采集所需要的上网行为数据，然后通过压缩利用FTP协议上传到指定的云服务器，从而完成整个上网行为的数据采集和上传。解决了在无线覆盖的商户，超市或企业等区域如何通过无线热点(Access Point)有效的收集用户上网行为的数据，并且将数据进行加密和压缩上传云端服务器的过程。
[0018]如图1所示，本发明公开一种上网行为数据采集系统用于实现对上网行为数据的收集，包含:若干个监听单元101，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；处理单元102，分别与若干个监听单元101连接，用于对监听单元101采集的符合预设条件的上行数据包进行处理；存储单元103，与所述处理单元102连接，用于存储经处理单元102处理后的上行数据包；上传单元104，与所述存储单元103连接，用于将存储单元103中的上行数据包上传至云服务器。
[0019]优选地，所述的处理单元102包含依次连接的加密模块1021及压缩模块1022，所述加密模块1021与所述监听单元101连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密，例如采用AES-128位进行加密；所述压缩模块1022与所述存储单元103连接，用于对加密后的上行数据包采用预设压缩算法进行压缩，例如使用gzip工具进行压缩。
[0020]在本发明的较佳实施例中，上网行为数据采集系统还包含一计时单元105，分别与所述存储单元103及上传单元104连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元104将上行数据包上传至云服 务器。
[0021]优选地所述的上网行为数据采集系统还包含一文件大小判断单元106，分别与所述存储单元103及上传单元104连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元104将上行数据包上传至云服务器。预设加密算法为采用。
[0022]如图2所示，一种上网行为数据采集方法，包含以下步骤:
51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；
52、对符合预设条件的上行数据包进行处理，处理包含对符合预设条件的上行数据包进行加密及压缩处理后保存；
53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。
[0023]所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。
[0024]所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。具体地，系统判断符合其中之一就可以执行上传步骤。
[0025]具体应用:每一个AP内设置一个监听单元，当用户通过手机等移动终端上网时，监听单元通过预设条件将满足的用户上行数据包送到处理单元进一步分析和确认，若确认无误则保存到存储单元中缓存下来，等待下一条数据。获得的数据会被保存在一个内存文件中，当满足一定条件时会上传到指定的云端服务器，在上传云服务器之前，将此文件压缩成gzip然后上传，因为数据文件是文本文件，所以使用gzip工具压缩，压缩比比较高，很大程度的节约了上行的宽带资源。将压缩好的数据文件上传，当AP的数量比较多时，会在一段时间内出现并发上传量非常大的情况，会给云服务器带来压力；通过设置两个条件来解决此问题，满足下列条件之一就直接上传:条件1，一个周期开始计时，若超过周期时间阈值的一半，则上传至云服务器；或者条件2，数据文件压缩后大于等于1M字节则上传至云服务器。这样的方法即保证了数据一定的实时性，又分散了时间上传，从而减少了上传并发量。为了加强安全性，上传的数据文件不仅需要压缩，而且需要加密，即数据文件采用AES-128位进行加密压缩，保证了数据安全性，同时通过SFTP (Secure File TransferProtocol)协议上传到FTP服务器。
[0026]尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
【主权项】
1.一种上网行为数据采集方法，其特征在于，包含以下步骤: 51、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包； 52、对符合预设条件的上行数据包进行处理； 53、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。2.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的步骤S2包含对符合预设条件的上行数据包进行加密及压缩处理后保存。3.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为在一个上传周期中，若超过周期时间阈值的一半时，则执行上传步骤。4.如权利要求1所述的用户上网行为数据采集方法，其特征在于，所述的预设上传条件为若压缩后的上行数据包大于或等于预设阈值字节，则执行上传步骤。5.一种上网行为数据采集系统，其特征在于，包含: 若干个监听单元，分别用于监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包； 处理单元，分别与若干个监听单元连接，用于对监听单元采集的符合预设条件的上行数据包进行处理； 存储单元，与所述处理单元连接，用于存储经处理单元处理后的上行数据包； 上传单元，与所述存储单元连接，用于将存储单元中的上行数据包上传至云服务器。6.如权利要求5所述的上网行为数据采集系统，其特征在于，所述的处理单元包含依次连接的加密模块及压缩模块，所述加密模块与所述监听单元连接，用于对符合预设条件的上行数据包采用预设加密算法进行加密；所述压缩模块与所述存储单元连接，用于对加密后的上行数据包采用预设压缩算法进行压缩。7.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一计时单元，分别与所述存储单元及上传单元连接，用于在一个上传周期开始计时，若超过周期时间阈值的一半时，则发送控制指令控制上传单元将上行数据包上传至云服务器。8.如权利要求5所述的上网行为数据采集系统，其特征在于，进一步包含一文件大小判断单元，分别与所述存储单元及上传单元连接，用于判断压缩后的上行数据包若大于或等于预设阈值字节，则发送控制指令控制上传单元将上行数据包上传至云服务器。9.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设加密算法为采用AES-128位进行加密。10.如权利要求6所述的上网行为数据采集系统，其特征在于，所述的预设压缩算法为使用gzip工具进行压缩。
【专利摘要】本发明公开了一种上网行为数据采集方法，包含以下步骤：S1、监测每一无线热点处的上网数据，并对上网数据进行预处理，采集符合预设条件的上行数据包；S2、对符合预设条件的上行数据包进行处理；S3、在一个上传周期中，将处理后的上行数据包按预设上传条件上传至云服务器。本发明还公开了一种上网行为数据采集系统。本发明通过无线覆盖区域内的若干无线热点收集用户通过移动终端上网的数据，然后汇总压缩后上传到云端服务器，有效的解决了用户上网行为的数据收集和上传功能，并优化了上传性能，增强了安全性，为大数据应用奠定了技术基础。
【IPC分类】H04L12/26, H04L29/08
【公开号】CN104901849
【申请号】CN201510301284
【发明人】乐毅
【申请人】上海斐讯数据通信技术有限公司
【公开日】2015年9月9日
【申请日】2015年6月4日
最新回复(0)