一种数据处理方法及装置的制造方法

xiaoxiao2021-2-23  136

一种数据处理方法及装置的制造方法
【技术领域】
[0001 ]本发明设及计算机技术领域,特别地设及一种数据处理方法及装置。
【背景技术】
[0002] 通常意义上所说的大数据,是信息技术所推动的网络社会中最广泛的事物,在网 络社会,数字财富即流量金融是重要的私人资产。近几年随着移动互联网技术的快速发展, 我国移动用户人数已达到12.93亿,我国网民平均有左右的时间花在手机上,也因此产 生了大量的手机数据。其中包括了大量的用户经济行为数据、健康数据、生活数据、社交数 据等。运些数据都带有显著的经济特征,应当归属于用户所有,而现状是运些数据被互联网 公司采集后W各种形式变现为其公司谋取了大量利益。亦即,迄今为止,互联网公司的商业 模式都是建立在无偿占用或者说是无偿变现用户隐私的基础上。
[0003] 主要表现例如:电信运营商W宽带资费或移动资费形式对用户收费;苹果公司借 助苹果手机iPhone的庞大用户量,通过穿戴设备采集用户的健康数据并将运些数据在资本 市场变现;支付宝收集用户的经济行为,衍生大量的金融产品获得利益等。
[0004] 目前已知的互联网公司在数据采集方面都有独断性,不管是手机厂商(如:苹果公 司)采集用户健康数据,还是软件应用商(如:阿里己己)采集用户的经济行为数据,都没有 让用户获得数据的支配权和收益权,运些数据有些被商业公司变现,有些数据被闲置。目前 没有系统明确地将用户的数据流量作为用户个人财产对待或者实现用户流量数据资产化。
[0005] 本发明中即根据现有的情况提出了一种将用户数据流量财富化的体系,能够解决 在严格保护用户隐私的前提下,把本来由用户创造的流量财富还给用户的问题。在该体系 中,对用户流量金融资产进行了定义---由个体及其家庭基于网络社会生活行为所创造 的、且具有显著经济和金融属性的流量数据统称为流量金融资产。在该体系中,将用户流量 资产化分为基础流量、派生流量和衍生流量Ξ个层次。
[0006] 基础流量,即个人通过电信运营商所购买的流量,能够在一定时间内对其中可剩 余部分流量通过售出变现;
[0007] 派生流量,即基于基础流量所派生的个人在移动终端消费过程中所创造和积累的 行为数据流量,运是个人用户流量资产的核屯、;
[000引衍生流量,即对个人用户基础流量和派生流量进行的大数据分析和云计算所衍生 组合出来的具有广泛商业价值的流量数据,运是个人用户流量资产中的重要部分。
[0009] 本发明即针对上述提出的Ξ个层次的流量数据,在严格保护用户隐私,完全尊重 用户的前提下,将用户的流量数据进行处理评估,并进一步换算为其他类型的数据,例如: 金额等。另外,本发明还可W实现用户对流量数据的分享和自由交易。

【发明内容】

[0010] 有鉴于此,本发明提供一种数据处理方法及装置,能够实现用户流量数据的处理 及评估,并进一步推动W用户为主体的自主流量分享和交易,从而提高全球用户流量数据 的利用率。
[0011] 为实现上述目的,根据本发明的一个方面,提供了 一种数据处理方法。
[0012] -种数据处理方法,包括:向终端发送数据采集请求;接收终端返回的同意采集数 据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运 营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;根 据数据预处理规则对采集的行为数据进行过滤;根据数据处理规则对过滤后的行为数据进 行评估W得到评估结果。
[0013] 可选地,所述行为数据包括但不限于:用户的基本身份信息及认证情况、用户的手 机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用 情况、W及用户在每个手机应用软件上的行为轨迹。
[0014] 可选地,所述用户的基本身份信息包括:用户的身份标识、学历信息、职业信息和 月收入。
[0015] 可选地,所述用户的手机套餐及使用情况包括:用户的月话费、手机号使用年限和 数据流量套餐。
[0016] 可选地,所述用户的行为习惯数据包括:用户的地理位置信息和闹钟信息。
[0017] 可选地,所述用户的手机应用软件使用情况包括:用户的手机应用软件的数量、类 另IJ、启动次数、消耗流量、花费金额和运行时间。
[0018] 可选地,根据数据预处理规则对采集的行为数据进行过滤的步骤包括:将通过终 端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述通过终端提交 的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应用软件厂商获 取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接口获取;通过将 所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行为数据中删 除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为数据最优参 数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中保存了与当 前数据处理相关的行为数据的参数。
[0019] 可选地,根据数据处理规则对过滤后的行为数据进行评估W得到评估结果的步骤 包括:根据所述行为数据的类型对所述过滤后的行为数据进行分类;计算每个类型的行为 数据对应的权重得分;将所述每个类型的行为数据的权重得分求和后与预定的流量基数相 乘W得到评估结果。
[0020] 可选地,在得到评估结果之后,还包括:将所述评估结果换算为金额W及根据终端 指示进行数据交易。
[0021] 可选地,所述根据终端指示进行数据交易的步骤包括:对评估后的行为数据进行 分类及整理;将所述分类及整理后的数据W列表的形式发送给所述终端;接收并保存所述 终端提交的要出售的行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合 条件的数据并与数据买方达成交易。
[0022] 可选地,所述根据终端指示进行数据交易的步骤包括:对评估后的行为数据进行 分类及整理;接收并保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分 类及整理后的数据中筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价 值发送给终端W与用户达成交易。
[0023] 根据本发明的另一方面,提供了 一种数据处理装置。
[0024] -种数据处理装置,包括:请求发送模块,用于向终端发送数据采集请求;数据采 集模块,用于接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采 集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的 操作系统提供的应用程序编程接口获取;数据过滤模块,用于根据数据预处理规则对采集 的行为数据进行过滤;数据评估模块,用于根据数据处理规则对过滤后的行为数据进行评 估W得到评估结果。
[0025] 可选地,所述行为数据包括但不限于:用户的基本身份信息及认证情况、用户的手 机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用 情况、W及用户在每个手机应用软件上的行为轨迹。
[0026] 可选地,所述数据过滤模块还用于:将通过终端提交的行为数据与通过其他采集 方法获取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数 据,其中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过 手机的操作系统提供的应用程序编程接口获取;通过将所述采集的行为数据的参数与行为 数据最优参数表进行比对,从所述采集的行为数据中删除所述参数不包含在所述行为数据 最优参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统 计分析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参 数。
[0027] 可选地,所述数据评估模块还用于:根据所述行为数据的类型对所述过滤后的行 为数据进行分类;计算每个类型的行为数据对应的权重得分;将所述每个类型的行为数据 的权重得分求和后与预定的流量基数相乘W得到评估结果。
[0028] 可选地,还包括:数据交易模块,用于在得到评估结果之后,将所述评估结果换算 为金额W及根据终端指示进行数据交易。
[0029] 可选地,所述数据交易模块还用于:对评估后的行为数据进行分类及整理;将所述 分类及整理后的数据W列表的形式发送给所述终端;接收并保存所述终端提交的要出售的 行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据 买方达成交易。
[0030] 可选地,所述数据交易模块还用于:对评估后的行为数据进行分类及整理;接收并 保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分类及整理后的数据中 筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价值发送给终端W与用 户达成交易。
[0031] 根据本发明的技术方案,通过多种方法全量采集用户的行为数据,可W建立动态、 完整的用户行为数据库,W便能更全面地处理和使用用户的行为数据;按照数据预处理规 则对采集的行为数据进行过滤,可W确保获取W及处理的数据的真实性和准确性;按照对 应的数据处理规则对不同类型的数据进行评估,并将评估结果换算为金额等其他数据,可 W将用户的行为数据流量资产化,从而推动了 W用户为主体的自主流量分享和交易,W及 提高了用户数据流量的利用率。
【附图说明】
[0032] 附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
[0033] 图1是根据本发明实施例的一种数据处理方法的主要步骤示意图;
[0034] 图2是根据本发明实施例的一种数据处理装置的模块示意图。
【具体实施方式】
[0035] W下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种 细节W助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识 到,可W对运里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同 样,为了清楚和简明,W下的描述中省略了对公知功能和结构的描述。
[0036] 图1是根据本发明实施例的一种数据处理方法的主要步骤示意图。如图1所示,本 发明的数据处理方法主要包括如下的步骤S11至步骤S14。
[0037] 步骤S11:向终端发送数据采集请求;
[0038] 步骤S12:接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所 述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手 机的操作系统提供的应用程序编程接口获取;
[0039] 步骤S13:根据数据预处理规则对采集的行为数据进行过滤;
[0040] 步骤S14:根据数据处理规则对过滤后的行为数据进行评估W得到评估结果。
[0041] 根据本发明实施例的技术方案,行为数据包括但不限于:用户的基本身份信息及 认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户 的手机应用软件使用情况、W及用户在每个手机应用软件上的行为轨迹。
[0042] 其中用户的基本身份信息包括:用户的身份标识、学历信息、职业信息和月收入; 用户的手机套餐及使用情况包括:用户的月话费、手机号使用年限和数据流量套餐;用户的 行为习惯数据包括:用户的地理位置信息和闹钟信息;用户的手机应用软件使用情况包括: 用户的手机应用软件的数量、类别、启动次数、消耗流量、花费金额和运行时间等。
[0043] 步骤S13中的根据数据预处理规则对采集的数据进行过滤的步骤可W具体包括:
[0044] 将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除 所述通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通 过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编 程接口获取;
[0045] 通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集 的行为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述 行为数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数 表中保存了与当前数据处理相关的行为数据的参数。
[0046] 步骤S14中根据数据处理规则对过滤后的数据进行评估W得到评估结果的步骤可 W具体包括:
[0047] 根据所述行为数据的类型对所述过滤后的行为数据进行分类;
[0048] 计算每个类型的行为数据对应的权重得分;
[0049] 将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘W得到评 估结果。
[0050]另外,在得到评估结果之后,还可W将所述评估结果换算为金额W及根据终端指 示进行数据交易。
[0051 ]其中,根据终端指示进行数据交易的步骤具体可W包括:
[0052] 对评估后的行为数据进行分类及整理;
[0053] 将所述分类及整理后的数据W列表的形式发送给所述终端;
[0054] 接收并保存所述终端提交的要出售的行为数据及其报价;
[0055] 从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成 交易。
[0056] 或者,根据终端指示进行数据交易的步骤具体还可W包括:
[0057] 对评估后的行为数据进行分类及整理;
[005引接收并保存数据买方通过终端提交的统计规则;
[0059] 根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行 为数据并计算数据价值;
[0060] 将所述数据价值发送给终端W与用户达成交易。
[0061] W下将通过具体的实施例来介绍本发明的实施过程。
[006^ 实施例一.
[0063] 在数据采集及处理之前,需要先与用户就数据采集达成一致。首先,由服务器向终 端发送数据采集请求,例如:可W通过将数据采集请求W签订协议等的形式发送给终端;当 终端接收到数据采集请求后,用户会根据情况决定是否可W采集相关数据,并将相应的响 应内容返回给服务器。当终端返回同意采集数据的响应内容后,服务器将根据与用户达成 的协议采集用户的行为数据。
[0064] 在进行用户的行为数据采集时,可W采用多种方式获取数据,例如:通过终端提交 (即:终端接收用户输入的数据并发送给服务器)、通过网络运营商获取、通过应用软件厂商 获取或/和通过手机的操作系统提供的应用程序编程接口获取等,可根据需要采集的数据 的不同类型进行选择。主要需要采集的行为数据例如包括:用户的基本身份信息及认证情 况、用户的手机套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机 应用软件使用情况、W及用户在每个手机应用软件上的行为轨迹等。
[0065] 其中,用户的基本身份信息主要包括:用户的身份标识、学历信息、职业信息和月 收入。运些行为数据的采集主要是通过终端提交的,亦即终端接收到用户手动输入的数据 后发送给服务器。服务器接收到运些行为数据后,将进行认证,例如:对用户的身份标识进 行认证,可通过与公安部的数据进行核对来进行;对用户的学历信息进行认证,可通过与学 信网的数据进行核对来进行;对职业信息和月收入进行认证,可通过用户填写信息并上传 证明文件来进行等。
[0066] 用户的手机套餐及使用情况主要包括:用户的月话费、手机号使用年限和数据流 量套餐等。运些行为数据的获取可W通过终端提交和/或从网络运营商处获得。由于之前已 获得用户的授权,可W采集该部分数据,因此,可从运营商处获得相关数据,同时还可W根 据相关数据划分为不同等级。
[0067] 用户的手机硬件信息主要指的是用户的手机型号等数据,该部分数据可通过手机 的操作系统提供的应用程序编程接口 API (Application Programming Interface)来获取。
[0068] 用户的行为习惯数据例如包括:用户的地理位置信息和闹钟信息等。该部分数据 可通过终端提交和/或通过手机的操作系统提供的API接口来获取。用户的行为习惯数据反 映了用户的活动范围、生活习惯等信息。例如:一个人的开车时间运个数据,可用于保险公 司在开展定制的保险业务时,依据运些数据反映的运个人的行车习惯确定不同程度的保 费。
[0069] 用户的手机应用软件使用情况主要包括:用户的手机应用软件的数量、类别、启动 次数、消耗流量、花费金额和运行时间等数据。该部分数据可通过终端提交和/或通过手机 的操作系统提供的API接口来获取。
[0070] 用户在每个手机应用软件上的行为轨迹例如:用户在每个APP上的浏览记录、捜索 记录等信息,可W通过终端提交、通过应用软件厂商获取和/或通过手机的操作系统提供的 API接口来获取。
[0071] 另外,采集的行为数据中还可W包括一些其他类型的数据,可根据需要选择相应 的采集方式。
[0072] 对需要的行为数据采集完毕后,将根据数据预处理规则对采集的行为数据进行过 滤。对数据进行筛选和过滤,是为了确保数据的准确性和相关性。
[0073] 由于通过应用软件厂商、网络运营商或通过手机的操作系统提供的应用程序编程 接口等途径获取的数据的详细情况不尽相同,因此,用户的具体的行为数据会需要通过终 端进行提交。例如:需要通过某厂商获取用户的行为数据,如果该厂商只愿提供用户一天内 的消费总额,而其他的消费记录都不提供,那么运个时候就需要用户手动提交每笔记录的 详情W及消费总额。但是通过终端提交的行为数据是由用户手动填写提交的,无法确保数 据的真实性,而运些数据会直接影响数据处理的结果,因此需要确保提交的行为数据的准 确性。在该例子中,可通过将从该厂商处获取的消费总额与终端提交的消费总额进行比对, 来确定用户填写的数据的准确性,从而可筛选过滤掉冲突的数据。也就是说,判断行为数据 的准确性的具体方法为:将通过终端提交的行为数据与通过其他采集方法获取的行为数据 进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其中,其他采集方 法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应 用程序编程接口获取。
[0074] 另外,由于在采集用户的行为数据时采用的是全量采集的方式,因此其中可能会 包含一些目前进行数据处理不相关的数据,但是随着社会发展变化,对不同类型的数据的 需求程度是会变化的,也就是说目前阶段一些没有用的数据,并不代表将来没有用处。相应 地,目前进行数据处理的数据也会不断地更新。因此,在进行数据处理前,需首先对所采集 的 行为数据进行统计分析,然后确定与当前数据处理相关的行为数据的参数,并保存在行 为数据最优参数表中,然后通过将采集的行为数据的参数与行为数据最优参数表进行比 对,从采集的行为数据中删除参数不包含在该行为数据最优参数表中的行为数据,从而得 到与本发明的数据处理相关的数据。
[0075] 之后,根据数据处理规则对过滤后的行为数据进行评估W得到评估结果。在进行 行为数据的评估时,可W按照W下步骤进行:
[0076] 根据所述行为数据的类型对所述过滤后的行为数据进行分类;
[0077] 计算每个类型的行为数据对应的权重得分;
[0078] 将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘W得到评 估结果。
[0079] 首先是根据进行数据采集时的行为数据的类型将过滤后的行为数据进行分类,主 要包括:用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信 息、用户的行为习惯数据、用户的手机应用软件使用情况、W及用户在每个手机应用软件上 的行为轨迹等几个类型,另外,根据需要还可W采集其他类型的数据。
[0080] 之后再计算每个类型的行为数据对应的权重得分。对每个类型的行为数据的权重 得分规则的设置可随需要进行调整,此处W字母A~G分别表示。
[0081] 对于用户的基本身份信息及认证情况,如果信息符合要求且认证成功,则可W给 出预定的权重得分A,否则,会进行相应百分比的折扣处理。
[0082] 对于用户的手机套餐及使用情况,可W将获得的数据进行分级别后给出权重得分 的方法来处理,比如可W根据用户的月话费金额划分为几个级别,按照级别分别给出权重 得分等,并使用同样的方法对手机号使用年限和数据流量套餐进行处理,最后将各权重得 分求和W得到用户的手机套餐及使用情况的权重得分B。
[0083] 对于用户的手机硬件信息,如果成功获取该数据则给出权重得分C,否则进行相应 百分比的折扣处理。
[0084] 对于用户的行为习惯数据,其中用户的地理位置信息GI^的权重得分,是通过判断 是否可W在持续的一段时间t内成功获取到用户的GPS信息,如果可W,则给出权重得分即 为满分;否则,当出现一段时间tl内未获取到数据时,权重得分即为"满分*(t-tl)/t"。对于 闹钟信息的权重得分,如果成功获取该数据则给出该项数据的权重得分,否则进行相应百 分比的折扣处理。之后,将用户的地理位置信息的权重得分与闹钟信息的权重得分进行求 和即可得到用户的行为习惯数据的权重得分D。
[0085] 对于用户的手机应用软件APP使用情况,需综合考虑APP数量,APP类别,APP启动次 数,APP消耗流量,APP花费金额,APP运行时间(在前台运行的时间)等几个方面。通过对实际 应用中的各APP的使用情况进行统计分析,可得出相应的得分规则。根据获取的参数来得到 用户的手机应用软件APP使用情况的权重得分可W包括如下的步骤SOI至步骤S06。
[0086] 步骤SOI:首先是根据APP的不同类别设置每个APP的类别加权参数P1,如果APP属 于较容易发生现金流(用户较容易花费流量及消费)并且是市场占有率高的APP,则设置其 权重得分高一些,否则设置权重得分低一些。
[0087] 步骤S02:计算每个APP的权重得分Q1,通过综合考虑该APP的启动次数、消耗流量、 花费金额及运行时间(在前台运行的时间)等因素来进行评分。单个APP的权重得分Q可分为 4个部分:启动次数权重得分(ql)、消耗流量权重得分(q2)、花费金额权重得分(q3)、运行时 间权重得分(q4)。
[0088] 本实施例中可采用统计处理的办法来计算得分。最初的一段时间为数据累积阶 段,该项得分可取固定值(例如:该APP得分总值的一定百分比)。等数据累积达到一定程度 后,得到各APP的运行情况的统计分布情况后再进行计算。W启动次数为例,启动次数权重 得分ql的计算方法如下:
[0089] 统计一段时间内所有用户每日启动该APP的次数,并求得其日均值η(根据实际情 况可设置为日均值、周均值等),并根据η的大小分为不同等级,然后根据待计算得分的用户 所处的等级确定得分。例如:可Wn/2、化为分割值划分为3个区间并分级计算得分。
[0090] 对消耗流量权重得分q2、花费金额权重得分q3和运行时间权重得分q4的计算方法 类似于启动次数权重得分ql的计算方法。
[0091] 从而,可得到每个APP的权重得分Q = ql+q化q3+q4。
[0092] 步骤S03:计算类别加权后每个APP的得分Q2 = Q1冲1,并根据得分高低进行排序。 假设共有APP数量为η,那么,排序后即为:Q2 (1)、Q2 (2)、Q2 (3)、…Q2 (η)。
[0093] 步骤S04:根据ΑΡΡ的数量计算每个ΑΡΡ的数量加权参数Ρ2。由于实际应用过程中, 使用频率高的用户ΑΡΡ数量并不会太多,一般会集中在某几个ΑΡΡ上。故可考虑设置当ΑΡΡ数 量在一定个数(例如:40个)时,用户的使用频率最高,权重得分增长幅度也最大,当超过该 个数时权重得分依然会增加,但是增长幅度会收敛于一个较小的值。故而,根据ΑΡΡ的数量η 的不同,可设置p2(l)=p2(2)=p2(3) = 0.12;n〉= 4时,p2(n)=0.07*0.89 - (n-4)。其中,Q2 (1)、口2(2)、口2(3)、。,2(11)分别为上述步骤503中排序后的92(1)、92(2)、92(3)、。'92(11)对 应的数量加权参数。
[0094] 步骤S05:计算数量加权后每个ΑΡΡ的得分Q3(N)=Q2(N)*p2(N),其中:Ν=1、2、 3、·..、η。
[OOM]步骤S06:计算该用户的手机应用软件APP使用情况的权重得分E,即:所有APP的Q3 (N)之和。
[0096] 通过上述的步骤SOI至步骤S06即可得到用户的手机应用软件APP使用情况的权重 得分E。
[0097] 最后,对于用户在每个手机应用软件上的行为轨迹,首先根据手机应用软件APP的 功能进行分类,然后对用户在每个类型的APP上的行为轨迹数据进行评分。例如,根据功能 可将常用的APP分为:电商类APP、浏览器类APP、影音类APP、运动类APP、阅读类APP等几类。 W对电商类APP产生的数据进行评分为例,设置每η条浏览记录权重得分为η 1,每η条购买 记录权重得分为Π 2,每η条在某一商品的运行时间权重得分为Π 3,···,等等。对于在一段时 间t内,重复记录的数据,其权重得分将W系数ρ(0命<1)几何衰减。从而可得到电商类ΑΡΡ上 的行为轨迹权重得分。同样地,用户在其他类型的ΑΡΡ上的行为轨迹的权重得分也可类似求 得。从而,可得到用户在每个手机应用软件上的行为轨迹的权重得分F。
[0098] 另外,在进行数据采集和处理时,还可W包括上述没有设及的其他类型的数据,设 定其权重得分为G。
[0099] 经过上述过程,即可得到每个类型的行为数据对应的权重得分。之后,将运些权重 得分求和后与预定的流量基数相乘即可得到评估结果。其中,流量基数可根据需要进行设 定。若Ww表示流量基数,WW表示评估结果,那么评估结果W=w*(A+化C+D+化F+G)。
[0100] 在得到评估结果后,可根据需要将评估结果换算为其他数据,例如,将该评估结果 换算为金额。根据市场利率,确定年利率P,则用户每日获得金额Y=W冲/365。为使用户得到 的金额Y能与用户的流量数据的价值E相匹配,可调整流量基数W。
[0101] 另外,在得到评估结果后,还可W根据终端指示进行数据交易。在进行数据交易 时,可W包括如下的两种方法。
[0102] 方法一:根据终端指示进行数据交易的过程主要包括如下的步骤S31至步骤S34。
[0103] 步骤S31:对评估后的行为数据进行分类及整理。服务器对评估后的行为数据进行 分类及整理时,主要执行的内容如下:
[0104] 1、将用户的隐私数据屏蔽起来,例如:用户通过终端提交的身份验证信息、职位信 息等,故而用户无法选择交易该部分隐私数据;
[0105] 2、将行为数据进行统计并模糊描述,例如:从运营商那里获取的每月的话费使用 情况,可能包含每个月通话多长时间,使用多少流量,使用多少短信等等,服务器会对该部 分数据进行统计,给出一些描述统计量,如均值,极值等,并通过终端展示给用户,而不会交 易详细的使用情况数据;
[0106] 3、根据交易数据设定标签,运样,既可具体信息交易,又可标签方式交易 的数据。比如某个用户的网上购物记录,有些购物记录对用户来说卖出去并不会造成什么 影响,因此可W选择W具体信息交易;但是如果用户不想让他人知道曾经买过什么,只想W 标签(记录某用户的特征,比如经常买手机,电子产品等,那么该用户的标签就是数码电子, 又如,某个用户经常买裙子,那么该用户的标签就是裙子)的形式出售数据,那么该用户就 可W选择只出售标签。
[0107] 步骤S32:将所述分类及整理后的数据W列表的形式发送给所述终端。服务器将评 估过的行为数据进行分类及整理后,W列表的形式将运些行为数据发送给终端W显示给用 户。用户在得到数据列表后,根据其中的内容,选择要出售的行为数据,并根 据之前的评估 结果给出报价,然后通过终端提交给服务器W进行处理。
[0108] 步骤S33:接收并保存所述终端提交的要出售的行为数据及其报价。
[0109] 步骤S34:从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据 买方达成交易。例如:数据买方选择"裙子""月收入10000元W上""韩式进口服装"等的3项 标签,那么他将得到同时具备运Ξ项标签的用户的一个统计信息,如:总共有1203429位运 样的用户,平均报价5.25元,最高报价9.23元,最低报价0.25元。此时,数据买方可根据自己 的需要设定能够接受的价位,如6元,那么6元W下的报价对应的行为数据将会全部成交。从 而,实现了与数据买方达成交易。
[0110] 方法二:根据终端指示进行数据交易的过程主要包括如下的步骤S41至步骤S44。
[0111] 步骤S41:对评估后的行为数据进行分类及整理。该步骤的执行过程及原理同方法 一步骤S31中所述。
[0112] 步骤S42:接收并保存数据买方通过终端提交的统计规则。数据买方可W根据自己 的需求提交自己的统计规则,其中包含了依据不同的结果提供的不同报价。例如:数据买方 需要统计患有糖尿病的病人的信息,那么可设定"患有糖尿病"的统计结果报价为100元,相 应的,"未患有糖尿病"的统计结果报价为1元。服务器接收并保存统计规则的同时,将与数 据买方签订保密协议,例如:不会W任何形式透露该数据买方提供的统计规则,也不会加 W 利用;并且由该统计规则得到的结果,不会展示给其他数据买方。
[0113] 步骤S43:根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方 需要的行为数据并计算数据价值。根据数据买方通过终端提交的统计规则中包含的需要统 计的数据项,W及不同数据项的不同结果对应的报价,可W从分类及整理后的数据中筛选 出数据买方需要的行为数据并计算数据价值。其中,统计规则中需要统计的数据项可W包 括一个或多个,每个数据项包括的内容可W不限于任何一种,且根据统计结果的不同给出 不同的报价。例如:当需要统计"身高为165cm的女性"的数据项时,可W根据统计出来的不 同结果给出不同的报价。相应地,在计算数据价值时,计算方法也不局限于不同项目的报价 的简单相加等,而是可W根据数据买方通过终端提交的统计规则中包含的计算方法来进 行。
[0114] 步骤S44:将所述数据价值发送给终端W与用户达成交易。服务器将根据该统计规 则计算的数据价值反馈给用户,由其根据统计结果的内容W及数据买方的报价选择是否交 易该项数据。从而,实现与用户达成交易的过程。同时,在与用户进行交易的过程中,也会严 格保护用户隐私,充分给予用户自主选择的权利。
[0115] 如上所述的两种方法,均可W通过本发明提供的服务器实现用户和数据买方的交 易。
[0116] 另外,本发明的服务器还可W提供信息渠道的功能,例如:数据买方在购买了 W上 数据之后,想要向运部分用户推送一则最新款的裙子的广告W及链接,那么数据买方可W 通过本发明提供的渠道,W视频,网页等形式展示给用户,需要购买运件商品的用户便可W 购买运件商品。
[0117] 实施例二:
[0118] 本发明的实施过程还可W按照如下的步骤S50至步骤S59来具体执行。
[0119] 步骤S50:获取用户行为数据(获取的行为数据如上述实施例一中出现的主要需要 采集的行为数据,例如包括:用户的基本身份信息及认证情况、用户的手机套餐及使用情 况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情况、W及用户 在每个手机应用软件上的行为轨迹等)。记对于第i个用户获取的数据为向量XU(i),称之为 一条观测,运个向量中每个分量为一个变量,令全部变量个数为P,记变量向量
[0120] XU=(XUi,XU2-'XUp)\
[0121] 步骤S51:分析市场上的数据价格情况(可参考贵阳大数据交易所数据交易价格), 记市场上的数据标签(标签:对一类具有一定共性用户特征的描述)向量为:
[0122] )(L=(Xl^i,XL2.''XLn)\
[0123] 对每一条数据交易,交易价格记为yi。
[0124] 其中,数据获取状态向量S,其各分量记录标签向量化的每个分量获取与否,获取 时为1,未获取时为0。
[0125] 假设:在交易的各种数据,其标签类别可W是全部标签变量化的任意组合,并且确 实有足够的运样的数据交易存在。
[0126] 在满足如上假设的条件下,市场上每条交易数据的状态向量记为Sl(i),共有交易 数据m条,每条交易价格为yi,那么样本数据阵SA:
[0127]
[012引价格向量Y:
[0129]
[0130] 步骤S52:对采集的行为数据,采取逐步回归的方法,确定最优变量及变量权重。记 最优变量向量的状态向量为SR,那么
[0131] y = 0'SR。
[0132] 其中:
[0133] SR=(Sii,Si2---Sir)',
[0134] 回归系数:
[013 引 0=(i3ii,i3i2...i3ir),,
[0136] 相应的最优数据标签为:
[0137] XLR=(XLii,Xk2'''Xkr)',
[0138] 其中最优变量集合满足:
[0139]
[0140] 步骤S53:根据获取的用户行为数据确定第i个用户的标签向量,记为X化(1),
[0141] XULw = (XLji,XLj2...)(Ljs)',
[0142] 且
[0143]
[0144] 然后确定第i个用户数据的状态向量SU(i),当能从获取的用户数据得到最优变量 标签XLR中的某一分量时,运一分量对应的在SU中的状态记为1,否则为0。
[0145] 步骤S54:计算第i个用户的数据价值Wi:
[0146] Wi=rSUw。
[0147] 步骤S55:在市场上存在交易的标签的基础上,增加分析出更多的标签,记新标签 向量为XLP,标签数量变为114个。则:
[0148] XLP= a。,XL2...XLn,Xl^(n+l)...Xl^(n+t)),。
[0149] 步骤S56:在新的标签向量化P下,对用户标签数据化Pw做聚类分析,先随机抽取 部分样本做系统聚类,再W每类重屯、做为凝聚点做动态聚类。从而,可分为Gi,G2,G3…Gq共q 类。
[0150] 步骤S57:分类进行逐步回归,在类Gj内(j = 1,2···q),样本数据阵为GjA:
[0151]
[0152] 用户数据价值向量Wj:
[015;3] Wj=(Wji,Wj2...W*)',
[0154] 逐步回归可得
[0155] WGj = aj'Xb,
[0156] 其中,Xb为全部标签的最优向量。
[0157] 步骤S58:依据上述的分类,分别计算每类数据中第i个用户的流量资产:
[015 引 Wi = aj,Xb(u。
[0159] 步骤S59:计算用户的每日获得流量资产。根据市场利率,确定年利率r,则用户每 日可W获得财富为:
[0160] zi=Wi*;r/365。
[0161 ]用户每日所得将W现金或其它方式返还给用户。
[0162] 另外,用户还可W根据自己的需求,通过服务器实现与数据买方的交易等操作,方 法同实施例一中所介绍的方法一和/或方法二。
[0163] W上已通过具体的实施例介绍了本发明的实施过程。
[0164] 图2是根据本发明实施例的一种数据处理装置的模块示意图。如图2所示,本发明 的数据处理装置20主要包括:请求发送模块21、数据采集模块22、数据过滤模块23和数据评 估模块24。另外,根据本发明实施例的技术方案,本发明的数据处理装置20还可W包括数据 交易模块25。
[0165] 请求发送模块21用于向终端发送数据采集请求;数据采集模块22用于接收终端返 回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端 提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序 编程接口获取;数据过滤模块23用于根据数据预处理规则对采集的行为数据进行过滤;数 据评估模块24用于根据数据处理规则对过滤后的行为数据进行评估W得到评估结果。
[0166] 其中,行为数据主要包括但不限于:用户的基本身份信息及认证情况、用户的手机 套餐及使用情况、用户的手机硬件信息、用户的行为习惯数据、用户的手机应用软件使用情 况、W及用户在每个手机应用软件上的行为轨迹。
[0167] 数据过滤模块23还可W用于,将通过终端提交的行为数据与通过其他采集方法获 取的行为数据进行比对,删除所述通过终端提交的行为数据中经核实有误的行为数据,其 中,所述其他采集方法包括:通过应用软件厂商获取、通过网络运营商获取和/或通过手机 的操作系统提供的应用程序编程接口获取;通过将所述采集的行为数据的参数与行为数据 最优参数表进行比对,从所述采集的 行为数据中删除所述参数不包含在所述行为数据最优 参数表中的行为数据,其中,所述行为数据最优参数表为事先对所采集的行为数据统计分 析得到的,且该行为数据最优参数表中保存了与当前数据处理相关的行为数据的参数。
[0168] 数据评估模块24还可W用于根据所述行为数据的类型对所述过滤后的行为数据 进行分类;计算每个类型的行为数据对应的权重得分;将所述每个类型的行为数据的权重 得分求和后与预定的流量基数相乘W得到评估结果。
[0169] 另外,本发明的数据处理装置还可W包括数据交易模块25,用于在得到评估结果 之后,将所述评估结果换算为金额W及根据终端指示进行数据交易。
[0170] 其中,数据交易模块25还可W用于对评估后的行为数据进行分类及整理;将所述 分类及整理后的数据W列表的形式发送给所述终端;接收并保存所述终端提交的要出售的 行为数据及其报价;从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据 买方达成交易。
[0171] 或者,数据交易模块25还可W用于对评估后的行为数据进行分类及整理;接收并 保存数据买方通过终端提交的统计规则;根据所述统计规则从所述分类及整理后的数据中 筛选出所述数据买方需要的行为数据并计算数据价值;将所述数据价值发送给终端W与用 户达成交易。
[0172] 根据本发明实施例的技术方案,通过多种方法全量采集用户的行为数据,可W建 立动态、完整的用户行为数据库,W便能更全面地处理和使用用户的行为数据;按照数据预 处理规则对采集的行为数据进行过滤,可W确保获取W及处理的数据的真实性和准确性; 按照对应的数据处理规则对不同类型的数据进行评估,并将评估结果换算为金额等数据, 可W将用户的行为数据流量资产化,从而推动了 W用户为主体的自主流量分享和交易,W 及提高了用户数据流量的利用率。
[0173] 在本发明中,将评估结果换算为金额等数据后,用户还可W根据评估金额自主地 挂牌交易自己的数据。数据的买方必须经过审核,且签署用户数据保密协议等之后,方可购 买流量数据。
[0174] 上述【具体实施方式】,并不构成对本发明保护范围的限制。本领域技术人员应该明 白的是,取决于设计要求和其他因素,可W发生各种各样的修改、组合、子组合和替代。任何 在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围 之内。
【主权项】
1. 一种数据处理方法,其特征在于,包括: 向终端发送数据采集请求; 接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法 包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统 提供的应用程序编程接口获取; 根据数据预处理规则对采集的行为数据进行过滤; 根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。2. 根据权利要求1所述的方法,其特征在于,所述行为数据包括但不限于: 用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、 用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的 行为轨迹。3. 根据权利要求2所述的方法,其特征在于,所述用户的基本身份信息包括: 用户的身份标识、学历信息、职业信息和月收入。4. 根据权利要求2所述的方法,其特征在于,所述用户的手机套餐及使用情况包括: 用户的月话费、手机号使用年限和数据流量套餐。5. 根据权利要求2所述的方法,其特征在于,所述用户的行为习惯数据包括: 用户的地理位置信息和闹钟信息。6. 根据权利要求2所述的方法,其特征在于,所述用户的手机应用软件使用情况包括: 用户的手机应用软件的数量、类别、启动次数、消耗流量、花费金额和运行时间。7. 根据权利要求1所述的方法,其特征在于,根据数据预处理规则对采集的行为数据进 行过滤的步骤包括: 将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述 通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应 用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接 口获取; 通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行 为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为 数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中 保存了与当前数据处理相关的行为数据的参数。8. 根据权利要求1所述的方法,其特征在于,根据数据处理规则对过滤后的行为数据进 行评估以得到评估结果的步骤包括: 根据所述行为数据的类型对所述过滤后的行为数据进行分类; 计算每个类型的行为数据对应的权重得分; 将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结 果。9. 根据权利要求1所述的方法,其特征在于,在得到评估结果之后,还包括: 将所述评估结果换算为金额以及根据终端指示进行数据交易。10. 根据权利要求9所述的方法,其特征在于,所述根据终端指示进行数据交易的步骤 包括: 对评估后的行为数据进行分类及整理; 将所述分类及整理后的数据以列表的形式发送给所述终端; 接收并保存所述终端提交的要出售的行为数据及其报价; 从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。11. 根据权利要求9所述的方法,其特征在于,所述根据终端指示进行数据交易的步骤 包括: 对评估后的行为数据进行分类及整理; 接收并保存数据买方通过终端提交的统计规则; 根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数 据并计算数据价值; 将所述数据价值发送给终端以与用户达成交易。12. -种数据处理装置,其特征在于,包括: 请求发送模块,用于向终端发送数据采集请求; 数据采集模块,用于接收终端返回的同意采集数据的响应后,采集用户的行为数据,其 中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通 过手机的操作系统提供的应用程序编程接口获取; 数据过滤模块,用于根据数据预处理规则对采集的行为数据进行过滤; 数据评估模块,用于根据数据处理规则对过滤后的行为数据进行评估以得到评估结 果。13. 根据权利要求12所述的装置,其特征在于,所述行为数据包括但不限于: 用户的基本身份信息及认证情况、用户的手机套餐及使用情况、用户的手机硬件信息、 用户的行为习惯数据、用户的手机应用软件使用情况、以及用户在每个手机应用软件上的 行为轨迹。14. 根据权利要求12所述的装置,其特征在于,所述数据过滤模块还用于: 将通过终端提交的行为数据与通过其他采集方法获取的行为数据进行比对,删除所述 通过终端提交的行为数据中经核实有误的行为数据,其中,所述其他采集方法包括:通过应 用软件厂商获取、通过网络运营商获取和/或通过手机的操作系统提供的应用程序编程接 口获取; 通过将所述采集的行为数据的参数与行为数据最优参数表进行比对,从所述采集的行 为数据中删除所述参数不包含在所述行为数据最优参数表中的行为数据,其中,所述行为 数据最优参数表为事先对所采集的行为数据统计分析得到的,且该行为数据最优参数表中 保存了与当前数据处理相关的行为数据的参数。15. 根据权利要求12所述的装置,其特征在于,所述数据评估模块还用于: 根据所述行为数据的类型对所述过滤后的行为数据进行分类; 计算每个类型的行为数据对应的权重得分; 将所述每个类型的行为数据的权重得分求和后与预定的流量基数相乘以得到评估结 果。16. 根据权利要求12所述的装置,其特征在于,还包括: 数据交易模块,用于在得到评估结果之后,将所述评估结果换算为金额以及根据终端 指示进行数据交易。17. 根据权利要求16所述的装置,其特征在于,所述数据交易模块还用于: 对评估后的行为数据进行分类及整理; 将所述分类及整理后的数据以列表的形式发送给所述终端; 接收并保存所述终端提交的要出售的行为数据及其报价; 从所述要出售的行为数据及其报价中筛选出符合条件的数据并与数据买方达成交易。18. 根据权利要求16所述的装置,其特征在于,所述数据交易模块还用于: 对评估后的行为数据进行分类及整理; 接收并保存数据买方通过终端提交的统计规则; 根据所述统计规则从所述分类及整理后的数据中筛选出所述数据买方需要的行为数 据并计算数据价值; 将所述数据价值发送给终端以与用户达成交易。
【专利摘要】本发明提供一种数据处理方法及装置,能够实现用户流量数据的处理及评估,并进一步推动以用户为主体的自主流量分享和交易,从而提高全球用户流量数据的利用率。本发明的数据处理方法包括:向终端发送数据采集请求;接收终端返回的同意采集数据的响应后,采集用户的行为数据,其中,所述采集的方法包括:通过终端提交、通过网络运营商获取、通过应用软件厂商获取、通过手机的操作系统提供的应用程序编程接口获取;根据数据预处理规则对采集的行为数据进行过滤;根据数据处理规则对过滤后的行为数据进行评估以得到评估结果。
【IPC分类】H04L12/14
【公开号】CN105490823
【申请号】CN201510989884
【发明人】原肇
【申请人】原肇, 张烘, 郝俊晓
【公开日】2016年4月13日
【申请日】2015年12月24日

最新回复(0)