基于商品图像特征的个性化搜索装置及方法

基于商品图像特征的个性化搜索装置及方法
【技术领域】
[0001] 本发明设及一种电子商务领域中基于商品图像特征的个性化捜索装置及方法。
【背景技术】
[0002] 现有的个性化捜索，一般先进行用户、商品、场景的语义、统计、文字等的特征提 取，然后根据各种捜索、排序算法得到最后的结果。在现有捜索中，鲜有基于用户浏览商品 图片的行为进行个性化捜索。

【发明内容】

[0003] 本发明提供一种基于商品图像特征的个性化捜索装置及方法，其根据电子商务领 域的商品图像，利用神经网络提取出商品图像的深层抽象语义特征向量，按品类把用户的 浏览行为进行归类，根据提取出的深层抽象语义特征向量，计算出用户在各个品类下的兴 趣权重，对于每个用户按品类利用兴趣权重得到用户在该品类下的排序值结果，用于个性 化的捜索，由此能够增加用户在多个维度上的体验值。
[0004] 本发明的基于商品图像特征的个性化捜索装置，其包括：
[0005] 特征提取模块，其利用神经网络模型，按品类提取图像的抽象语义特征向量；
[0006] 品类图像计算模块，其接收从所述特征提取模块推送来的图像的抽象语义特征向 量，对于每一维度的抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一 维度做归一化处理；
[0007] 用户浏览行为权重计算模块，其对用户浏览的所有对应的图像按品类提取相应归 一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
[000引排序模块，其根据从所述用户浏览行为权重计算模块推送来的每个用户在某一品 类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到 用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分 值高的规定张图像之后入库；
[0009] 捜索调用模块，其根据所述排序模块的排序值结果，进行个性化的捜索。
[0010] 本发明的基于商品图像特征的个性化捜索方法，其包括：
[0011] 特征提取步骤，利用神经网络模型，按品类提取图像的抽象语义特征向量；
[0012] 品类图像计算步骤，对于每一维度的所述抽象语义特征向量分别计算在该维度下 的均值与方差，并且按照每一维度做归一化处理；
[0013] 用户浏览行为权重计算步骤，其对用户浏览的所有对应的图像按品类提取相应归 一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
[0014] 排序步骤，根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没 有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然 后根据所得到的得分值进行排序，选取得分值高的规定张图像之后入库；
[0015] 捜索调用步骤，根据所述排序步骤的排序值结果，进行个性化的捜索。
[0016] 发明的效果
[0017] 本发明是针对电子商务领域的商品图像，结合图像的深度语义特征，根据用户的 浏览行为，进行个性化捜索，由此能够增加用户在多个维度上的体验值。
【附图说明】
[001引图1是表示本发明所设及的基于商品图像特征的个性化捜索装置的框图。
[0019] 图2是表示本发明所设及的基于商品图像特征的个性化捜索方法的流程图。
【具体实施方式】
[0020] 为使本发明的目的、技术方案和优点更加清楚明白，W下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0021] 本发明主要利用神经网络进行图像的抽象语义特征向量提取，计算品类下所有图 像的特征向量在每一维度下的均值与方差，根据每一个用户浏览的图像，对每一个浏览行 为按照提取出来的特征向量归一化后求和处理，得到该用户的兴趣权重，然后用该个兴趣 权重对该品类下每张图像的特征向量做内积而得到该图像的得分值，然后排序之后的结果 用于个性化捜索。
[0022] 图1是表示本发明所设及的基于商品图像特征的个性化捜索装置1的框图。
[0023] 本发明所设及的基于商品图像特征的个性化捜索装置1主要包括特征提取模块 2、品类图像计算模块3、用户浏览行为权重计算模块4、排序模块5及捜索调用模块6。
[0024] 特征提取模块2利用神经网络模型，按品类提取图像的抽象语义特征向量，并将 该抽象语义特征向量推送至品类图像计算模块3。
[0025] 由于从图像提取出来的抽象语义特征向量，在多维分布上存在很大的不均衡性， 因此为了避免部分偏移量过大带来的影响，需要每多维分布进行归一化处理。为此，品类图 像计算模块3接收从特征提取模块2推送来的图像的抽象语义特征向量，对于每一维度的 抽象语义特征向量分别计算在该维度下的均值与方差0 1，并且对于图像的抽象语义特 征向量，按照每一维度做归一化处理
[0026]
[0027] 在用户浏览行为权重计算模块4中，对浏览行为进行去重处理（多次浏览相同归 成一次），W避免用户错误点击造成的影响，另外，对用户浏览的所有对应的图像按品类提 取相应归一化的特征向量进行求和，得到该用户在各个品类下的兴趣权重向量，并将得到 的用户在各个品类下的兴趣权重向量推送至排序模块5。
[002引排序模块5根据从用户浏览行为权重计算模块4推送来的每个用户在某一品类下 的兴趣权重向量（Wi，W2,…，W。，），对该品类下用户没有观看的图像对应的特征向量做内积
得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值 进行排序，选取Top-N之后入库，所有品类都根据W上步骤进行。
[0029] 在捜索调用模块6中，可W有W下两种策略进行选择：
[0030] (1)对应现有的捜索结果，查看每一个商品对应图像的得分值，最后在捜索结果中 进行排序并输出；或者
[003U(2)对于捜索词进行语义分析后，对应到某一品类，取该一个品类Top-N图像对应 的商品作为个性化的捜索结果。
[0032] 根据上述本发明的基于商品图像特征的个性化捜索装置1，通过结合图像的深度 语义特征，根据用户的浏览行为，进行个性化捜索，从而能够增加用户在多个维度上的体验 值。
[0033] 下面，结合图2来说明本发明所设及的基于商品图像特征的个性化捜索方法。
[0034] 图2是表示本发明所设及的基于商品图像特征的个性化捜索方法的流程图。
[0035] 如图2所示，首先在特征提取步骤S1中，主要包括W下两个子步骤：
[0036] (1)利用神经网络模型，按品类提取图像的抽象语义特征向量；
[0037] (2)将提取的图像深层特征向量推送至品类图像计算步骤。
[003引 由于从图像提取出来的抽 象语义特征向量，在多维分布上存在很大的不均衡性， 因此为了避免部分偏移量过大带来的影响，需要每多维分布进行归一化处理。
[0039] 为此，在品类图像计算步骤S2中，包括W下两个子步骤：
[0040] (1)对于每一维度的抽象语义特征向量分别计算在该维度下的均值与方差 0 i;
[0041] (2)对于图像的抽象语义特征向量，按照每一维度做归一化处理
[0042]
[0043] 接着，在用户浏览行为权重计算步骤S3中，主要包括W下=个子步骤：
[0044] (1)对浏览行为进行去重处理，W避免用户错误点击造成的影响；
[0045] (2)对用户浏览的所有对应的图像按品类提取相应归一化的特征向量进行求和， 得到该用户在各个品类下的兴趣权重向量；
[0046] (3)把得到的用户在各个品类下的所有兴趣权重向量推送至排序步骤。
[0047] 接着，在排序步骤S4中，根据每个用户在某一品类下的兴趣权重向量，对该品类 下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得 分值，然后根据所得到的得分值进行排序选取Top-N之后入库，所有品类都根据W上步骤 进行。
[0048] 接着，在捜索调用步骤S5中，可W有两种策略进行选择：
[0049] (1)对应现有的捜索结果，查看每一个商品对应图像的得分值，最后在捜索结果中 进行排序并输出；
[0化日](2)对于捜索词进行语义分析后，对应到某一品类，取该一个品类Top-N图像对应 的商品作为个性化的捜索结果。
[0化1] 根据上述本发明的基于商品图像特征的个性化捜索方法，通过结合图像的深度语 义特征，根据用户的浏览行为，进行个性化捜索，从而能够增加用户在多个维度上的体验 值。
[0052] 另外，兴趣权重向量计算方式不同会影响最终的结果，用户浏览周期不同、W及考 虑用户对商品购买欲望的衰减不同，也会影响最终的结果。
[0053]W上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，W上所述仅为本发明的【具体实施方式】而已，并不用于限制本发 明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。
【主权项】
1. 一种基于商品图像特征的个性化搜索装置，其包括： 特征提取模块，其利用神经网络模型，按品类提取图像的抽象语义特征向量； 品类图像计算模块，其接收从所述特征提取模块推送来的图像的抽象语义特征向量， 对于每一维度的抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度 做归一化处理； 用户浏览行为权重计算模块，其对用户浏览的所有对应的图像按品类提取相应归一化 的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量； 排序模块，其根据从所述用户浏览行为权重计算模块推送来的每个用户在某一品类下 的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户 没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分值高 的规定张图像之后入库； 搜索调用模块，其根据所述排序模块的排序值结果，进行个性化的搜索。2. 根据权利要求1所述基于商品图像特征的个性化搜索装置，其特征在于， 所述搜索调用模块对应现有的搜索结果，查看每一个商品对应图像的得分值，最后在 搜索结果中进行排序并输出。3. 根据权利要求1所述基于商品图像特征的个性化搜索装置，其特征在于， 所述搜索调用模块在对用户的搜索词进行语义分析后，将其对应到某一品类，取这一 个品类得分值高的规定张图像对应的商品作为个性化的搜索结果。4. 根据权利要求1~3的任一项所述基于商品图像特征的个性化搜索装置，其特征在 于， 在设所述均值为Ui，所述方差为〇^寸，所述归一化处理的结果为5. 根据权利要求1~3的任一项所述基于商品图像特征的个性化搜索装置，其特征在 于， 在所述用户浏览行为权重计算模块中，对浏览行为进行去重处理。6. -种基于商品图像特征的个性化搜索方法，其包括： 特征提取步骤，利用神经网络模型，按品类提取图像的抽象语义特征向量； 品类图像计算步骤，对于每一维度的所述抽象语义特征向量分别计算在该维度下的均 值与方差，并且按照每一维度做归一化处理； 用户浏览行为权重计算步骤，其对用户浏览的所有对应的图像按品类提取相应归一化 的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量； 排序步骤，根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观 看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根 据所得到的得分值进行排序，选取得分值高的规定张图像之后入库； 搜索调用步骤，根据所述排序步骤的排序值结果，进行个性化的搜索。7. 根据权利要求6所述基于商品图像特征的个性化搜索装置，其特征在于， 在所述搜索调用步骤中，对应现有的搜索结果，查看每一个商品对应图像的得分值，最 后在搜索结果中进行排序并输出。8. 根据权利要求6所述基于商品图像特征的个性化搜索装置，其特征在于， 在所述搜索调用步骤中，在对用户的搜索词进行语义分析后，将其对应到某一品类，取 这一个品类得分值高的规定张图像对应的商品作为个性化的搜索结果。9. 根据权利要求6~8的任一项所述基于商品图像特征的个性化搜索装置，其特征在 于， 在设所述均值为Ui，所述方差为〇^寸，所述归一化处理的结果为10. 根据权利要求6~8的任一项所述基于商品图像特征的个性化搜索装置，其特征在 于， 在所述用户浏览行为权重计算步骤中，对浏览行为进行去重处理。
【专利摘要】本发明公开一种基于商品图像特征的个性化搜索装置，其包括：特征提取模块，其利用神经网络模型提取图像的抽象语义特征向量；品类图像计算模块，其对于每一维度的所述抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；用户浏览行为权重计算模块，其对用户浏览的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；排序模块，其根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到每一张图像对应的得分值，根据该得分值进行排序，选取得分值高的规定张图像之后入库；搜索调用模块，其根据排序值结果，进行个性化搜索。
【IPC分类】G06Q30/02, G06F17/30
【公开号】CN104881798
【申请号】CN201510303163
【发明人】布如国, 牟川
【申请人】北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司
【公开日】2015年9月2日
【申请日】2015年6月5日