一种敏感信息检测方法、装置及设备与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。在一些可能的实施方式中，根据本技术的敏感信息检测设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的敏感信息检测方法中的步骤。下面参照图4来描述根据本技术的这种实施方式的敏感信息检测设备170。图4显示的敏感信息检测设备170仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图4所示，敏感信息检测设备170的组件可以包括但不限于：上述至少一个处理器171、上述至少一个存储器172、连接不同系统组件(包括存储器172和处理器171)的总线173。总线173表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。存储器172可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1721和/或高速缓存存储器1722，还可以进一步包括只读存储器(rom)1723。存储器172还可以包括具有一组(至少一个)程序模块1724的程序/实用工具1725，这样的程序模块1724包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。敏感信息检测设备170也可以与一个或多个外部设备174(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与敏感信息检测设备170交互的设备通信，和/或与使得该敏感信息检测设备170能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口175进行。并且，敏感信息检测设备170还可以通过网络适配器176与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器176通过总线173与用于敏感信息检测设备170的其它模块通信。应当理解，尽管图中未示出，可以结合敏感信息检测设备170使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。在一些可能的实施方式中，本技术提供的一种敏感信息检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的一种敏感信息检测方法中的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。本技术的实施方式的用于敏感信息检测的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在电子设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和/或方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

背景技术：

1、随着互联网技术的发展，海量的数据信息在互联网上传播，各种开源平台纷纷涌现。但由于开源平台可供所有人查阅、修改及使用，如果用户使用不当，例如将涉及个人隐私、财产安全或信息安全等敏感信息的源代码上传到开源平台的代码库，将会导致敏感信息的泄漏，造成极大的安全隐患，给相关个人、企业或组织机构造成严重的损失。

2、因此，需要一种对平台代码库中的敏感信息进行检测的方法。

技术实现思路

1、本发明提供了一种敏感信息检测方法、装置及设备，用于对平台代码库中的敏感信息进行检测。

2、第一方面，本技术实施例提供一种敏感信息检测方法，包括：

3、响应于对敏感信息进行检测的指示，基于正则表达式对待测代码库进行匹配，得到至少一个候选信息，每个候选信息中包括代码片段以及上述代码片段对应的路径信息；

4、针对每个路径信息，将上述路径信息分割为多个词单元，并基于各词单元之间的上下文关系，预测上述路径信息对应的类别，上述类别用于表征上述路径信息对应的各代码片段中是否包括敏感信息；

5、针对每个代码片段，对上述代码片段进行数据增强，得到目标代码片段；

6、针对任一候选信息，基于对应的目标代码片段以及路径信息的类别，确定上述候选信息是否属于敏感信息。

7、在一种可能的实施方式中，将上述路径信息分割为多个词单元，包括：

8、对上述路径信息进行过滤，并按照分隔符对过滤后的路径信息进行分割，得到多个信息分块；

9、分别对各信息分块依次进行词干化处理以及词序化处理，得到上述路径信息对应的多个词单元；其中，上述词序化处理用于：按照上述路径信息中词单元的排列顺序，对将词干化处理后得到的各个词单元进行排序。

10、在一种可能的实施方式中，基于各词单元之间的上下文关系，预测上述路径信息对应的类别，包括：

11、基于各词单元的文本内容以及上下文关系，生成各词单元分别对应的词向量；

12、基于上述路径信息对应的各词向量，对上述路径信息进行分类，得到与上述路径信息对应的类别。

13、在一种可能的实施方式中，对上述代码片段进行数据增强，得到目标代码片段，包括：

14、对上述代码片段迭代执行如下操作，至满足预设的迭代停止条件，将最后一次迭代过程中得到的目标结果作为上述目标代码片段：

15、基于预设策略对当前状态变量进行修改，得到各预设策略对应的候选结果；上述状态变量为上一次迭代过程中得到的目标结果；上述预设策略包括如下至少一项:对上述代码片段中的变量名进行修改，对上述代码片段中的函数名进行修改，对上述代码片段的编程模式进行修改；

16、确定各项候选结果对应的评分值，基于评分值从各项候选结果中选择目标结果；上述评分值用于表征各项候选结果对敏感信息检测效率的影响程度。

17、在一种可能的实施方式中，对上述代码片段进行数据增强之前，上述方法还包括：

18、基于snippet模型对上述代码片段中的无效数据进行识别和过滤；

19、上述对上述代码片段进行数据增强，包括：

20、对过滤后得到的代码片段进行数据增强。

21、在一种可能的实施方式中，基于对应的目标代码片段以及路径信息的类别，确定上述候选信息是否属于敏感信息，包括：

22、基于上述路径信息的类别，确定上述路径信息中包括敏感信息时，从上述目标代码片段中提取变量信息，上述变量信息包括变量名和变量值；

23、将提取到的变量信息输入分类模型，基于上述分类模型预测上述变量信息属于敏感信息的概率，并在上述概率高于预设阈值时，确定上述候选信息属于敏感信息；其中，上述分类模型为基于样本集训练得到的，上述样本集中包括属于敏感信息的第一样本以及不属于敏感信息的第二样本。

24、在一种可能的实施方式中，该方法还包括：

25、若基于上述路径信息的类别确定上述路径信息中不包括敏感信息，或者未从上述目标代码片段中提取到变量信息，则确定上述候选信息不属于敏感信息。

26、第二方面，本技术实施例还提供一种敏感信息检测装置，包括：

27、匹配单元，用于响应于对敏感信息进行检测的指示，基于正则表达式对待测代码库进行匹配，得到至少一个候选信息，每个候选信息中包括代码片段以及上述代码片段对应的路径信息；

28、预测单元，用于针对每个路径信息，将上述路径信息分割为多个词单元，并基于各词单元之间的上下文关系，预测上述路径信息对应的类别，上述类别用于表征上述路径信息对应的各代码片段中是否包括敏感信息；

29、数据增强单元，用于针对每个代码片段，对上述代码片段进行数据增强，得到目标代码片段；

30、确定单元，用于针对任一候选信息，基于对应的目标代码片段以及路径信息的类别，确定上述候选信息是否属于敏感信息。

31、在一种可能的实施方式中，上述预测单元，具体用于：

32、对上述路径信息进行过滤，并按照分隔符对过滤后的路径信息进行分割，得到多个信息分块；

33、分别对各信息分块依次进行词干化处理以及词序化处理，得到上述路径信息对应的多个词单元；其中，上述词序化处理用于：按照上述路径信息中词单元的排列顺序，对将词干化处理后得到的各个词单元进行排序。

34、在一种可能的实施方式中，上述预测单元，具体用于：

35、基于各词单元的文本内容以及上下文关系，生成各词单元分别对应的词向量；

36、基于上述路径信息对应的各词向量，对上述路径信息进行分类，得到与上述路径信息对应的类别。

37、在一种可能的实施方式中，上述数据增强单元，具体用于：

38、对上述代码片段迭代执行如下操作，至满足预设的迭代停止条件，将最后一次迭代过程中得到的目标结果作为上述目标代码片段：

39、基于预设策略对当前状态变量进行修改，得到各预设策略对应的候选结果；上述状态变量为上一次迭代过程中得到的目标结果；上述预设策略包括如下至少一项:对上述代码片段中的变量名进行修改，对上述代码片段中的函数名进行修改，对上述代码片段的编程模式进行修改；

40、确定各项候选结果对应的评分值，基于评分值从各项候选结果中选择目标结果；上述评分值用于表征各项候选结果对敏感信息检测效率的影响程度。

41、在一种可能的实施方式中，上述数据增强单元对上述代码片段进行数据增强之前，还用于：

42、基于snippet模型对上述代码片段中的无效数据进行识别和过滤；

43、上述对上述代码片段进行数据增强，包括：

44、对过滤后得到的代码片段进行数据增强。

45、在一种可能的实施方式中，上述确定单元，具体用于：

46、基于上述路径信息的类别，确定上述路径信息中包括敏感信息时，从上述目标代码片段中提取变量信息，上述变量信息包括变量名和变量值；

47、将提取到的变量信息输入分类模型，基于上述分类模型预测上述变量信息属于敏感信息的概率，并在上述概率高于预设阈值时，确定上述候选信息属于敏感信息；其中，上述分类模型为基于样本集训练得到的，上述样本集中包括属于敏感信息的第一样本以及不属于敏感信息的第二样本。

48、在一种可能的实施方式中，上述确定单元还用于：

49、若基于上述路径信息的类别确定上述路径信息中不包括敏感信息，或者未从上述目标代码片段中提取到变量信息，则确定上述候选信息不属于敏感信息。

50、第三方面，本技术实施例还提供了一种敏感信息检测设备，包括至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本技术实施例第一方面提供的敏感信息检测方法。

51、第四方面，本技术另一实施例还提供了一种计算机存储介质，上述计算机存储介质存储有计算机程序，上述计算机程序用于使计算机够执行本技术实施例第一方面提供的敏感信息检测方法。

52、第五方面，本技术另一实施例还提供了一种计算机程序产品，包括计算机程序/指令，上述计算机程序/指令被处理器能够执行本技术实施例第一方面提供的敏感信息检测方法。

53、基于上述方案，具备如下有益效果：

54、本技术通过基于正则表达式对待测代码库进行匹配，初步筛选出可能包括敏感信息的候选信息，在筛选过程中除代码片段本身外还对路径信息进行筛选，便于后续参考路径信息辅助判断代码片段本身是否包括敏感信息，提高准确率；对于路径信息，通过将其进行次单元分割以及基于上下文关系预测其分类，能够确定该路径信息下是否包括敏感信息，辅助后续对代码片段进行检查，提高检测效率；通过对代码片段本身进行数据增强，得到目标代码片段，能够降低后续过拟合风险；基于目标代码片段以及路径信息的类别确定是否属于敏感信息，可以有效提高敏感信息的检出效率及准确率，降低误报概率，且该方案可自动实现，无需人工参与。

55、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种敏感信息检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述路径信息分割为多个词单元，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于各词单元之间的上下文关系，预测所述路径信息对应的类别，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述代码片段进行数据增强，得到目标代码片段，包括：

5.根据权利要求1或4所述的方法，其特征在于，所述对所述代码片段进行数据增强之前，所述方法还包括：

6.根据权利要求1～4任一所述的方法，其特征在于，所述基于对应的目标代码片段以及路径信息的类别，确定所述候选信息是否属于敏感信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种敏感信息检测装置，其特征在于，所述装置包括：

9.一种敏感信息检测设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任何一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-7中任何一项所述的方法。

技术总结
本申请公开了一种敏感信息检测方法、装置及设备，涉及网络安全技术领域，该方法包括：响应于对敏感信息进行检测的指示，基于正则表达式对待测代码库进行匹配，得到至少一个候选信息，每个候选信息中包括代码片段以及代码片段对应的路径信息；针对每个路径信息，将路径信息分割为多个词单元，并基于各词单元之间的上下文关系，预测路径信息对应的类别，类别用于表征路径信息对应的各代码片段中是否包括敏感信息；针对每个代码片段，对代码片段进行数据增强，得到目标代码片段；针对任一候选信息，基于对应的目标代码片段以及路径信息的类别，确定候选信息是否属于敏感信息，以此提高平台代码库中敏感信息检测的准确性和效率。

技术研发人员：高思雨,何晔
受保护的技术使用者：中国电信股份有限公司技术创新中心
技术研发日：
技术公布日：2024/9/23