一种多任务的信息监测方法及系统与流程

本申请涉及计算机，特别涉及一种多任务的信息监测方法及系统、计算设备和计算机可读存储介质。

背景技术：

1、对于互联网企业，对互联网上出现的负面信息进行监测是一种常规的需求，在进行监测的过程中，通常需要对不同的信息平台进行监测，而每个信息平台的监测需求都不同或者后续还需要添加新的监测源或者监测功能成到原有的业务系统中，因此想通过一个统一的环境对这些不同的监测任务进行动态的管理较为困难。

技术实现思路

1、有鉴于此，本申请实施例提供了一种多任务的信息监测方法及系统、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

2、根据本申请实施例的第一方面，提供了一种多任务的信息监测方法，包括：

3、在业务系统中部署至少一个异构工作单元，所述异构工作单元部署成功后，订阅redis服务的第一频道；所述异构工作单元包括数据采集工作单元，用于采集目标信息平台的数据；

4、所述业务系统的任务管理器作为发布者，将任务指令发布到所述redis服务的第一频道；

5、异构工作单元根据订阅的所述第一频道上的任务指令执行任务，并将执行结果发布到所述redis服务的第二频道，所述第二频道被任务管理器订阅；任务管理器根据所述第二频道的消息进行处理。

6、根据本申请实施例的第二方面，提供了一种多任务的信息监测系统，包括：

7、在业务系统中部署的异构工作单元、在业务系统中的任务管理器以及redis服务；所述异构工作单元包括数据采集工作单元，用于采集目标信息平台的数据；

8、所述异构工作单元在部署成功后订阅redis服务的第一频道；所述任务管理器作为发布者将任务指令发布到所述redis服务的第一频道；

9、异构工作单元根据订阅的所述第一频道上的任务指令执行任务，并将执行结果发布到所述redis服务的第二频道，所述第二频道被任务管理器订阅；任务管理器根据所述第二频道的消息进行处理。

10、根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述多任务的信息监测方法的步骤。

11、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述多任务的信息监测方法的步骤。

12、在本申请的上述实施例中，在业务系统中部署异构工作单元和任务管理器，在进行任务交互时，异构工作单元均通过redis服务的订阅发布模式与任务管理器进行通信，保证了对所有功能模块的一致管理。进一步还使用了心跳信息同步两者之间的任务执行进度，保持了任务执行的一致性。在多任务的信息监测过程中，根据具体的需求通过任务管理器生成多种类型的任务与子任务交由异构工作单元完成，可以适配各种类型的信息采集任务，实现了多任务的信息监测过程的统一和高效的管理，大大提高了系统的可伸缩性和可靠性。

技术特征：

1.一种多任务的信息监测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其中，所述将任务指令发布到所述redis服务的第一频道包括：

3.根据权利要求2所述的方法，其中，将执行结果发布到所述redis服务的第二频道包括：

4.根据权利要求3所述的方法，其中，任务管理器根据所述第二频道的消息进行处理包括：

5.根据权利要求4所述的方法，其中，当包括多个子任务的第一数据采集任务在被执行时，若任务管理器在m个周期t内没有收到异构单元的心跳信息时，确定所述异构工作单元故障，将当前任务标记为失败并将其发送到其他异构工作单元执行。

6.根据权利要求4所述的方法，其中，所述心跳信息周期性地被发送到任务对应的频道，直到任务执行成功后将所述异构工作单元任务移除本地缓存。

7.根据权利要求4所述的方法，其中，所述第一数据采集任务包括话题采集任务，所述子任务包括评论获取任务。

8.一种跨进程的多任务运行系统，其特征在于，包括：

9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-7任意一项所述方法的步骤。

10.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-7任意一项所述方法的步骤。

技术总结
本申请提供一种多任务的信息监测方法及系统，该方法包括：在业务系统中部署异构工作单元和任务管理器，在进行任务交互时，异构工作单元均通过Redis服务的订阅发布模式与任务管理器进行通信，保证了对所有功能模块的一致管理。进一步还使用了心跳信息同步两者之间的任务执行进度，保持了任务执行的一致性；同样还利用持续发送给Redis服务频道的心跳信息，实现了当任务管理器或者异构工作单元发生宕机时的任务恢复工作。在本申请实施例的方法中，根据具体的需求通过任务管理器生成多种类型的任务交由异构工作单元完成，实现了多任务的信息监测过程的统一和高效的管理，大大提高了系统的可伸缩性和可靠性。

技术研发人员：李亚楠,袁祖祥,安晓宇,郭子文,李建良,杨利华,袁冠鹏,何雨泉,林逸,乐坚强,杨东
受保护的技术使用者：在线途游（北京）科技有限公司
技术研发日：
技术公布日：2024/9/23