智能监控Web应用运行环境的配置方法、设备及介质与流程

本发明涉及软件开发，具体地说是一种智能监控web应用运行环境的配置方法、设备及介质。

背景技术：

1、web应用运行环境状态的传统监控方式一般是对应用系统运行过程中产生的日志进行监控，包括错误信息、访问日志等，对于分布式应用和集群应用来说日志采集、整合、分析工作具有难度，而且单一日志无法对复杂的业务场景进行监控，对于运行状态异常的情况通常是等发现业务功能出现异常时才能被动处理。

2、故如何实现对数据的实时采集处理，确保监控及时准确，在发现异常情况及时通知运维人员是目前亟待解决的技术问题。

技术实现思路

1、本发明的技术任务是提供一种智能监控web应用运行环境的配置方法、设备及介质，来解决如何实现对数据的实时采集处理，确保监控及时准确，在发现异常情况及时通知运维人员的问题。

2、本发明的技术任务是按以下方式实现的，一种智能监控web应用运行环境的配置方法，该方法是通过对cpu使用率、内存占用、磁盘i/o以及网络宽带的指标数据的收集、统计和分析，实时监测web应用运行环境状态；具体如下：

3、配置监控指标：自定义指标名称和指标值；

4、数据采集：根据监控指标特征，通过监控工具和日志收集系统采集相关指标数据；

5、数据预处理：将采集的数据通过sql脚本进行数据清洗，并处理成适合分析的高质量数据集；其中，高质量数据集具有易查询易统计的特点；

6、数据分析：通过对预处理后的数据进行汇总、计算与分析，即时洞察web应用运行环境当前存在的问题及潜在风险；

7、监控和告警: web应用的监控运行状态和告警是确保web应用稳定、高效运行的重要手段；

8、可视化展示：采用图形、图表及仪表盘多种可视化图形展示数据，使得复杂的数据和信息变得直观易懂；

9、持续优化与改进。

10、作为优选，监控指标包括应用性能、服务器状态、数据库性能及服务响应时间；应用性能指标直接反映服务器的负载情况和性能瓶颈；服务器状态、数据库性能及服务响应时间反映应用潜在的问题和异常行为。

11、作为优选，监控工具采用nagios，通过nagios实时采集服务器的cpu利用率、内存占用、磁盘i/o活动及网络带宽的性能指标数据；

12、日志收集系统采用elk stack，通过elk stack采集web应用、数据库及web服务器产生的日志信息。

13、作为优选，数据预处理具体如下：

14、去除重复、错误或无关的数据；其中，采用delete * from test.log where idnot in ( select max( id ) from test.log group by id )脚本去除重复数据；

15、将数据转换为适合分析的格式，具体为：将字符串的日期数据转换为日期时间格式，将文本数字转换为数值型，确保数据类型的一致性和准确性，方便进行后续的数学运算和统计分析；

16、将数据进行归一化处理，使不同量纲的指标在同一尺度上进行比较和分析。

17、作为优选，数据分析具体如下：

18、采用时间序列分析方法汇总出每天同一时间段的cpu使用率及内存占用率，通过检查时间序列数据是否平稳判断web应用是否在平稳运行；

19、通过历史数据分析法对磁盘的读写速度、响应时间以及磁盘空间的历史数据的分析，用于评估未来磁盘性能和存储需求；

20、采用关联分析法在监控数据中查找数据的关联、相关性或因果结构：当发现cpu使用率和响应时间之间存在正相关关系时，若响应时间超过设定阈值，则考虑优化代码、增加cpu资源来降低cpu使用率，从而改善响应时间。

21、作为优选，监控和告警具体如下：

22、录入指标阈值：根据不同的监控指标录入相应的采集频率和报警阈值；其中采集频率是根据业务功能的权重值进行录入，针对权重值高的业务功能，将增加采集频率；

23、设计清晰的通知模板，通知模板的内容包括告警时间、告警级别、告警原因、受影响的服务或组件及建议的解决措施的信息，以便接收者能够快速了解问题并采取相应的解决措施，同时配置相适应的通知方式，确保通知方式能够及时、准确地传达告警信息，当性能指标超出对应预设阈值时，自动发送通知给相关团队。

24、作为优选，可视化展示具体如下：

25、使用饼状图展示不同应用对cpu资源、磁盘空间的占用情况，用于识别对cpu资源消耗较大的应用，识别是否需要清理空间或扩展存储；

26、使用柱状图展示web应用在特定时间段内的入站、出站流量和接收到的请求数量，用于对比流量的变化趋势和不同时间段的请求负载；

27、使用折线图展示特定端口、服务的流量变化和服务请求的成功率变化，用于识别异常流量或未经授权的访问，评估服务的稳定性和可靠性；

28、使用仪表盘展示丢包率和错误请求占总请求的比例，用于及时发现并处理错误等，了解web应用环境网络性能。

29、更优地，持续优化与改进具体如下：

30、根据监控和分析结果，制定针对性的优化方案；其中，优化方案包括优化代码、调整服务器配置及改进页面布局，以提升应用的性能和用户体验；

31、定期对监控情况进行回顾和评估，检查当前监控情况是否满足当前的监控需求，并根据实际情况进行调整和改进。

32、一种电子设备，包括：存储器和至少一个处理器；

33、其中，所述存储器上存储有计算机程序；

34、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的智能监控web应用运行环境的配置方法。

35、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的智能监控web应用运行环境的配置方法。

36、本发明的智能监控web应用运行环境的配置方法、设备及介质具有以下优点：

37、（一）本发明采用数据采集，数据分析与处理、监控与告警、可视化展示等技术，通过实时监控，能够立即捕获web应用运行环境的异常或性能瓶颈，有助于在问题影响范围扩大之前迅速介入并解决问题，从而保障web应用的稳定性和可用性；

38、（二）本发明通过智能分析算法，对监控数据进行深度挖掘和分析，自动发现潜在的问题和风险，并给出相应的处理建议；

39、（三）本发明通过直观的图形化界面展示监控数据和分析结果，帮助管理员快速了解应用环境的健康状况和性能瓶颈；

40、（四）本发明通过对cpu使用率、内存占用、磁盘i/o、网络带宽等重要指标数据的收集、统计和分析，实时监测web应用运行环境状态，确保web应用的稳定运行和高效服务，提升用户体验和业务价值；本发明主要应用在软件信息化运维领域；

41、（五）本发明实现了对数据的实时采集处理，确保监控及时、准确，在发现异常情况及时通知运维人员；除此之外结合时间序列算法和对历史数据进行趋势分析，及时发现潜在问题并提前干预处理，防止故障发生，从而保障web应用的平稳运行；

42、（六）本发明旨在显著提升web应用运行环境的安全性、稳定性、可靠性及可持续性，同时实现监控与管理的全面化、深度化及高效化，并简化运维流程，具有如下优点：

43、①自动化运维：当监控到异常或故障时，能够自动发送告警通知给相关人员，确保问题能够及时处理；并通过配置自动化脚本或工作流，能够在触发告警时自动执行预定义的应对措施，如重启服务、切换备份等，减轻人工干预负担；本发明监控频率支持自定义设置，用户可根据web应用的实际情况调整监控周期；告警规则支持多种条件组合，如同时满足多个条件时触发告警，以提高告警的准确性；告警接收者支持多种通知方式，包括但不限于短信、邮件、即时通讯软件（如企业微信）等，以便及时将告警信息传达给相关人员；

44、②高效决策：本发明能够集中管理多个web应用的运行状态，有效降低管理成本，提升管理效率，不仅提供实时监控数据，还具备对历史数据进行深度趋势分析的能力，帮助运维人员全面掌握应用的长期运行状况，及时发现潜在问题并预测未来趋势；

45、③优化性能与精准资源分配：通过对web应用性能指标的全面收集与深入分析，包括响应时间、吞吐量等关键指标，运维人员能够精确识别性能瓶颈所在，从而实施针对性的优化措施，如代码调优、架构改进等；同时，通过持续监控不同时间段的资源使用情况，能够智能分析并建议更为合理的资源分配方案，有效避免资源浪费或资源短缺导致的性能问题，确保web应用始终运行在最优状态；

46、（七）本发明可用于web应用的日常监控，首先要确定监控目标和监控规则，根据监控目标采集监控数据，通过对监控数据的分析处理，如果监控目标大于阈值，则将异常信息推送给运维人员，从而有效地配置智能监控web应用运行环境状态的系统，提高了web应用的稳定性和可用性。

技术特征：

1.一种智能监控web应用运行环境的配置方法，其特征在于，该方法是通过对cpu使用率、内存占用、磁盘i/o以及网络宽带的指标数据的收集、统计和分析，实时监测web应用运行环境状态；具体如下：

2.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，监控指标包括应用性能、服务器状态、数据库性能及服务响应时间；应用性能指标直接反映服务器的负载情况和性能瓶颈；服务器状态、数据库性能及服务响应时间反映应用潜在的问题和异常行为。

3.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，监控工具采用nagios，通过nagios实时采集服务器的cpu利用率、内存占用、磁盘i/o活动及网络带宽的性能指标数据；

4.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，数据预处理具体如下：

5.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，数据分析具体如下：

6.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，监控和告警具体如下：

7.根据权利要求1所述的智能监控web应用运行环境的配置方法，其特征在于，可视化展示具体如下：

8.根据权利要求1-7中任一项所述的智能监控web应用运行环境的配置方法，其特征在于，持续优化与改进具体如下：

9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至8中任一项所述的智能监控web应用运行环境的配置方法。

技术总结
本发明公开了智能监控Web应用运行环境的配置方法、设备及介质，属于软件开发技术领域，本发明要解决的技术问题为如何实现对数据的实时采集处理，确保监控及时准确，在发现异常情况及时通知运维人员，采用的技术方案为：该方法是通过对CPU使用率、内存占用、磁盘I/O以及网络宽带的指标数据的收集、统计和分析，实时监测Web应用运行环境状态；具体如下：配置监控指标：自定义指标名称和指标值；数据采集：根据监控指标特征，通过监控工具和日志收集系统采集相关指标数据；数据预处理：将采集的数据通过SQL脚本进行数据清洗，并处理成高质量数据集；数据分析；监控和告警；可视化展示；持续优化与改进。

技术研发人员：路景飞,侯光亮,胡大超,王恒
受保护的技术使用者：山东浪潮数字商业科技有限公司
技术研发日：
技术公布日：2024/9/23