一种基于大数据的气象异常可视化分析方法

本发明涉及一种气象异常可视化分析方法，特别是涉及一种基于大数据的气象异常可视化分析方法。

背景技术：

0、技术背景

1、在九大类自然灾害中，气象灾害是其中危害最大之一，每年气象灾害都会人们造成无法估量的经济损失。

2、国外的学者主要利用关联规则方法、贝叶斯网络方法、聚类分析、粗糙集方法和空间数据分析等对气象资料进行应用研究。如 hinke t h等考虑不同地区的气象数据之间的关联关系，并提出了空间数据组成的矢量，通过矢量数据之间的关联关系来表达不同地点的气象数据之间的关系，tadesse t等使用双时间序列分析方法发现海洋参数与干旱因子之间的关系，通过大量的大气和海洋因子中得到对干旱影响比较强的因子，bilgin t t等对土耳其的气象站每日的温度数据进行了聚类分析，得到相同趋势的温度区域，从而根据土耳其的气温特性进行气象区域划分。

3、从国内外大数据的大数据发展来看，国外的大数据起步更早，国内稍晚一些，其中大数据的技术更多的是有过外起步，但是大数据技术在气象上的应用实属不多，更多的是传统技术应用。但是传统的应用存在很多不足。比如数据的存储和计算这块，由于气象的数据的体量和增长速度都比较快，传统的关系型数据存储无法胜任，特别数据量级大了之后，传统的关系型数据库在查询这块也不太行，交互式的sql查询变得很慢。另外就是计算速度的问题。海量数据的计算更主流的思想是使用分布式的的内存计算框架。比如spark或者flink等。

4、一种数据科学与大数据技术领域，采用python将气象数据从气象科学专业知识服务系统爬取下来，调用json和csv的模块将爬取的数据进行处理，利用sparkcore和sparksql的技术，将数据进行分析，然后根据业务主题进行分析计算，最终得到结果数据，然后把结果数据存储在关系型数据中，随后通过springboot、mybaties等技术搭建web网站，结合apacheechart可视化框架对分析结果进行可视化展示。，其中走势预测主要采用线性回归算法。最终可以根据海量的数据分析计算得到科学的结果。

5、随着时代的发展与进步，各种极端气象频发，给人们的生命财产安全带了不小的损失，而当前的预防机制采用传统预防方式，有预测不及时和预测不准确导致财产及资源的浪费。由于存在以上问题，因此此课题特尝试大数据的技术在气象数据分析计算上的应用，经过技术分析和预演，在处理大数据上面取的不错的效果。

技术实现思路

1、本发明的目的在于提出一种基于大数据的气象异常可视化分析方法，该方法采python的类库requests，通过调用爬虫api从气象科学专业知识服务系统上爬取格式xml格式的数据，然后调用json和csv的模块对爬去下来的数据进行解析，并以csv格式存储到本地系统。根据分析的主题和指标，对需要的数据进行分库分表，建立er关系图，清晰展示表之间的关联关系，数据库进行分层搭建结合维度模型设计。数据分析计算主要是利用sparkcore 和sparksql的技术，然后根据业务主题进行分析计算，最后得到结果数据，然后把结果数据存储在关系型数据中，便于下一步分可视化展示。采用大数据技术技术相比传统数据存储和数据查询分析具有高效性、精准性和科学性，能够使系统清洗出重复数据和无用数据，进而提高气象分析预测的准确能力，最终实现给予人民生产生活更加便利的目的。

2、本发明采用下述技术方案：

3、一种基于大数据的气象异常可视化分析方法，所述方法实时在网站上爬取自己所需要的信息；使爬取到的数据具有时效性和真实性，具体包括以下步骤：

4、1）初始化条件，设置初始的url；

5、2）使用requests的模拟client进行请求，提取到网页的信息；

6、3）使用xpath工具针对html的页面内容进行抽取，对采集的数据进行解析存储；

7、4）对下一个url进行拼接，拼接完成之后判断是否有效果；

8、5）如果满足条件就回到抓取页面的步骤，然后在开始循环直到爬取步骤全部完成；这样就能拿到之前拿不到信息数据，并且将结果的存储到本地。

9、所述的一种基于大数据的气象异常可视化分析方法，所述数据存储到本地，数据清洗是利用spark-core的技术从csv文件中读出原始数据，然后通过空值判断，去重，正则检验以及格式转换等对数据进行处理和转出，最后处理成标准的结构数据，减少后续的程序运行量，一定程度上提升程序的运行速度。

10、所述的一种基于大数据的气象异常可视化分析方法，所述spark-core 技术使用hadoop作为一个大型的数据库，一个分布式的部件hdfs，用于多的文件的安全备份，一定程度上保障了程序的安全性，也便于后续数据的查询，根据分析的主题和指标，对需要的数据进行分库分表，建立er关系图，清晰展示表之间的关联关系，数据库进行分层搭建结合维度模型设计；数据分析计算模块：是利用spark-core 和sparksql的技术，然后根据业务主题进行分析计算，最后得到结果数据，然后把结果数据存储在关系型数据中，便于下一步分可视化展示。

11、所述的一种基于大数据的气象异常可视化分析方法，所述数据库前后端设计，其中是利用vue,threamleaf，js,css，echarts，html，是以图表的形式展示结果，更加的清晰明了；后端的技术是springboot,mybaties，sql技术,是和数据可进行交互，实现数据的增删改查的功能。

12、所述的一种基于大数据的气象异常可视化分析方法，所述实现数据的增删改查完成对程序的优化，设置一次从爬取到数据分析到可视化的训练，应用训练完成之后，检查程序的运行是否合理，开并对分析出来的结果进行分析，查看运行结果的科学性和可靠性。

13、所述的一种基于大数据的气象异常可视化分析方法，所述检查程序的运行是否合理，程序训练完成并进行测试，气象数据分析和可视化系统使用python对气象网站上的气象数据进行提取，系统会将所有的数据进行处理并留下可靠数据，如温度的的明显变化和风力变化数据，并将数据传输到相对性的数据库，用于对后续的数据分析；随后将分析出来的数据总结出结果，并呈现到我们的可视化页面中，根据呈现出来的结果进行防护，来保障人民的生命财产安全。

14、本发明具有以下有益效果：

15、本发明采用基于大数据分析和可视化的方法，将智能分析加入到气象分析系统之中，通过对海量的气象数据进行爬取和分析，可以实时得到异常气象发生时都有哪些数据变化，相较于传统的气象预测算法，具有极强的科学性和时效性，因为数据越多越能保证结果的科学性。通过将实际的气象数据传输到气象数据分析模块中，可以决策出将要发生的气象变化，是晴天还是雨天。此外，可以通过机器的自我学习，让算法自己学习，自己分析，将地形，海拔，经纬度等科学数据都融入进去，不断提高该程序的智能化。在大数据算法中加入了spark和flume算法，对原有算法进行了优化，提高了可运行的数据量，保证该程序的运行速度，有助于气象系统，保障人民的生命财产安全。

技术特征：

1.一种基于大数据的气象异常可视化分析方法，其特征在于，所述方法实时在网站上爬取自己所需要的信息；使爬取到的数据具有时效性和真实性，具体包括以下步骤：

2.根据权利要求1所述的一种基于大数据的气象异常可视化分析方法，其特征在于，所述数据存储到本地，数据清洗是利用spark-core的技术从csv文件中读出原始数据，然后通过空值判断，去重，正则检验以及格式转换等对数据进行处理和转出，最后处理成标准的结构数据，减少后续的程序运行量，一定程度上提升程序的运行速度。

3.根据权利要求2所述的一种基于大数据的气象异常可视化分析方法，其特征在于，所述spark-core 技术使用hadoop作为一个大型的数据库，一个分布式的部件hdfs，用于多的文件的安全备份，一定程度上保障了程序的安全性，也便于后续数据的查询，根据分析的主题和指标，对需要的数据进行分库分表，建立er关系图，清晰展示表之间的关联关系，数据库进行分层搭建结合维度模型设计；数据分析计算模块：是利用spark-core 和sparksql的技术，然后根据业务主题进行分析计算，最后得到结果数据，然后把结果数据存储在关系型数据中，便于下一步分可视化展示。

4.根据权利要求3所述的一种基于大数据的气象异常可视化分析方法，其特征在于，所述数据库前后端设计，其中是利用vue,threamleaf，js,css，echarts，html，是以图表的形式展示结果，更加的清晰明了；后端的技术是springboot,mybaties，sql技术,是和数据可进行交互，实现数据的增删改查的功能。

5.根据权利要求4所述的一种基于大数据的气象异常可视化分析方法，其特征在于，所述实现数据的增删改查完成对程序的优化，设置一次从爬取到数据分析到可视化的训练，应用训练完成之后，检查程序的运行是否合理，开并对分析出来的结果进行分析，查看运行结果的科学性和可靠性。

6.根据权利要求5所述的一种基于大数据的气象异常可视化分析方法，其特征在于，所述检查程序的运行是否合理，程序训练完成并进行测试，气象数据分析和可视化系统使用python对气象网站上的气象数据进行提取，系统会将所有的数据进行处理并留下可靠数据，如温度的的明显变化和风力变化数据，并将数据传输到相对性的数据库，用于对后续的数据分析；随后将分析出来的数据总结出结果，并呈现到我们的可视化页面中，根据呈现出来的结果进行防护，来保障生命财产安全。

技术总结
一种基于大数据的气象异常可视化分析方法，涉及一种气象异常可视化分析方法，该方法基于大数据分析和挖掘的技术，利用python相关的爬虫技术，大数据相关的ETL，分析和存储技术以及Web相关的前后技术，首先通过爬虫技术收集到气象数据，然后在利用数据分析和挖掘的技术从海量数据中找出规律。在气象数据发生异常时，提前做出反应，撤离洪灾可能发生的地区，从而能降低人民生命和财产损失。通过不断的数据分析以及机器学习，从海量数据中找到规律，保证了应用的科学性和可行性，对以后的人们所追求的生活有帮助，对生产活动也具有实际意义。

技术研发人员：陈斌,李啸天
受保护的技术使用者：沈阳化工大学
技术研发日：
技术公布日：2024/9/23