曾乐
- 作品数：19 被引量：106H指数：6
- 供职机构：国家气象信息中心更多>>
- 发文基金：青年科技基金更多>>
- 相关领域：自动化与计算机技术天文地球电子电信更多>>
- 基于HBase的气象地面分钟数据分布式存储系统被引量：25
- 2014年
- 针对气象地面分钟数据要素多样、信息量大、产生频次高等特点,传统的关系型数据库系统在存储和管理数据上出现负载饱满、读写性能不理想等问题。结合对分布式数据库HBase的存储模型的研究,行主键(row key)采用时间加站号的方式设计了气象分钟数据存储结构模型,实现对海量气象数据的分布式存储和元信息管理。对HBase的唯一索引在面对气象业务的复杂查询用例时响应时间过长的问题,使用搜索引擎solr提供的API接口并参考气象业务中的查询用例对相关字段建立辅助索引,来满足业务检索时效。实验结果表明,该系统具有很好的存储能力和检索效率,入库效率最高可达每秒34000条,并且在常规查询用例的结果返回时效达到毫秒级,能够满足大规模气象数据在业务应用中对存储和查询时效的性能要求。
- 陈东辉曾乐梁中军肖卫青
- 关键词：分钟数据分布式存储HADOOPSOLRHBASE
- 一种气象数值模式异常状态的智能判识方法
- 本发明提供一种气象数值模式异常状态的智能判识方法，气象数值模式异常状态的智能判识方法包括：获取气象数值模式运维的实时数据；当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；根据告警信息，在知识图谱中进行...
- 顾文静孙超王琪曾乐王英杰段明静
- 基于大数据技术的气象业务监视数据采集处理被引量：13
- 2021年
- 气象数据生产过程中秒级数据流量达到6万次/秒,为了对海量气象数据进行实时监控,快速定位数据观测、传输、处理、服务全流程中各环节故障,研发了对监视数据的采集和处理框架。基于REST接口和Flume框架实时采集原始监视信息,采用Kafka实现监视数据流的缓冲和持久化存储,在Spark Streaming流式计算平台上实现对监视数据的预处理、指标计算,并对告警事件进行归并、压缩等处理,最终生成面向运维人员的告警。同时、上述系统采用故障仿真压测技术,对系统可能出现的故障进行了模拟压力测试。实验结果表明,上述框架能有效地解决海量监视数据的高效采集和处理,能够实时捕捉故障并进行有效分析与排除,其处理时效和准确性满足气象综合业务实时监控的需求。
- 曾乐孙超张来恩陈文琴
- 关键词：接口
- 基于大数据技术的实时卫星数据监视系统的设计与实现被引量：1
- 2022年
- 实时气象卫星数据存在多源异构、高时效性等特点,使得气象部门不易及时发现实时卫星数据在传输过程中的各种问题,对下游实时卫星数据用户的服务也有一定影响。为了提高对实时气象卫星数据的监视能力,基于Rest API、Kafka消息队列、Spark Streaming、Redis缓存等大数据技术在国家级气象业务环境中搭建了实时卫星数据监视流程,对卫星数据进行统一编码,从而实现对全球各种实时卫星数据根据不同来源、不同卫星、不同仪器进行精细化的全流程监视,并基于气象大数据云平台、气象综合业务实时监控系统等业务系统增加了监视告警功能。
- 张晓孙超王旻燕陈文琴曾乐
- 关键词：卫星数据监视系统REDIS
- 基于Hadoop的气象数据存储检索应用研究被引量：11
- 2014年
- 随着气象数据规模快速增长,气象预报和气候分析对数据服务时效性要求的提高,传统的气象数据存储和服务模式面临一定的挑战。本文提出了结合了hadoop技术的气象数据存储检索应用模式,并进行了实验和性能测试,以评估其实现效果。实现中针对代表性的结构化与非结构化气象业务数据,分别进行了测试,并提出优化方法。性能测试中对于自动站结构化数据的检索,大部分响应时间在毫秒级;对于大结果集的雷达基数据非结构化数据的检索响应时间也在秒级。本文认为基于hadoop的气象数据存储检索可作为应对海量气象数据增长带来的存储服务问题的有效解决途径之一。
- 曾乐陈东辉肖卫青梁中军
- 关键词：气象分布式存储数据检索
- 气象信息化评价指标体系研究被引量：2
- 2020年
- 气象信息化是推动气象现代化的重要力量,制定系统实用的气象信息化评价指标体系有助于衡量气象信息化水平,指导督促各级气象部门开展气象信息化实施工作。论文围绕气象特点对国内外信息化评价指标体系进行了调研和分析,初步提出了气象信息化评价指标体系的框架,为气象信息化评价指标体系的设计提供参考。
- 曾乐梁中军
- 关键词：气象信息化评价指标
- 一种气象数值模式异常状态的智能判识方法
- 本发明提供一种气象数值模式异常状态的智能判识方法，气象数值模式异常状态的智能判识方法包括：获取气象数值模式运维的实时数据；当气象数值模式运维的实时数据超过动态基线的上下基线时，生成告警信息；根据告警信息，在知识图谱中进行...
- 顾文静孙超王琪曾乐王英杰段明静
- 气象业务综合监视数据标准化设计与应用
- 2024年
- 打造开放的气象综合业务实时监控体系,全面提升气象业务的运行质量与效率是气象信息化发展的重要工作。针对气象综合业务监视范围广泛、内容多样以及传输密集等特性,为实现海量监视数据高效、完整及准确的采集、传输与处理,本文设计了一种基于标准化数据分类的可扩展的监视数据内容模型。该模型对种类繁多的监视数据进行抽象与概括,划分了监视数据的类别;描述了每一类别监视数据的通用属性;同时依据核心监视功能的数据需求,在通用属性的基础上进一步设计了典型的监视数据属性域内容。该模型具备通用性、可扩展性特点,在中国气象局“气象综合业务实时监控系统(天镜)”的建设中得到广泛应用,并在2022年发布为气象行业标准,为国省共有核心监控功能的实现以及各省特有监控范围的扩充提供了有效的监视数据支撑。
- 张小缨韩春阳陈文琴曾乐
- 关键词：实时监控
- 省级气象观测资料集约化监控平台设计被引量：2
- 2021年
- 针对现有气象观测资料监控软件种类繁多的问题,结合现有业务系统以及实际需求,开展对省级15大类气象观测数据传输节点监控信息提取技术的研究,与全国综合气象信息共享平台(CIMISS)等气象核心业务系统对接,对主要参数进行反复测试分析选取合适的参数值,高效提取省级传输节点的资料站号、观测时间、记录时间、省属代码、资料类型、业务系统、处理环节、资料接收时间、资料发送时间等监控信息,基于元监控信息特征分析对省级和台站级监控信息进行关联融合,建立标准化的通信协议,采用批量传输处理机制,将融合后的数据流监控信息及时上传到国家级集约化监控平台,达到数据全流程1min超高时间分辨率集约化监控的预期效果。
- 雷卫延杨家伟曾乐王明辉
- 关键词：计算机技术与应用集约化气象观测资料
- 开放网络数据访问协议OPeNDAP的研究及应用
- 2014年
- 数据的共享有助于充分挖掘数据的价值,开放网络数据访问协议OPe NDAP面向地球科学数据提供一种通用标准的数据共享方式,目前在国际上已经成为一种事实上的标准。文章对OPe NDAP协议原理、应用模式、特点进行了系统的研究,面向气象数据共享目前存在的问题,提出引入OPe NDAP协议及相关技术来解决的途径。通过结合OPe NDAP的气象数据共享模型的设计和基于OPe NDAP服务器的气象数据共享实现,文章认为OPe NDAP是一种可行的气象数据共享技术。
- 曾乐
- 关键词：数据共享数据转换
