自动气象站数据质量控制软件的应用(版权见资料说明)

第一篇：自动气象站数据质量控制软件的应用(版权见资料说明)

自动气象站数据质量控制软件的应用

（文章已发表，请不要做为投稿使用！只能做为纯业务参考学习用）

摘要

自动气象站单轨运行后，自动站原始数据的质量控制越来越重要。本文通过对Z文件、分钟数据文件、地温、逐日数据维护、J文件等异常数据进行分析处理，介绍数据质量控制软件的应用方法和经验，对测报人员进行异常数据处理、提高测报业务质量很有益处。

关键词：自动气象站，数据，质量控制，应用。引言

自动气象站数据质量控制软件（AWSDataQC）能处理地面常规数据Z文件，分钟数据P、T、U、W、R文件，逐分钟地面数据RTD文件及辐射H和I文件，功能强大，既可作为地面气象测报业务系统软件的组成部分，又可作为一个完整的独立软件单独运行。因数据质量控制软件是在OSSMO 2004 3.0.13以后版本才推出的，测报人员对软件的使用方法和操作要点不太熟悉，本文重点介绍软件在异常数据处理等方面的应用。参数设置

质量控制软件在安装后的默认数据路径是D:OSSMO 2004，如果数据路径参数设置不正确就会导致数据保存时无法存盘，表现为弹出的验证口令对话框中没有管理员信息。如果OSSMO 2004软件不是安装在D:OSSMO 2004中，就必须进行参数设置，其设置方法是点击“工具”中的“选项”将数据路径设置为D:OSSMO 2004即可。参数设置后不能立即生效，必须关闭软件再次进入时参数设置才会生效，设置的参数保存在OSSMO 2004SysConfigQCUserOpt.ini文件中。异常数据处理

Z文件是正点地面气象要素数据文件，由自动站监控软件在正点时自动卸载数据产生，Z文件3.1 Z文件数据异常处理 中的数据保存在采集器中，数据异常的机率较小，当Z文件遭到破坏或数据异常而逐分钟地面数据RTD文件正常时，可从RTD文件中导入数据对Z文件中的异常数据进行处理。步聚如下：

1)点击“文件”－“打开”－选择要处理的Z文件。

2)选择要对Z文件中进行替换处理的异常数据。所选的异常数据单元格可以是一行、一列或任意一个区域：点击固定列的某一单元格，即可选择该单元格所在的行，按下鼠标左键拖动，还可同时选择多行；点击固定行的某一单元格，即可选择该单元格所在的列，按下鼠标左键拖动，也可同时选择多列。

3)点击“文件”－“数据导入”，在引入文件路径中选择RTD文件所在的目录，RTD文件一般保存在OSSMO 2004RestoreData目录下（可从自动站监控软件的“系统参数”－“选项”－“数据备份路径”中查看RTD文件的保存路径），选择正确的路径后，表格中的“是否存在”会变为“有”，点击“确定”按钮就可实现RTD备份数据的导入。

4)检查数据无误后保存Z文件。测报人员在实际操作中使用直接点击“保存”按钮的方法不能保存修改后的数据文件，应使用文件的“另存为”功能，同时要在弹出的另存为对话框中把文件类型改为“所有文件(*.*)”，不修改文件类型会导致自动保存为TXT文本文件。在实际工作中牵涉到需直接对原始数据进行修改操作时一定要养成备份的习惯，虽然在默认参数设置下会自动形成BAK备份文件，仍建议台站进行手工备份，避免数据替换出错后造成更大损失。

3.2 分钟数据文件数据异常处理

分钟数据文件数据异常的替换处理方法与Z文件类似。只是第一步操作中要打开的是根据需要选择分钟气压P文件、气温T文件、温度U文件、风向风速W文件，降水R文件。在R文件的导入操作中有时会出现数据错位等异常情况，这时不能使用区域选择批量导入的方法，而要直接打开RTD文件查看分钟雨量情况，再进行处理。

3.3 地温等异常数据的处理

地温等要素没有单独的分钟数据文件，但所有气象要素在RTD文件都保存有，对这类要素的异常数据处理也是打开Z文件，在Z文件中选择该要素的异常数据区域再导入RTD文件，导入过程是：首先检查正点前10分钟内是否有该要素数据，把最接近正点的数据替换为Z文件正点数据，无数据时再检查正点后10分钟内数据，把最接近正点的数据替换为Z文件正点数据。这样处理能最大程度地减少数据的缺测率，也是中国局地面测报综合技术解答中要求优先使用的方法。当自动导入功能失效时我们可以在质量控制软件中手工打开RTD文件进行处理。

3.4 逐日数据维护异常数据处理

逐日数据维护中是对B文件进行处理。B文件的数据读取流程：读取逐日数据时首先检查B文件当天是否有数据，无数据则直接从Z文件中读取，有数据则比较B、Z文件是否一致，不一致就会弹出“数据替换”对话框供值班员选择处理。绝大部分B文件器测项目异常是与Z文件数据异常相联系的，因为B文件的器测项目数据就是在进入逐日数据维护中并保存时自动形成的，所以处理这类问题时一般要用数据质量控制软件来检查Z文件中的相关数据是否正常，处理好Z文件的异常数据后B文件中的问题也就好处理了。注意B文件中保存的分钟降水数据是从R文件中读取的，如果牵涉到分钟降水数据异常，我们要检查的是R文件数据。

3.5 J文件异常数据处理

分钟报表J文件是由分钟数据文件形成的（降水数据是从已维护处理过的B文件中读取），如果在B转A（J）文件后发现J文件有数据异常，我们需要检查原始的分钟数据文件是否正确，按照前面介绍的分钟数据文件导入方法进行处理后，再次进行B转A（J）操作后就可形成正确的J文件。4 其它功能

数据质量控制还包括自动站与人工站A文件比较、要素曲线、雨量查询、大风查询等实用功能，A文件比较功能在并轨运行期间方便台站及时发现自动站存在的问题，通过比较能发现大部分人工站误读数的问题。“要素曲线”能生成逼真的拆线图和直方图，通过要素曲线的变化，可以较直观的判断出错误的要素值。数据质量控制软件自带完整的帮助文件，雨量、大风查询功能在软件操作手册中已有详细说明，不再详述。结语

从目前自动气象站运行情况看，对数据进行质量控制非常必要，测报人员需要掌握数据控制软件的使用方法，特别是异常数据的分析处理方法以及需要注意的细节问题，希望本文对测报人员在日常工作中进行异常数据处理有所帮助。

第二篇：济南市区域自动气象站数据质量控制研究

济南市区域自动气象站数据质量控制研究

摘要：区域自动气象站数据质量控制是项重要工作。数据质量控制主要分为自动质量控制（QC0）和人机交互质量控制（QC1）两个级别。自动质量控制是在数据处理入库前进行，人机交互质量控制是在QC0处理后对数据库中的数据进行。自动质量控制包括阈值检查和格式检查，人机交互质量控制包括阈值检查、序列突变检查、一致性检查、空间质量控制。经过质量控制，保证了区域自动气象站数据的准确，提高了对外服务的水平。

关键词：区域自动气象站；数据质量控制；实时处理监测系统

中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)24-6037-02

Jinan Region of Automatic Weather Station Data Quality Control

ZHANG Ning, REN Dan, RAN Gui-ping

(Jinan Bureau of Meteorology, Changqing District, Bureau of Meteorology, Ji'nan 250002, China)

Abstract: Automatic Weather Station Data Quality Control is an important work.Data quality control consists of automatic quality control(QC0)and interactive quality control(QC1)two levels.Automatic quality control is carried out before storage in Database.Quality control of human-computer interaction is carried out after the data storage.After quality control, ensured the accuracy of automatic weather station data and improved the level of meteorological services.Key words: automatic weather station;data quality control;real-time processing and monitoring system

气象观测资料的质量对气象服务及相关领域的研究具有重要影响。气象资料的质量控制是气象资料处理中一项十分重要的工作，又是一项难度很大需要深入研究的技术工作，WMO十分重视该项工作，并做过许多指导意见[1-3]，北欧各国也在气象资料的控制中作了大量研究[4-5]。本文就济南市气象局区域自动气象站建设中数据质量控制进行了深入研究和分析。济南市区域自动气象站建设及原始观测数据情况

1.1 济南市区域自动气象站建设及数据传输网络情况

济南市自2003年建立第一个区域自动气象站以来，现在已经完成78个自动站的安装并投入业务运行。区域自动气象站分布于六个县、市（区）。自动气象站站点的资料通过GPRS无线网络传输到数据中心服务器，服务器既接公网，又接气象局内部网络。气象局内部广域网实现计算机之间数据的内部交换。图1为济南市区域自动气象站站点分布图。

1.2 区域自动气象站数据存储情况

区域自动气象站采集的数据传输到数据中心服务器后，除以文本的格式存储外，还将数据存储到数据库中。区域自动站各个气象要素数据存在一个表中，每采集一次数据存储一条记录，原始数据没有经过质量控制。区域自动气象站数据质量控制技术

2.1 区域自动气象站观测资料的特点

区域自动气象站的选址要经过气象专家认真调研，考虑站点分布、地形、周围环境、视野等，以达到观测数据能充分代表一定天气尺度天气现象的要求。区域自动气象站主要是要具有监测中小尺度天气现象的能力，测站分布较密，很难保障所有测站点都满足视野开阔无障碍物的环境要求。区域自动气象站是自动观测的，有些测站在环境恶劣的地区，其设备要经受长期风吹、日照、雨淋、沙尘侵蚀，动物昆虫损毁、甚至人为破坏等。由于以上原因，雨量观测数据出现错误数据的几率很高。

2.2 观测数据质量控制流程

观测数据质量控制为站点级质量控制，以一个观测时次的数据为单位，进行观测数据的质量检验。济南市气象局通过建立质量控制实时监测处理系统，将经过检验的数据转存到新的数据库中。观测数据质量控制主要分为自动质量控制（QC0）和人机交互质量（QC1）控制两个级别。自动质量控制是在数据处理入库前进行，人机交互质量控制是在QC0处理后对数据库中的数据进行的人工控制，控制流程见图2。

2.3 QC0：自动质量控制

自动质量控制在数据处理入库前进行，对明显错误的数据直接剔除掉，使其不能进入新的数据库中，同时将有问题的数据情况详细记录到问题数据表中，以备人工查验。自动质量控制包括阈值检查和格式检查。

阈值检查又称极值检查，是根据要素的气候特征，对其出现的范围作出判断。有两类极端值用于范围检查中，一是异常值(u或U)，一是物理上不可能出现的值(i或I)。假定要素x的历史最小值和最大值分别为r和R，一般来说，有：im =rm-△

rt-(rt-1h+rt+1h)/2>200(mm)

2.4.3 一致性检查

一致性检查是利用不同变数间的物理联系，通过一个变量的观测值，判断另一个变量同时刻的观测值是否可信。一致性检查可以检查出确定性错误，也可以检查出可能性错误。例如3h降水和 6h降水，若r3h>r6h,则必有一个数据是错误的。在雨量数据中，所比较的要素主要有：雨量与总云量，雨量与相对湿度，雨量与能见度等天气现象。

2.4.4 空间质量控制

2.4.4.1 空间内插法检查

空间内插的一个重要目标就是估计空间变量的变异函数，变异函数建立的关键是对初始条件的假定和方法运用的理解。有很多研究人员利用温度、降水以及土壤湿度等气象观测数据在不同的时空尺度内设计了各种数值实验，对各种常见的插值方法做了不同的比较和分析研究[7-12]，我们在雨量检查中使用的是反距离加权法。

反距离加权法是最常用的空间差值法之一，基于地理学第一定律―相似相近原理．其计算公式如下：，其中z是估计值，是第i(i=1，2，..，n)个样本，Di是距离，P是距离的幂，它显著影响内插的结果．国内外许多学者运用距离平方反比法进行内插．此法简单易行.2.4.4.2 Madsen-Allerup方法

Madsen-Allerup方法是Madsen和Allerup两人发展的一种空间质量控制方法。基本原理是基于某一空间范围内要素的空间分布是均一的假设，利用周围若干台站同时刻观测值的中值和75%、25%分位值，计算统计量Tit，Tit =(Xitqt ,25=0时(周围台站降水均很小)，若Xit/Σ Xit > 0．60及Xit > 4时，则认为要素记录日期错。

2.4.5人机交互处理方式

实时监测处理程序经QC0方法对数据库中的数据进行检查后，对有问题的数据和台站进行标志，并自动启动报警功能。值班员根据标志说明，根据不同情况采取以下三种措施。

1）对于确定有问题的数据直接将其删除，保证资料的准确性。并做好日志。

2）对于经人机交互判断后没有问题的数据保留使用。

3）对于暂时不能判断的数据先进行标志保留，待查明后再决定是否使用。小结

在区域自动气象站的建设和数据使用中，数据质量控制一直是一个重要问题。观测数据质量控制采用自动质量控制（QC0）和人机交互质量控制（QC1）两个级别。质量控制过程在数据的处理中完成。观测数据处理程序具有实时监测和报警功能。经质量控制后的观测数据在历年汛期气象服务中特别是对市政府的服务中发挥了重要作用，取得了很好的服务效果。

参考文献：

[1] World Meteorological Organization.CBS/OPAG-IOS/ET AWS-3/Doe.4(1)[M].Guidelines on Quality Control Procedures for Data from Automatic Weather Stations,2004.[2] World Meteorological Organization.Guide to Meteorological Instruments and Methods of Observation[M].WMO-No.8,1996.[3] World Meteorological Organization.Guide on GDPS[M].WMO-No.305,1993.[4] Rissanen P,Jacobsson C,Madsen H,et al.Nordic methods for quality control of climate data[R].DNMI-Report 2000,No.10/2000 KLIMA.[5] Vejen F,Jacobsson C,Fredriksson U,et al.Quality control of meteorological observations automatic methods used in the Nordic countries[R].Climate Report,2002.No.8/2002 KLIMA.[6] 熊安元.北欧气象观测数据的质量控制[J].气象科技,2003,31(5):314-320.[7] Sadahiro Y.Accuracy of areal interpolation:A comparison of alternative methods[J].J Geogra Syst,1999,1(4):323-346.[8] Zimmerman D,Pavlik C,Ruggles A,et al.An Experimental Comparison of Ordinary and Universal Krigingand Inverse DistanceWeighting[J].MathematicalGeology,1999,31(4):375-390.[9] Tabios G Q,Salas J D,A comparative analysis of techniques for spatial interpolation of precipitation[J].Water Resources Bulletin,1985,21(3):365-380.[10] 李新,程国栋,卢玲.空间内插方法比较[J].地球科学进展,2000,15(3),260-265.[11] 苏志侠,程麟生.两种客观分析方法的比较:逐步订正和最优内插[J].高原气象,1994,13(2):194-205.[12] 姜友谊,黎晓.数字地面模型内插法的优劣分析[J].西安科技学院学报,2001,21(3):213-216.注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文