在环境监测或质控工作中,常需处理各种复杂的监测数据。这些数据经常表现出波动甚至在相同条件下,获得的实验数据也会有不同的取值。对此,可用数理统计的方法处理获得的一批有代表性的数据,以判别数据的取舍。
1.数据处理的程序
按照有效数字的规定,进行有效数字的修约和数值计算和检验,然后将数据列表。位数不能任意增删。
2.正态样本异常值的判断和处理
将上述计算和整理后的数据列入相应的表中进行数据异常值检验。所谓异常值是指样本中的个别值它可能是总体固有的随机变异性极端表现,属于同一总体。
它也可能是由于实验条件和实验方法的偶然偏离所产生的结果。这种异常值与样本观测值不属于同一总体,应按数据统计规则进行判断和处理。
(1)判断规则及处理程序
判断规则通常有:Grubbs法、Dixon法、 Cochran法、偏度峰度法等。根据实际情况,选定适宜的异常值检验规则,需要指定检出水平a,一般取5%、1%(或10%)。将观测值代入检验规则进行计算,然后根据a和观测值个数(n),查表确定统计量的临界值,并将临界值和计算值进行比较,对不合格的异常值,应尽可能寻找异常值的技术上和物理上的原因,作为处理的依据。
①OGrubbs法。适用范围:用于多组测量值的均值的一致性,或一组测量值(n)的一致性检验。检出异常值个数不超过1。
②Dixon法。适用范围:检验一组观测值的一致性,适用于检出一个或者多个异常值。
③Cochran检验法。适用范围:剔除多组观测值中精密度较差的一组数据,检验多组方差的一致性。
(2)注意事项
①以识别为目的时,主要找出异常值,判断异常值的主要标准在于判断准确性。要根据所判断错误带来的风险,选择适宜的规则。
②当主要目的在于估计总体的某个参数,确定异常值是否计入样本,或判断总体是否符合所考察的要求,以确定某样本是否计入样本,使判断结果尽量准确。这时,应考虑处理异常值的方法和进一步作估计或检验的准确性统一考虑。
③有时也可以不经过判断异常值的步骤,而采用稳健估计和稳健检验的办法(如舍去品
最高值和最低值,将余下的观测值作算术平均计算μ),并不需要追查舍去的是否为异常值,而这种估计也很好地预防了异常值的影响。
④应用标准差的准确信息。判断异常值(或判断具高度异常值)的统计量都以标准差或其估计量为尺度,因此,要尽可能地利用已获得的准确的信息。标准差为已知时,判断准确性时,适用于正常稳定的实验和测试数据,质控考核。
(3)对各种检验法的选择
①最多只有一个异常值时,以 Grubbs检验法较好。
②出现多个异常值时,最使用偏度峰度检验法,但计算较复杂。
(4)重视检出的异常值给出的信息
经过一段时间的数据检验后,若出现某异常值的全体明显的系统倾向,说明有系统偏差。若各个样本经常出现异常值,又不能明确其原因,则应怀疑分布的正态性假设,应选择适宜的统计量再进行统计。
首页
