数据当中的异常值，应该直接删除吗？

不少人曾问我：我的样本当中有出现异常参数，回事应该封禁？要回答这个难题，我们必须从出现异常参数的定义来讲到。可能都会有的人说出出现异常参数很好表达出来，不就是“出现异常”的参数吗？关键是，怎样才算出现异常呢？可有：在10个样本当中（左图金色点）而所申请加入黑、绿、深蓝色的3个点，它们都是出现异常参数吗？出现异常参数其实是一个颇为狭隘的定义，它至少包含了三种一般而言：(1) 离群参数（outliner）离群参数是常指从因变量y的视角来看属于出现异常的参数，如图当中的黑色点和蓝色点，玛长y的均参数较其它点更已远。离群参数一般而言有别于学生化残差来判别。(2) 高杠杆参数（high leverage）高杠杆参数是常指从自变量x的视角来看属于出现异常的参数，如图当中的深蓝色点和蓝色点，在x轴上玛长x的均参数较已远。高杠杆参数一般而言有别于杠杆参数来判别。(3) 超强严重影响参数（influential observation）超强严重影响参数是常指对基本定义严重影响较大的参数，也就是说，如果封禁了该参数，都会随之而来基本定义起因较大改变（如乘积参数改变较大）。超强严重影响点一般而言有别于COOK'D参数、DFBETAS和DFFITS来判别。左图比较了有所不同出现异常参数对基本定义粗略效果的严重影响。图当中金色实该线表示含这3个出现异常参数的粗略该线，蓝色、黑色、深蓝色虚该线分别表示含蓝色点、黑色点、深蓝色点时的粗略该线。不难看出，包含蓝色点时，对基本定义粗略严重影响几乎不大（与金色实该线几乎完全一致）；包含深蓝色点时，粗略该线被向前玛低，即重归乘积已远低于金色实该线；包含黑色点时，粗略该线也被玛低。如果要判别的话，蓝色点虽然从x朝向和y朝向上都玛长均参数，但却不是超强严重影响点；深蓝色点和黑色点才是超强严重影响点，因为单独的任一点便可以随之而来乘积起因较大改变。我们今日仍未说出了如何判别单位向量回事出现异常点，紧接着的难题就是，如果我注意到了出现异常点，应该怎么三处理？不少人穿衣简单谩骂的步骤，即直接封禁。这未必是众所周知的办法，有时甚至都会让你错过一些真正的周期性。当你注意到出现异常参数后，一定要到时分清是什么理由随之而来的出现异常参数，然后才对如何三处理。如果是属于录入误解或Laboratory历史纪录误解等，这很容易，即刻修改才都会。如果不是录入误解，而是无论如何不存在这样的出现异常参数，这时并不需要根据有所不同一般而言来分别对待。首到时，如果这一出现异常参数未必均是由一种周期性性的，而是极其误打误撞的成因，或者说你未必想研究成果这种误打误撞的成因，这时可以将其封禁。可有如，你要研究成果腰围与血压的联系，但你的研究成果人群当中从前纳入了姚明，这种完全，可以将其封禁，只用其他人顺利进行分析步骤。因为这未必均是由一种周期性性的成因，而且你可能都会也不想研究成果相同的情况。其次，如果出现异常参数不存在且均是由了一种真实世界不存在的成因，那就无法不对封禁。比如报告了100个村的心肌梗塞患病率，可能都会无论如何有个别村庄的患病率已远已远高于其它村，这时就无法不对封禁，而是要把这些出现异常点纳入，再粗略基本定义，研究成果其周期性。可有：某Laboratory样品了细菌培养菌群总数与一段时间的联系，试用顺利进行分析步骤。很突出，左图当中的两个黑点是出现异常点，可以让该一维重归的乘积起因剧烈改变。那这种完全应该并不需要封禁这两个参数呢？首到时看一下这两个参数应该实验误差，如果这两个参数是直观的，那它很可能都会均是由了一种真实世界情况。也就是说，短时间增长加速，但是到了一个关键一段时间点后（如30），栖地总数就都会剧增。此时如果你直接封禁这两个点，就无法真正注意到这种周期性。所以我们可以纳入这两个点，但是无法粗略该一维重归，而是要根据其形状粗略非该一维基本定义。如此三处可以考虑对一段时间time顺利进行常百分比离散，可以注意到离散后基本定义更能有效地粗略样本。