回顾统计分析方法和统计算法几百年的发展,我们不妨做如下思考:

(1)当今所流行的统计分析方法及算法为什么会流传下来?

计算能力——历史上决定一种统计方法能否发展及流传下来的决定性因素。

(2)计算机技术的巨大进步为统计分析方法和算法带来什么改变?

当计算机技术的进步解决了计算能力的问题后,计算机软件产品所能提供的仍然是“流行的”统计分析方法和算法!历史上因计算能力而为“流行的”算法而付出的代价仍在付出。

(3)传统的分析问题、解决问题的方法的有效性及普适性?

建模(套用已知的分布模型)——假设检验(判定所适用的已知分布模型)——计算分布模型的特征量——依据分布模型对特征量作出解释或决策。

A. 人人都是统计学的“专家”或者盲从于专家?

B. 分布是稳定的?假设检验是正确有效的?

在智能制造、AI和物联网时代,解决问题可能不是基于特征量的改变,而是分布模式的改变!

(4)大数据(信息爆炸)与传统的统计分析方法的冲突?

数据量的增加与垃圾量的增加是呈正比的,计算机领域的名言“进去的是垃圾出来的照样是垃圾!”将与大数据常相伴!大数据为我们打开了更多的窗口,但绝不是对统计分析方法的替代——否则“大数据”就是伪科学的。

所以不难看出,国际上具有代表性的统计及数据分析软件如SPSS、MiniTab、SASS等,不论其自己或其拥泵者如何吹嘘,均无法掩盖其所使用/提供的都是300多年前的统计方法及算法和这些公司没有真正具有开创性研发实力的统计学家的事实。

当大数据作为一种由第三方提供的服务型产品后,必将使传统的企业信息系统中使用的统计分析和数据处理算法的谬误透明化——信息的使用者将期望与实际效果的差异归结为自己的能力将会转变成对信息提供者的认可及信任!由“专家”、“学者”赋予“流行”的统计分析方法和算法上的光环将会消失。

库得克研发团队在过去的三十多年中,基于如上认知所进行的统计分析方法及算法的研究开发,创立和扩展了基于Machine Power的统计方法和算法,并且基于这些创新统计方法和算法的场景化应用所开发的服务型产品在库得克的产品库提供。