| 楼主 xiaoci117 |
4个“v”：vast（数量庞大）、variety（种类繁多）、velocity（增长迅速）和value（总价值高）。这些都没错，但仔细一想，它们都是偏重说明大数据的正面优势的。但其实，大也有大的难处，大数据也不可避免地存在着一些负面劣势。结合笔者的从业经验，大数据的负面劣势可以概括为4个“n”，下面逐一说明每个n的含义。inflated大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多，更体现在字段变量的列数多，这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析，计算一两个还行，计算一两百个就让人望而生畏了。unstructured大数据是非结构化的。大数据的结构也是非常复杂的，既包括像交易额、时间等连续型变量，像性别、工作类型等离散型变量这样传统的结构化数据，更增添了如文本、社会关系网络，乃至语音、图像等大量新兴的非结构化数据，而这些非结构化数据蕴含的信息量往往更加巨大，但分析手段却略显单薄。incomplete大数据是残缺的。在现实的世界里，由于用户登记的信息不全、计算机数据存储的错误等种种原因，数据缺失是常见的现象。在大数据的场景下，数据缺失更是家常便饭，这就为后期的分析与建模质量增加了不确定的风险。abnormal大数据是异常的。同样，在现实的世界里，大数据里还有不少异常值（outlier）。比如某些连续型变量（如一个短期时间内的交易金额）的取之太大，某些离散型变量（如某个被选购的产品名称）里的某个水平值出现的次数太少，等等。如果不删除，很可能干扰模型系数的计算和评估；如果直接删除，又觉得缺乏说服力，容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。STIR（唤醒）策略是笔者在实践工作中提炼出来的、能够在实际工作中有效克服大数据负面劣势的应对方法。具体来说，STIR策略包含了四种技术手段，目前都已经有机地整合在统计分析与数据挖掘专业软件JMP中了，它可以用来解决上文提出的四个问题，下面将分别说明。Switching Variables“残缺”问题的。通过“列转换器”、“动画播放”等工具，海量因素之间的关联性分析变得十分简单、快捷，还可以根据需要对关联性的重要程度进行排序，大数据分析的效率由此得到大幅提升。  JMPText Mining“非结构化”问题的。通过先对文字、图像等新媒体信息源进行降维、去噪、转换等处理，产生结构化数据，再用成熟的统计分析和数据挖掘方法进行评价和解释。这样一来，大数据的应用范围得到了极大的拓展。  JMPImputation“残缺”问题的。在有missing data的时候，我们并不完全排斥直接删除的方法，但更多的时候，我们会在条件允许的情况下，用赋值的方法去替代原先的缺失值。具体的技术很多，简单的如计算平均值、中位数、众数之类的统计量，复杂的如用回归、决策树、贝叶斯定理去预测缺失数的近似值等。这样一来，大数据的质量大为改观，为后期的分析与建模奠定了扎实的基础。  JMPRobust Modeling“异常”问题的。在融入了自动识别、重要性加权等处理手段后，分析人员既直接消除了个别强影响点的敏感程度，又综合考虑了所有数据的影响，增强了模型的抗干扰能力，使得模型体现出良好的预测特性，由此做出的业务决策自然变得更加科学、精准。  JMP关于JMP，敏捷分析成就无限。JMP是全球顶尖的数据分析解决方案供应商，致力于帮助人们从数据探索、分析与挖掘中，快速发现隐藏在数据中的秘密与价值，从而改善决策、提升质量和生产力、改善业务流程、优化供应链、提高运营效率和客户满意度、降低运营成本，扩大利润与市场份额，实现创新，提速研发，以及成就无限。 |