数据的黑暗陷阱是什么？——由柏拉图“洞穴之喻”想到的（下）

客观的世界只有一个，而描述这个世界的棱面却有无数个，如果只在一个或某几个棱面采集数据，就如同在降维的世界里，来刻画高维世界，即使收集的数据再多，也是残缺的，更可怕的是，数据越多，分歧也可能越多，因为每一个不同的观点，都能从事实的一个棱面，找到很多相应的数据来支持，然后彼此否定，如果是这样，那么在一定程度上，这比没有数据还要糟糕，这或许就是数据的黑暗陷阱之一。
文接上篇：
《数据的黑暗陷阱是什么？——由柏拉图“洞穴之喻”想到的（上）》

● 数据越多，真相就越近吗
随着越来越多的事物被数据化，越来越多的决策者唯“数”是从。更有甚者认为，“我们信奉上帝，其他人都必须携数据而来”（In God we trust. All others must bring data， 语出世界著名的质量管理专家Edwards Deming）。
相信数据，这是很好的事情。但如同那句良言，“尽信书不如无书”，略改一个字，尽信“数”不如无“数”，也是成立的。过度的、不合理的利用数据，带来的后果可能比没有数据还要糟糕。这是因为，客观的世界只有一个，而描述这个世界的棱面却有无数个。在很多时候，我们所能采集的、所能接触的、愿意相信的，可能仅仅就是“事实”的某一个或几个棱面的数据。
如果是这样，就如同在降维的世界里，来刻画高维世界，那么即使收集的数据再多，也是残缺的，更可怕的是，数据越多，分歧也可能越多，因为每一个不同的观点，都能从事实的一个棱面，找到很多相应的数据来支持，然后彼此否定，形成理解上的死循环。
比如说，假设我们有一个事实是：教育似乎在走下坡路。我们得到的数据是，用标准化考试得到的学生成绩。那么问题来了，考试成绩作为一个维度的数据，是否能全面反映学生的能力呢？学生的创造力能在多大程度上被标准化考试反映出来？教育培养的是能力，还是成绩？标准化成绩之所以饱受争议，就是因为这样的数据所反映出来的，并非是教育的全貌。
再比如，如果我说，李鸿章是中国近代史上最杰出的两个半外交家之一（另外一个是周恩来，半个是顾维钧），你可能立马就拍案而起，胡说，中国近代史上的30多个不平等的条约，哪个少了李鸿章，他赤裸裸就一卖国贼嘛！
于是，公说公有理，婆说婆有理。每个人都拿着事实的一面，来否定另一面，振振有辞，不亦乐乎！
大数据专家涂子沛先生曾写过一篇文章《为什么数据越多，真相越远》，文中指出，“人类就像刻舟求剑的楚人一样，能掌握的永远只是某一个节点某一个范围内的小事实”。
阿里巴巴公司可谓是中国乃至世界范围的大数据翘楚之一，公司不仅拥有大数据本身，也具备大数据思维，同时还拥有一大帮优秀的大数据工程师。即使这样，也会出现问题。
涂子沛先生就列举了一个案例。话说他还没有就职于阿里巴巴工作之前，公司就有业务线上的高管来咨询他，说仅仅就预测顾客可能要买的商品，阿里就有9个不同的业务部门在做，而这些部门，得出的结论往往大相径庭，而且各个部门都认为自己的预测最占理、最准确！
涂先生认为，这个案例其实隐藏着一个巨大的时代风险。这就是，数量庞大的数据，将导致“人人皆有理”。一个人要做出一个与其它人迥异的结论，总可以找到相应的数据来支撑自己。
根据数字人类学家托马斯克伦普（Thomas Grump）的观点[4]，要知道，数据的背后都是人！人并非总能表现理性！
于是，意见纷争、共识稀少，是常见的局面。
这在一定程度上，可能比没有数据还糟糕。这就是我们在使用（大）数据，不曾认真思考的黑暗陷阱之一。
● 消灭黑暗陷阱的途径
针对涂子沛先生提到的那个案例，他的判读是，阿里的那些部门依据的应该是各自收集的、不同环节的数据，一问的确如此。于是他建议，阿里的正确做法应该是，合并部门，归整数据，然后形成一个多维度的数据，让数据接近事实，然后再进行预测。
其实，涂先生的答案，早在中国古老哲学“兼听则明，偏信则暗”中，已有体现。多“听”几个维度的“事实”，便会带来一个更加清晰的事实，否则，单维度“听”信某个方面的“事实”，就会带来愚昧和昏暗。
现在我们已经步入大数据时代，可不要认为我们已处于科技发达的年代，就把古人的忠告给抛之于脑后！
埃文科技——网络空间地图测绘领域技术专家，提供最全面、最精准的网络空间地图服务。
公司成立于2012年，专注于网络空间、地理空间和社会空间的相互映射，绘制三位一体的网络空间地图，对网络空间资源的静态属性和动态变化情况进行探测。拥有19项软件著作权及10项发明专利。