通过维基百科看世界

新版SGI® UV™2000－世界上较大的内存数据挖掘系统，一天能做到什么？

技术计算行业值得信赖的领先公司SGI (NASDAQ：SGI)与伊利诺伊大学的Kalev H. Leetaru合作，制作了英文版维基百科全文的历史地图绘制和探究（按时间和地点绘制），这是前所未有的创作。结合内存数据挖掘技术，在一天之内就能实现将维基百科纪录的现代历史转换成可视的地图。通过把英文版维基百科整体下载到SGI® UV™ 2000里，Leetaru能够展示维基百科里过去两个世纪的世界，同时还能看到相应的地点、年份和当时世界正面或负面的情绪。

虽然之前有几个项目通过编辑手动把维基百科的条目按地址元数据绘制地图，但其中所涉及的地址条目只占到整个维基百科的一小部分。目前这个项目对所有文章内容解锁，在400万页文档中定位每一个地址和日期，找出它们之间的联系，然后建立一个巨大的网络。

从全新角度“看”维基百科 

SGI首席营销官兼战略主管Franz Aman认为，“这种新的分析方法能让读者从分散的文档中抽身，用全局的视角审视维基百科中海量的信息。前者是一棵树一棵树的看，而后者则是从整片森林的角度看。我们能看到维基百科作为人类知识较全集锦之一是如何演绎历史，并发现以前忽视的信息，如某特定时间和地点的全球情绪，或者可能存在的知识盲点。”Franz Aman补充说，“我们热衷于使用谷歌地球，因为我们能放大浏览。SGI UV 2这个工具就是把同样的概念运用于大数据(Big Data)，得以放大浏览大数据。”

根据这种分析方法，维基百科的历史覆盖大致经历了四个成长阶段：1001－1500（中世纪）、1501－1729 （现代早期）、1730－2003 （启蒙时代）和2004－2011 （维基百科时代）。维基百科将继续致力于加强对历史事件的覆盖，而不是对现在发生的事件做过多纪录。维基百科对每年历史的纪录基本上涵盖主要的全球事件：过去的1000年里较具负面影响的是美国内战，其次是第二次世界大战。这项分析也显示了“版权差距”对维基百科并不是问题，因为维基百科对历史事件的覆盖从1924年至今呈现稳定的指数增长。现实中，版权差距使得大部分20世纪的历史都只能保留在印刷品中，无法数字化。

研究人员能够以大数据(Big Data)的速度进行数据挖掘 

 “维基百科的单向性联系、缺乏链接、信息盒的不均匀分布，这些都给维基百科这类知识大全的元数据挖掘带来了限制。” Leetaru说，“有了SGI UV2， 大容量的共享存储能让我几乎实时地对整个数据集提问。维基百科拥有海量的高速缓冲存储器－一致性共享存储，我只要动动指尖，写几行代码，在整个数据集中运行，就可以查询任何脑海里浮现的问题。如果没有横向扩张的计算方法，这是不可能实现的。这就像从打字机升级到了文字处理器－我可以用完全不同的方法开展研究，把精力从算法转移到结果上。 ”

分析方法 

装载SGI® UV™ 2000后，大脑(Big Brain)计算机这一巨大的数据集用算法在维基百科的各条目上定位地址和日期，进行全文地理编码和完全日期编码。在公元前1000年到2012年间共挖取了超过8000万个地址和4200万个日期，每篇文章平均有19个地址和11个日期（相当于平均每44个文字和75个文字分别含有一个地址和日期）。各个日期和地址之间的联系汇聚成一张巨大的网络，展现了维基百科看待历史的角度。有了这个工具，Leetaru能够在SGI UV 2上对整个数据集进行实时分析，编制出按地点和时间排列的可视地图。 从这些地图上，Leetaru不但能观察到整段历史的演化，还能看到过去几千年里整个世界的情绪。同时，Leetaru还能在SGI UV 2上对各种理论和研究问题进行互动测试。上述这些工作都可以在一天之内完成。

新版SGI UV：大脑(Big Brain)计算机 

SGI UV 2产品线使用户能够在一个系统上找到较难问题的答案，而这个系统操作起来就和工作站一样容易。SGI UV 2内置Intel®Xeon®E5处理器、采用标准Linux系统，并支持各种存储选项，从而提供完整和行业领先的无极限计算的解决方案。

SGI UV 2的较低配置为16核和32G内存，日后可无缝扩展。该新一代平台的内核数量增加了一倍（高达4096个），连贯主内存增加了三倍（高达64万亿字节），可用于单一映像系统的内存计算。SGI UV 2可以将共享内存扩展到8千万亿字节，每秒输入/输出速率较高达每秒4万亿字节（14千万亿字节/小时）。它能够在不到三秒钟之内完成对美国国会图书馆所有藏书内容的检索。

SGI UV 2000现已开始销售。今日起可订购SGI UV 20，2012年8月开始发货。起售价30,000美元。

关于SGI 

技术计算行业值得信赖的领先公司 SGI 致力于帮助客户应对较严峻的业务与技术挑战。垂询更多详情，请访问sgi.com。

相关阅读:

• ...2012/06/20 09:25·通过维基百科之眼看世界