第(1/3)页 叶风讲的虽然浅显易懂，但确实精彩万分。 “数据处理，必须经过这几个步骤，完成之后才会有智慧。” 此时台前的叶风，像极了传教老师。 下面的众人，像极了专心听弟子。 “第一个步骤是数据收集。这里有两个方式，第一个方式是拿，专业点的说法叫抓取或者爬取，例如万象搜索就是这么做的，它把网上的所有的信息都下载到它的数据中心，然后你一搜才能搜出来。比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面呢，就是因为他把这个数据啊都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。” “比如说网易有个新闻，你拿万象搜出来，你不点的时候，那一页在万象数据中心，一点出来的网页就是在网易的数据中心了。另外一个方式就是推送，有很多终端可以帮我们收集数据，比如说华风智能手机上面的健康管理应用，可以将你每天跑步的数据、心跳的数据、睡眠的数据都上传到数据中心里面。” “第二个步骤是数据传输。一般会通过队列方式进行，因为数据量实在是太大了，数据必须经过处理才会有用，可是系统处理不过来，只好排好队，慢慢的处理。” “第三个步骤是数据存储。现在数据就是金钱，掌握了数据就相当于掌握了钱。要不然别人怎么知道你想买什么呢？就是因为它有你历史的交易的数据，这个信息可不能给别人，十分宝贵，所以需要存储下来。” “第四个步骤是数据分析。刚才说的存储数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。” “比如90年代盛传的沃尔玛超市啤酒和尿布的故事。” 叶风刚刚举了一个例子，还没说完，大家就会心笑起来。 在坐的各位，都是精英，基本上都听过这个故事。 尤其是红旗大卖场的总裁曹世茹，她知道在美国有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为她津津乐道，常常用来教育下面的员工。 沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。 一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在“尿布与啤酒“背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 叶风笑道：“即然大家都知道，我就不多说了，这就是通过对购买数据进行分析，发现男人一般买尿布的时候，会同时购买啤酒，这样就发现了啤酒和尿布之间的相互关系，获得知识，然后应用到实践中，将啤酒和尿布的柜台弄的很近，就获得了智慧，让啤酒和尿布销量双双大增。” “第五个步骤就是对于数据检索和挖掘。检索就是搜索，分析后的数据放入搜索引擎，从而人们想寻找信息的时候，一搜就有了。另外就是挖掘，仅仅搜索出来已经不能满足人们的要求了，还需要从信息中挖掘出相互的关系。比如财经搜索，当搜索某个公司股票的时候，该公司的高管是不是也应该被挖掘出来呢？如果仅仅搜索出这个公司的股票发现涨的特别好，于是你就去买了，其实其高管发了一个声明，对股票十分不利，第二天就跌了，这不坑害广大股民么？所以通过各种算法挖掘数据中的关系，形成知识库，十分重要。” 听叶风说得很有逻辑性，众人都点头连连。 这时，又听叶风讲到重点，说起云计算、大数据、人工智能的密切关系。 “当数据量很小的时候，很少的几台机器就能解决。慢慢的当数据量越来越大，最牛的服务器都解决不了问题的时候，就想怎么办呢？要聚合多台机器的力量，大家齐心协力一起把这个事搞定，众人拾柴火焰高。” “所以说大数据平台，什么叫做大数据，说白了就是一台机器干不完，大家一起干。随着数据量越来越大，很多不大的公司都需要处理相当多的数据，这些小公司没有这么多机器可怎么办呢？” “说到这里，大家想起云计算了吧。当想要干这些活的时候，需要好多好多的机器一块做，真的是想什么时候要，想要多少就要多少。在以后，一个小公司需要大数据平台的时候，不需要采购一千台机器，只要到晴风云平台上一点，这一千台机器都出来了，并且上面已经部署好了的大数据平台，只要把数据放进去算就可以了。” “云计算需要大数据，大数据需要云计算，两个人就这样结合了。” 第(1/3)页