几年下来，大数据已不再是高耸如云一样触不可及的概念……
用“日新月异”一词，并不能贴切的描述移动互联网的发展状态，因为几乎每一个瞬间，信息都在传输，并以幂次的速度裂变和扩张。不仅仅是信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命。
几年来，大数据已不再是高耸如云一样触不可及的概念，其应用领域，几乎已很容易理解、简单视觉化地蔓延到现代人生活的方方面面，第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生态链上游厂商融入到一个大的环境中。无论是企业级市场还是消费级市场，亦或政府公共服务，都正或将要与大数据发生千丝万缕的联系。
各类相关的新老厂商，从不同角度提供了佐证，大数据市场是待挖掘的金矿，其价值不言而喻。从用户端看，在一定程度上，可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。
其中，实实在在、看得见摸得着的可以解决关键问题的解决方案，成为判断的核心。一方面真金不怕火炼，另一方面纸里也包不住火。未来一个阶段，优秀的企业将比以往凸现。
甲骨文，京东，谷歌
虽然大数据的出现让企业有了更多的商业机会，然而调查显示，只有12%的企业高管认为他们对大数据有控制能力，无价值的数据占据了过多的处理时间，致使有限的IT资源被浪费，如何存储并分析数据成为了企业在大数据时代面临的挑战。
甲骨文公司通过Oracle大数据机、Oracle Exadata数据库云服务器、Oracle Exalytics商务智能云服务器以及Oracle Endeca Information Discovery，依托于ERP/CRM等关键企业管理系统的商务智能软件一起组成了甲骨文最广泛、高度集成化产品组合，为企业提供了一个全方位的端到端的大数据解决方案。目前，Oracle大数据解决方案已获得汤森路透、丰田汽车、Regions 银行、美国国家癌症研究所等众多企业用户的支持。
在电商领域，京东大数据的优势得益于京东电商业务的全价值链数据，由于京东的主要业务是自营式电商，而且要求端到端的流程控制，使得京东的大数据覆盖了电商的全部流程，从采购、库房、销售、配送到售后、客服，整个链条是完整的。有了真实有效的大数据，京东就可以做很多的事情，比如精准营销、用户画像、C2B定制，等等。
谷歌的无人驾驶汽车是一个彻头彻尾的大数据时代下的产物，按照谷歌的设想，无人驾驶汽车不需要驾驶员，因而人们也不需要购买，所以消费者将因此节省下大笔的购买保险、交通事故赔偿、使用维护、购买停车位等费用，交通系统等与出行有关的一切都将重新构建，甚至会改变城市的面貌。近日，谷歌为其无人驾驶汽车注册了一项新的专利技术，当发生自动驾驶汽车冲撞行人的情况时，汽车发动机盖、前保险杠以及侧面的特殊涂层会将行人粘住，以避免受到二次伤害的可能。
中国IDC圈1月8日报道，1月5-7日，第十届中国IDC产业年度大典（IDCC2015）在北京国家会议中心隆重召开。本次大会由中国信息通信研究院、云计算发展与政策论坛、数据中心联盟指导，中国IDC产业年度大典组委会主办，中国IDC圈承办，并受到诸多媒体的大力支持。
中国IDC产业年度大典作为国内云计算和数据中心领域规模最大、最具影响力的标志性盛会，之前已成功举办过九届，在本届大会无论是规格还是规模都"更上一层楼"，引来现场人员爆满，影响力全面覆盖数据中心、互联网、云计算、大数据等多个领域。
微软（中国）托管技术高级架构师张志强出席IDCC2015大会并在云计算技术与平台服务论坛发表主题为《在混合云架构下交付大数据解决方案》的精彩演讲。
微软（中国）托管技术高级架构师张志强
以下是演讲实录：
张志强：大家早上好。我来自微软，今天我跟大家分享的话题就是混合云架构下如何交付一个大数据解决方案？在过去两年里面基本从云计算的需求由逐步导向到应用需求，那么应用需求里面我们看到15年很热的就是大数据，而且这个我们可以看到从趋势来讲到16、17年会持续的发酵，大数据会变成云计算的需求方很重要的一点。我们微软参加IDC大会已经三年，第一年就是分享在IDC的机房内构建自己的云，第二点讲一下怎样在基于自己的本地云的基础上构建混合云的交付，今年我们把这个眼光转向在云的架构下怎么交付大数据解决方案？我们看到云的业务上，很多IDC的伙伴已经有了云，有了服务能力。但是这个能力构建好之后，在需求侧现在最重要的两点，一个是大数据一个IOT的需求，我们看到产业园都提这个方面的需求。我们作为IDC的业者怎么响应这个需求？这是我们所关心的问题。
今天的内容有点枯燥，跟大家分享一下微软大数据解决方案的架构，我们阐述一下为什么混合云，再说一下混合云架构上交付大数据解决方案的架构，然后我们做一个立体分析，给大家有小的演示。
首先我们看一下微软的大数据方案，拿这个图不是为了吓唬人，因为确实是大数据方案里面的Cloud模块很多，确实很多。我们从左侧往右疏导，左边是数据源，左边是非结构化数据源，还有传统化的结构数据源。这些数据源进来之后我们通过Hadoop和结构化的SQL导入到分析平台系统，中间这个部分。这个部分的数据做的汇总处理之后，然后再往右侧的块进行数据的分析，数据分析这边我们主要用传统的数据分析方法还有一些新的机器学习的方法做分析。这些分析结果会导到应用层，应用层我们看到在应用中，现在还没有达到指导性的意见，还是侧重数据展现，包括几个，一个是动态化的交付分析，还有面向移动端的数据交付。这是重要的几个部分，上面是流逝分析，在实时数据流我做处理。这个处理方法不管是微软还是其他的，主要提供于查询语句的方式做差距，但是差距是根据实时流做的，对于实时要求比较高。
在整个概览我们看到从数据产生到清洗、挖掘到后面的展现这个过程都有了。这张图在大部分微软和微软小伙伴大家讲的之后都会说，这是基于微软公有云上面所提供的服务。的确这个里面不管是说从上面的Hadoop、HDinsight都是在微软的公有云上面提供服务，一个是存储服务还有分析类服务都在上面做。那么这些部分东西我们如果想交付自己的本地云或者私有云或者托管云上面做的时候，能不能做？这就是我们所关心的问题。我们的答案是可以做，你在本地云平台上可以做，既然做云我们首先需要一个基础的架构，我们需要有一个基础架构。这个基础架构提供的是一个IaaSService平台，既然是做云我们一定要具备多租户的能力。这是云的本质，所以我们现有这个部分。这个部分我今天不展开讲，因为我们过去很多活动中主要讲这个部分。那么对应上面的这些，上面这块我们在本地云做的时候，提供大数据的解决方案有三个纵向的域组成，数据管理、数据提炼还有数据洞察。对应这些域里面，微软可以提供哪些模块给大家？我已经列出了。
首先我们做数据的管理，大家不可能不知道Hadoop，那么我们的答案就是说在微软本地云的多租户解决方案上，你可以交付一个Hadoop的服务。所以Hadoop的服务，当你的租户来到你的环境中订阅这个服务的时候，可以自动化的获得Hadoop的环境。这个我们后面有一个小的演示，大家可以看一下。在数据提炼这部分，就有意义了。因为我们知道现在在数据分析的云里面，从传统的这种简单的排序到数据挖掘到现在的机器学习，再到可能在今年会进一步演化的深度学习，这些数据分析会是未来更重要的部分。包括昨天早上何博士谈到一个观点，把人工智能作为一个服务，这都是一个热点。但是这个答案我们在这个方案中，严格意义上没有一个完整的人工智能的服务在里面，为什么？原因很简单，因为这个成本太高。所以我们对于这部分的服务提供的是R的解决方案，我们知道在整个数据分析领域里面，R语言现在占有90%的市场份额。那么怎么实现对于模型，基于模型的数据分析的服务？我们是通过，原来叫做HR，2016可能改名RService，所以我们把它放到我们的解决方案里面，这是一个。
还有原来微软自己具有数据挖掘和分析服务这些模组，这些依然是存在的。那么再往右侧推演，我们知道现在做大数据，我刚才讲了一个观点就是说，要做完整闭环决策，从数据的产生到分析到加工再回到你的系统中自动执行这个行动，这个闭环大家不太敢做。在一些不重要的地方可以做，但是你把自动化全部交给他有一定的困难。所以我们看到做数据的展现，也就是说去年也是2015年比较热的话题就是数据可视化，我用这个词讲大家更有感知一些。我们看到从去年年初踩踏事故出来之后，百度发布人流密布图。到去年年底的时候淘宝也分布了指数，数据通过直观的方式展现给大家，使得大家能够领悟到价值。这个领悟目前机器不能完全替代去做，所以这是主要的原因。那么这个里面微软提供的工具有两个，一个是Analysis Service，这个跟十年前的已经完全不一样。还有一个我上面没有列，我们在交互经常用的工具就是Excel表格，这个从07到10这两个版本已经演变成一个分析工具，Excel每个表处理的能力是十亿条，不是原来的那样。我们以前有一个比较痛恨的地方，一个数据表只有536，现在不是。第二它可以引入到外部数据源，第三它在展现上提供了像数据透视图、还有跟地图的连接这种更可视化的一种服务。
那么好，还有一个值得关注的小工具，这个叫Datazen，它本身也是独立公司，这家公司的最大优点就是说它提供一个面向移动设备的，基于H5的数据展现的可视化方案。也就是说你的数据从结果出来推送到手机端，可以基于这个方案，你可以在应用里面嵌入这个数据展现的时候，就变得非常的简单。整个串起来就是我们大家能够帮助在本地云平台交付的大数据方案。回到我们的主题，关于混合云的问题。严格意义讲，我个人认为混合云永远是一个中间方案，为什么这么说？从云计算诞生的第一天就希望所有的IT应用和应用，也就是数据都放到公有云上，为什么？因为公有云有好处。在基于公有云构建这个解决方案，你可能有一个相对比较端的建立周期，还有很强的数据中心的资源，然后有非常大的计算资源规模。这使得我在上面做应用的时候，可以变得更灵活更方便，而成本更低。谈到成本这个问题，我们在座做IDC的大家都有体会。国内最便宜的云就是阿里云，但是它的逻辑大家经常讲一个故事，所谓羊毛出猪身上然后狗买单，这种时候这种成本结构和我们单一的项目成本结构完全不一样。
那么从最终用户来看，我们不关心这个后台的业务竞争，我们只关心我们构建业务系统成本时候会发现基于公有云做的时候成本会低，可是也有它的限制。这也就是说我们为什么会存在私有云和本地云，以及说其他形式的专有云的存在价值。首先对于数据治理这个问题是永远存在的，不避讳的讲即便是微软和世纪互联做微软的Azure云，没有用海外的Azure云引入中国的方式来做，就是因为法规的要求。所以同样的要求会在不同的行业会有更强的约束性，那么这就是尽管有一个很便宜的公有云在那儿，但是很多用户不能用。我们先不说技术问题，从数据治理角度来讲它不能去用。所以会产生一个本地化的需求，就诞生了。可是对比公有云，一个很大的规模来讲，在本地的云平台一定是个有限规模。很简单，比如微软在自己的公有云投资达到150亿美金，这样一个规模不是任何一个企业或者说任何一个局部地域的服务商愿意投入的，因为市场空间没有那么大，所以不会做这样的生意决策，没有这样的决策就不会有一个看似无限量的后台资源规模来支撑。这样的结果下我们本地云就会变成一个有限的规模。
那么有限规模解决什么问题？在国内主要第一个是数据治理的问题。第二是网络问题，网络问题包括两个，一个是一些地方网络连接并不像我们想象的那么好，就是访问速度没有想象那么好。我们看到做SaaS应用服务的人，大量导入CDN，这就是其中一个原因。还有看的更极端的案例，有一些对于大数据解决方案有需求的用户，他本身所处的位置非常偏远，我们讲一个极端场景。如果你帮助人做一个数字化的解决方案，都是在鸟不拉屎的地方，这个时候本地的私有化云的服务，就显得有意义了。
那么回到我们所关心的问题，大数据。在微软的视角里面我们在公有云提供了大量的服务，比如新的Data Lake，就是PaaS的Service在上面。对应在本地我们提供Hadoop、SQLService这些应用都在上面。我刚才提到一个观点，混合是一个中间路线，非左非右，就是折中。取东家长补西家短，这就是混合的意义。如果我们有些数据存储和运算需要到很大量的资源规模我可以使用公有云的IaaS层的Service来做。那么很尴尬的看到一点，很多人用公有云第一步做什么？数据备份。再往下看，在公有云上提供一些在本地不好去构建的服务，举个例子，机器学习，它后台节点非常高。如果本地云只构建12或者16个物理服务器的平台提供给三个客户做大数据的服务，你可以想象我做这个事情，我怎么利用这个能力？我们的思路把这两个串到一起变成一个混合的解决方案，取其长来用。
那么在本地我们所进行的其实是根据需求产生的，因为我们毕竟做生意。我做一个平台或者做一个服务，没有人来买我不需要投入那么高，那么这个时候在这一侧我们看重在性能也好，成本也好，是根据需求来设计的。所以对于混合云的需求分析我们导入这样一个结构，这个结构看起来很简单，它的主线的工作是在这部分，就是本地云，COSN是微软的一个解决方案。我们在这里用它代替在本地云平台的名称，在本地从数据采集分工是通的，但是我需要用公有云的时候把他拉进来，这是一个混合结构。这里我们没有引入IaaS的混合层，重点在于公有云的PaaSService导入到这个解决方案，构成一个整体的部分。这个地方我特意说了，因为在大数据解决方案里面会存在很多不同的模块，有的部分我可能只有非结构化数据处理。
接下来我们再对比一下，在公有云跟本地云两边来看。上面红色标记是微软在本地云提供的模块大家去用，下面蓝色是我们在公有云提供的数据分析，DataService，为什么公有云提供那么多诞生在本地？原因很简单，因为微软今天不像十年前那样，我们以产品导向的方式做云的业务，而是以云为优先，我们的口号也是移动为先云为先。这个时候整个研发体系的转变会导致新的服务和技术会优先诞生在公有云上，然后稍后我们把这些服务转变成可交付产品，放到其他的环境中去运行，所以这是一个变化。那么这张图的结构，你可以忽略这些，我们看蓝点和红点，今天可能是十比五的关系，明天变成十五比五，比十，后天变成二十比十、比十五，它是这样的关系在变化。所以这个时候看到出来一个关于微软的承诺，微软在企业市场的耕耘是持续不断，我们的做法希望把微软在公有云的最佳实践转变成可交付的技术，可服务在公有云、本地云各种云的平台，交付给我们的合作伙伴，帮助大家构建整体的解决能力。
接下来我们进入一个例题分析。前面讲了系统结构和为什么做混合云，我给一个简单事例。接下来看一下在这样的思想指导下在实际的需求来了之后，会有什么样的情况？这里说一个例子，这个例子是一个物联网的应用场景，预测性的维护或者预防性的维护。这张图上半部分告诉大家传统的设备维护需要巡检、排班和经验。但是问题来了，这样做是不够的，因为有天然的矛盾。我检的频度高了成本高，检的频度低了，出现问题的风险高。所以怎样适中的去做？不知道，只能凭经验。所以这个时候我们在想，大数据时代来了，我能不能利用数据的分析来告诉我，对于这些设备的部件，我能不能有相对更精细的方式去做检测和维护和操作。比如说我应该去更换机油，比如我应该更换车轮，我更换的周期应该是按什么样的数值做最合理？是设计人员告诉我的还是说应该谁告诉我？我们想象一下一个设备在哈尔滨运行和广州运行它的情况不一样，由于地理纬度的影响就不一样。那么就跟我们机房一样，机房放到了厦门，要考虑除湿，如果放呼和浩特要考虑防风、除沙，这当然是环境带来对设备维护因素的影响。还有人的影响，负载均衡的影响，其实这对于大型设备来说它的维护应该是个性化的。但是传统的方式只能给你一个指导手册，然后加上你自己的经验去做。
我们一下对于这种大型设备的维护应该怎么来做？首先我需要有数据的采集，我需要有大量传感器和控制设备的电脑主板，把运行状态、数据拿过来。然后我把它放到一个地方，你可以把它放到我们讲的本地运营的平台上做这个数据的采集，这个时候它是一个服务，我们把服务拿进来。拿进来之后，干什么？很简单，第一步是存储，我的结构化数据，非结构化数据，很简单我们想象一下我们Hadoop放进来了，放进来之后马上可以做一些报表出来。这是没有问题的。然后我可以把这些数据送到一个公有云服务平台，用它的机器学习的能力，帮助我导入一个模型，这个模型是什么？比如是我这个车轮的疲劳失效模型。还有比如说是我不同部件的失效模型，这些模型可以在上面做计算，刚才讲公有云有很好的计算池，因为我不需要每时每分去做，这个时候我的性价比最好，我本地云没有那么大平台规模，我不需要投入那么高成本。这个时候通过这样的方式处理一下，处理完的结果拿过来。为什么？因为我要再做下一步的管理。这个管理我举这个例子是排班管理，什么是排班管理？
我们知道在很多设备的运转空间里面需要人做现场巡检，现场巡检的时候什么时间派什么人出去？这就是排班。以前的排班方式是用手册和周期和人力资源来排，我现在可以按照设备个性化的维护周期和失效模型和人的状况去排班，形成一个智能排班。这个排班使我的巡检成本可以降低，这就是它的优势。我们看一段小电影，这是什么设备？电梯。电梯从刚才前面的各种传感器设备采集完了之后回到本地的处理中心，这是它的服务中心，服务中心里面把数据能够可视化展现出来，告诉大家是 什么位置的电梯，运行状况怎样？再进一步的把这些数据做处理，然后变成一个排班结果同步给现场的小分队，小分队拿着自己的电脑按照工作指令去现场了，去做这些设备的检修、维护、配件的更换。所以这样一个过程构成我们刚才看到整个解决方案的完整处理能力。
我们刚才把基于设备性的预测性维护的解决方案和它的实现路线和一个场景给大家做了展示。接下来我们再看一个如何把Hadoop ，一个基础的组件做成服务放到我们的本地云平台上。这个界面是我们在本地云平台做的一个交付界面，首先看到是一个后台管理，我们在后面定义好相应的资源，这个资源还是偏向于IaaS层的交付解决方案的资源，刚才看到的第一个片断是管理的界面，是一个后台界面，现在进入一个租户界面。因为我们做一个CloudService是多租户，现在就是用这个机制创建一个Hadoop的集群，我们把Hadoop的集群作为一个模板放在后面。当租户订阅的时候可以根据他的需要创建模板，创建出来把集群交互给用户做，那么就实现了把Hadoop做成服务，这样一个简单的能力来构建出来。
同样的，我们对于其他的也可以采用同样的技术来实现。下面给大家演示一个小例子，我们这个例子是关于空调的智能管理的例子，首先我根据地图进来，然后找到一台空调，这是大型建筑的中央空调，中央空调我们知道它的制冷原理主要通过水冷，就是调整水口的温度来送暖风，保证温度的协调。这里我们主要的结果是做两件事情，第一就是根据人流和环境因素来决策每一台空调的运转参数，这个参数分时段来调。有点类似于我们刚才讲的排班表，那个调节人这个调节设备的工况。还有对空调运转状况做一个模拟分析，然后来看能耗和温度之间的关系。因为我们知道空调有很多机组，这个时候产生能耗跳电，是什么因素导致的？我需要找到。我先开一个，然后再过一小时再开第二个，这个时候能耗有很大的节约。看起来这个图稍微有点复杂，但是这个是微软的机器学习的界面，我们只是把它嵌入到这个里面来。这个里面每一部分都是会有一些算法的，这些算法其实已经做成了可以拖拽的工具，因为我们知道以前做算法分析的时候，你要从A算法分析结果到B算法，中间需要转换，这个很麻烦，成本周期很长，现在可以以拖拽的方式把整个串联下来做一个序列。
