大数据时代如何开发潜在客户(第1章　大数据概述-人邮教育社区)

第1章　大数据概述-人邮教育社区

大数据时代悄然来临，带来了信息技术发展的巨大变革，并深刻影响着社会生产和人民生活的方方面面。全球范围内，世界各国**均高度重视大数据技术的研究和产业发展，纷纷把大数据上升为***战略加以重点推进。企业和学术机构纷纷加大技术、资金和人员投入力度，加强对大数据关键技术的研发与应用，以期在“第三次信息化浪潮”中占得先机、引领市场。大数据已经不是“镜中花、水中月”，它的影响力和作用力正迅速触及社会的每个角落，所到之处，或是颠覆，或是提升，都让人们深切感受到了大数据实实在在的威力。

对于一个***而言，能否紧紧抓住大数据发展机遇，快速形成核心技术和应用参与新一轮的全球化竞争，将直接决定未来若干年世界范围内各国科技力量博弈的格*。大数据专业人才的培养是新一轮科技较量的基础，高等院校承担着大数据人才培养的重任，因此，各高等院校非常重视大数据课程的开设，大数据课程已经成为计算机科学与技术专业的重要核心课程。

本章首先介绍了大数据的发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展，并阐述了云计算、物联网的概念及其与大数据之间的紧密关系。

根据IBM前首席执行官郭士纳的观点，IT领域每隔15年就会迎来一次重大变革（见表1-1）。1980年前后，个人计算机（PC）开始普及，使得计算机走入企业和千家万户，大大提高了社会生产力，也使人类迎来了第一次信息化浪潮，Intel、IBM、苹果、微软、联想等企业是这个时期的标志。随后，在1995年前后，人类开始全面进入互联网时代，互联网的普及把世界变成“地球村”，每个人都可以自由徜徉于信息的海洋，由此，人类迎来了第二次信息化浪潮，这个时期也缔造了雅虎、谷歌、阿里巴巴、百度等互联网巨头。时隔15年，在2010年前后，云计算、大数据、物联网的快速发展，拉开了第三次信息化浪潮的大幕，大数据时代已经到来，也必将涌现出一批新的市场标杆企业。

信息科技需要解决信息存储、信息传输和信息处理3个核心问题，人类社会在信息科技领域的不断进步，为大数据时代的到来提供了技术支撑。

数据被存储在磁盘、磁带、光盘、闪存等各种类型的存储介质中，随着科学技术的不断进步，存储设备制造工艺不断升级，容量大幅增加，速度不断提升，价格却在不断下降（见图1-1）。

早期的存储设备容量小、价格高、体积大，例如，IBM在1956年生产的一个早期的商业硬盘，容量只有5MB，不仅价格昂贵，而且体积有一个冰箱那么大（见图1-2）。相反，今天容量为1TB的硬盘，大小只有3.5英寸（约8.89厘米），读写速度达到200MB/s，价格仅为400元左右。廉价、高性能的硬盘存储设备，不仅提供了海量的存储空间，同时大大降低了数据存储成本。

与此同时，以闪存为代表的新型存储介质也开始得到大规模的普及和应用。闪存是一种新兴的半导体存储器，从1989年诞生第一款闪存产品开始，闪存技术不断获得新的突破，并逐渐在计算机存储产品市场中确立了自己的重要地位。闪存是一种非易失性存储器，即使发生断电也不会丢失数据，因此，可以作为永久性存储设备，它具有体积小、质量轻、能耗低、抗震性好等优良特性。

闪存芯片可以被封装制作成SD卡、U盘和固态盘等各种存储产品，SD卡和U盘主要用于个人数据存储，固态盘则越来越多地应用于企业级数据存储。一个32GB的SD卡，体积只有24mm×32mm×2.1mm，质量只有0.5克。以前7200r/min的硬盘，一秒钟只有100个IOPS（Input/OutputOperationsPerSecond），速率只有50MB/s，而现在的基于闪存的固态盘，每秒钟有几万甚至更高的IOPS，访问延迟只有几十微秒，允许我们以更快的速度读写数据。

总体而言，数据量和存储设备容量二者之间是相辅相成、互相促进的。一方面，随着数据的不断产生，需要存储的数据量不断增加，对存储设备的容量提出了更高的要求，促使存储设备生产商制造更大容量的产品满足市场需求；另一方面，更大容量的存储设备，进一步加快了数据量增长的速度，在存储设备价格高企的年代，由于考虑到成本问题，一些不必要或当前不能明显体现价值的数据往往会被丢弃，但是，随着单位存储空间价格的不断降低，人们开始倾向于把更多的数据保存起来，以期在未来某个时刻可以用更先进的数据分析工具从中挖掘价值。

CPU处理速度的不断提升也是促使数据量不断增加的重要因素。性能不断提升的CPU，大大提高了处理数据的能力，使得我们可以更快地处理不断累积的海量数据。从20世纪80年代至今，CPU的制造工艺不断提升，晶体管数量不断增加（见图1-3），运行频率不断提高，核心（Core）数量逐渐增多，而同等价格所能获得的CPU处理能力也呈几何级数上升。在30多年里，CPU的处理速度已经从10MHz提高到3.6GHz，在2013年之前的很长一段时期，CPU处理速度的增加一直遵循“摩尔定律”，性能每隔18个月提高一倍，价格下降一半。

1977年，世界上第一条光纤通信系统在***芝加哥市投入商用，数据传输速率为45Mbit/s，从此，人类社会的信息传输速度不断被刷新。进入21世纪，世界各国更是纷纷加大宽带网络建设力度，不断扩大网络覆盖范围和传输速度（见图1-4）。以我国为例，截至2012年6月，92.6%的固定宽带用户接入速率达到或超过2Mbit/s，国际互联网出口带宽达到1.48Tbit/s，是2005年的11.4倍。与此同时，移动通信宽带网络迅速发展，3G网络基本普及，4G网络覆盖范围不断加大，各种终端设备可以随时随地传输数据。大数据时代，信息传输不再遭遇网络发展初期的瓶颈和制约。

数据产生方式的变革，是促成大数据时代来临的重要因素。总体而言，人类社会的数据产生方式大致经历了三个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段（见图1-5）。

人类社会最早大规模管理和使用数据，是从数据库的诞生开始的。大型零售超市销售系统、银行交易系统、股市交易系统、医院医疗系统、企业客户管理系统等大量运营式系统，都是建立在数据库基础之上的，数据库中保存了大量结构化的企业关键信息，用来满足企业各种业务需求。在这个阶段，数据的产生方式是被动的，只有当实际的企业业务发生时，才会产生新的记录并存入数据库，比如，对于股市交易系统而言，只有当发生一笔股票交易时，才会有相关记录生成。

互联网的出现，使得数据传播更加快捷，不需要借助于磁盘、磁带等物理存储介质传播数据，网页的出现进一步加速了大量网络内容的产生，从而使得人类社会数据量开始呈现“井喷式”增长。但是，互联网真正的数据爆发产生于以“用户原创内容”为特征的Web2.0时代。Web1.0时代主要以门户网站为代表，强调内容的组织与提供，大量上网用户本身并不参与内容的产生。而Web2.0技术以Wiki、博客、微博、微信等自服务模式为主，强调自服务，大量上网用户本身就是内容的生成者，尤其是随着移动互联网和智能手机终端的普及，人们更是可以随时随地使用手机发微博、传照片，数据量开始急剧增加。

物联网的发展最终导致了人类社会数据量的第三次跃升。物联网中包含大量传感器，如温度传感器、***度传感器、压力传感器、位移传感器、光电传感器等，此外，视频监控摄像头也是物联网的重要组成部分。物联网中的这些设备，每时每刻都在自动产生大量数据，与Web2.0时代的人工数据产生方式相比，物联网中的自动数据产生方式，将在短时间内生成更密集、更大量的数据，使得人类社会迅速步入“大数据时代”。

从大数据的发展历程来看，总体上可以划分为3个重要阶段：萌芽期、成熟期和大规模应用期（见表1-2）。

第一阶段：萌芽期

随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等

第二阶段：成熟期

Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行其道

第三阶段：大规模应用期

大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高

1980年，著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

1997年10月，迈克尔·考克斯和大卫·埃尔斯沃思在第八届***电气和电子工程师协会（IEEE）关于可视化的会议论文集中，发表了《为外存模型可视化而应用控制程序请求页面调度》的文章，这是在***计算机学会的数字图书馆中第一篇使用“大数据”这一术语的文章。

1999年10月，在***电气和电子工程师协会（IEEE）关于可视化的年会上，设置了名为“自动化或者交互：什么更适合大数据？”的专题讨论小组，探讨大数据问题。

2001年2月，梅塔集团分析师道格·莱尼发布题为《3D数据管理：控制数据容量、处理速度及数据种类》的研究报告。10年后，“3V”（Volume、Variety和Velocity）作为定义大数据的三个维度而被广泛接受。

2005年9月，蒂姆·奥莱利发表了《什么是Web2.0》一文，并在文中指出“数据将是下一项技术核心”。

2008年，《自然》杂志推出大数据专刊；计算社区联盟(ComputingCommunityConsortium)发表了报告《大数据计算：在商业、科学和社会领域的革命性突破》，阐述了大数据技术及其面临的一些挑战。

2010年2月，肯尼斯·库克尔在《经济学人》上发表了一份关于管理信息的特别报告《数据，无所不在的数据》。

2011年2月，《科学》杂志推出专刊《处理数据》，讨论了科学研究中的大数据问题。

2011年，维克托·迈尔·舍恩伯格出版著作《大数据时代：生活、工作与思维的大变革》，引起轰动。

2011年5月，麦肯锡全球研究院发布《大数据：下一个具有创新力、竞争力与生产力的前沿领域》，提出“大数据”时代到来。

2012年3月，***奥巴马**发布了《大数据研究和发展倡议》，正式启动“大数据发展计划”，大数据上升为******发展战略，被视为*****继信息高速公路计划之后在信息科学领域的又一重大举措。

2013年12月，***计算机学会发布《***大数据技术与产业发展白皮书》，系统总结了大数据的核心科学与技术问题，推动了***大数据学科的建设与发展，并为**部门提供了战略性的意见与建议。

2014年5月，*****发布2014年全球“大数据”白皮书《大数据：抓住机遇、守护价值》，报告鼓励使用数据来推动社会进步。

随着大数据时代的到来，“大数据”已经成为互联网信息技术行业的流行词汇。关于“什么是大数据”这个问题，大家比较认可关于大数据的“4V”说法。大数据的4个“V”，或者说是大数据的四个特点，包含四个层面：数据量大（Volume）、数据类型繁多（Variety）、处理速度快（Velocity）和价值密度低（Value）。

人类进入信息社会以后，数据以自然方式增长，其产生不以人的意志为转移。从1986年开始到2010年的二十多年时间里，全球数据的数量增长了100倍，今后的数据量增长速度将更快，我们正生活在一个“数据***”的时代。今天，世界上只有25%的设备是联网的，大约80%的上网设备是计算机和手机，而在不远的将来，将有更多的用户成为网民，汽车、电视、家用电器、生产机器等各种设备也将接入互联网。随着Web2.0和移动互联网的快速发展，人们已经可以随时随地、随心所欲发布包括博客、微博、微信等在内的各种信息。以后，随着物联网的推广和普及，各种传感器和摄像头将遍布我们工作和生活的各个角落，这些设备每时每刻都在自动产生大量数据。

综上所述，人类社会正经历第二次“数据***”（如果把印刷在纸上的文字和图形也看作数据的话，那么，人类历史上第一次数据***发生在造纸术和印刷术发明的时期）。各种数据产生速度之快，产生数量之大，已经远远超出人类可以控制的范围，“数据***”成为大数据时代的鲜明特征。根据著名咨询机构IDC（InternetDataCenter）做出的估测，人类社会产生的数据一直都在以每年50%的速度增长，也就是说，每两年就增加一倍，这被称为“大数据摩尔定律”。这意味着，人类在最近两年产生的数据量相当于之前产生的全部数据量之和。预计到2020年，全球将总共拥有35ZB（见表1-3）的数据量，与2010年相比，数据量将增长到近30倍。

大数据的数据来源众多，科学研究、企业应用和Web应用等都在源源不断地生成新的数据。生物大数据、交通大数据、医疗大数据、电信大数据、电力大数据、金融大数据等，都呈现出“井喷式”增长，所涉及的数量十分巨大，已经从TB级别跃升到PB级别。

大数据的数据类型丰富，包括结构化数据和非结构化数据，其中，前者占10%左右，主要是指存储在关系数据库中的数据，后者占90%左右，种类繁多，主要包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息、网络日志等。

如此类型繁多的异构数据，对数据处理和分析技术提出了新的挑战，也带来了新的机遇。传统数据主要存储在关系数据库中，但是，在类似Web2.0等应用领域中，越来越多的数据开始被存储在NoSQL数据库中，这就必然要求在集成的过程中进行数据转换，而这种转换的过程是非常复杂和难以管理的。传统的OLAP（On-LineAnalyticalProcessing）分析和商务智能工具大都面向结构化数据，而在大数据时代，用户友好的、支持非结构化数据分析的商业软件也将迎来广阔的市场空间。

大数据时代的数据产生速度非常迅速。在Web2.0应用领域，在1分钟内，新浪可以产生2万条微博，Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品，人人网可以发生30万次访问，百度可以产生90万次搜索查询，Facebook可以产生600万次浏览量。大名鼎鼎的大型强子对撞机（LHC），大约每秒产生6亿次的碰撞，每秒生成约700MB的数据，有成千上万台计算机分析这些碰撞。

大数据时代的很多应用，都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践，因此，数据处理和分析的速度通常要达到秒级响应，这一点和传统的数据挖掘技术有着本质的不同，后者通常不要求给出实时分析结果。

为了实现快速分析海量数据的目的，新兴的大数据分析技术通常采用集群处理和独特的内部设计。以谷歌公司的Dremel为例，它是一种可扩展的、交互式的实时查询系统，用于只读嵌套数据的分析，通过结合多级树状执行过程和列式数据结构，它能做到几秒内完成对万亿张表的聚合查询，系统可以扩展到成千上万的CPU上，满足谷歌上万用户操作PB级数据的需求，并且可以在2～3秒内完成PB级别数据的查询。

大数据虽然看起来很美，但是，价值密度却远远低于传统关系数据库中已经有的那些数据。在大数据时代，很多有价值的信息都是分散在海量数据中的。以小区监控视频为例，如果没有意外事件发生，连续不断产生的数据都是没有任何价值的，当发生偷盗等意外情况时，也只有记录了事件过程的那一小段视频是有价值的。但是，为了能够获得发生偷盗等意外情况时的那一段宝贵的视频，我们不得不投入大量资金购买监控设备、网络设备、存储设备，耗费大量的电能和存储空间，来保存摄像头连续不断传来的监控数据。

如果这个实例还不够典型的话，那么我们可以想象另一个更大的场景。假设一个电子商务网站希望通过微博数据进行有针对性营销，为了实现这个目的，就必须构建一个能存储和分析新浪微博数据的大数据平台，使之能够根据用户微博内容进行有针对性的商品需求趋势预测。愿景很美好，但是，现实代价很大，可能需要耗费几百万元构建整个大数据团队和平台，而最终带来的企业销售利润增加额可能会比投入低许多，从这点来说，大数据的价值密度是较低的。

大数据对科学研究、思维方式和社会发展都具有重要而深远的影响。在科学研究方面，大数据使得人类科学研究在经历了实验、理论、计算3种范式之后，迎来了第四种范式——数据；在思维方式方面，大数据具有“全样而非抽样、效率而非精确、相关而非因果”三大显著特征，完全颠覆了传统的思维方式；在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现；在就业市场方面，大数据的兴起使得数据科学家成为热门职业；在人才培养方面，大数据的兴起将在很大程度上改变***高校信息技术相关专业的现有教学和科研体制。

图灵奖获得者、著名数据库专家吉姆·格雷（JimGray）博士观察并总结认为，人类自古以来在科学研究上先后历经了实验、理论、计算和数据四种范式（见图1-6），具体如下。

（1）第一种范式：实验

在最初的科学研究阶段，人类采用实验来解决一些科学问题，著名的比萨斜塔实验就是一个典型实例。1590年，伽利略在比萨斜塔上做了“两个铁球同时落地”的实验，得出了重量不同的两个铁球同时下落的结论，从此推翻了亚里士多德“物体下落速度和重量成比例”的学说，纠正了这个持续了1900年之久的错误结论。

（2）第二种范式：理论

随着科学的进步，人类开始采用各种数学、几何、物理等理论，构建问题模型和解决方案。比如牛顿第一定律、牛顿第二定律、牛顿第三定律构成了牛顿力学的完整体系，奠定了经典力学的概念基础，它的广泛传播和运用对人们的生活和思想产生了重大影响，在很大程度上推动了人类社会的发展与进步。

（3）第三种范式：计算

随着1946年人类历史上第一台计算机ENIAC的诞生，人类社会开始步入计算机时代，科学研究也进入了一个以“计算”为中心的全新时期。通过设计算法并编写相应程序输入计算机运行，人类可以借助于计算机的高速运算能力去解决各种问题。计算机具有存储容量大、运算速度快、精度高、可重复执行等特点，是科学研究的利器，推动了人类社会的飞速发展。

（4）第四种范式：数据

随着数据的不断累积，其宝贵价值日益得到体现，物联网和云计算的出现，更是促成了事物发展从量变到质变的转变，使人类社会开启了全新的大数据时代。在大数据环境下，一切将以数据为中心，从数据中发现问题、解决问题，真正体现数据的价值。大数据将成为科学工作者的宝藏，从数据中可以挖掘未知模式和有价值的信息，服务于生产和生活，推动科技创新和社会进步。

维克托·迈尔·舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中明确指出，大数据时代最大的转变就是思维方式的3种转变：全样而非抽样、效率而非精确、相关而非因果。

过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，通过对样本数据的分析，来推断全集数据的总体特征。通常，样本数据规模要比全集数据小很多，因此，可以在可控的代价内实现数据分析的目的。现在，我们已经迎来大数据时代，大数据技术的核心就是海量数据的存储和处理，分布式文件系统和分布式数据库技术，提供了理论上近乎无限的数据存储能力，分布式并行编程框架MapReduce提供了强大的海量数据并行处理能力。因此，有了大数据技术的支持，科学分析完全可以直接针对全集数据而不是抽样数据，并且可以在短时间内迅速得到分析结果，速度之快，超乎我们的想象。就像前面我们已经提到过的，谷歌公司的Dremel可以在2～3秒内完成PB级别数据的查询。

过去，我们在科学分析中采用抽样分析方法，就必须追求分析方法的精确性，因为，抽样分析只是针对部分样本的分析，其分析结果被应用到全集数据以后，误差会被放大，这就意味着，抽样分析的微小误差，被放大到全集数据以后，可能会变成一个很大的误差。因此，为了保证误差被放大到全集数据时仍然处于可以接受的范围，就必要确保抽样分析结果的精确性。正是由于这个原因，传统的数据分析方法往往更加注重提高算法的精确性，其次才是提高算法效率。现在，大数据时代采用全样分析而不是抽样分析，全样分析结果就不存在误差被放大的问题，因此，追求高精确性已经不是其首要目标；相反，大数据时代具有“秒级响应”的特征，要求在几秒内就迅速给出针对海量数据的实时分析结果，否则就会丧失数据的价值，因此，数据分析的效率成为关注的核心。

过去，数据分析的目的，一方面是解释事物背后的发展机理，比如，一个大型超市在某个地区的连锁店在某个时期内净利润下降很多，这就需要IT部门对相关销售数据进行详细分析找出发生问题的原因；另一方面是用于预测未来可能发生的事件，比如，通过实时分析微博数据，当发现人们对雾霾的讨论明显增加时，就可以建议销售部门增加口罩的进货量，因为，人们关注雾霾的一个直接结果是，大家会想到购买一个口罩来保护自己的身体健康。不管是哪个目的，其实都反映了一种“因果关系”。但是，在大数据时代，因果关系不再那么重要，人们转而追求“相关性”而非“因果性”。比如，我们去淘宝网购物时，当我们购买了一个汽车防盗锁以后，淘宝网还会自动提示你，与你购买相同物品的其他客户还购买了汽车坐垫，也就是说，淘宝网只会告诉你“购买汽车防盗锁”和“购买汽车坐垫”之间存在相关性，但是，并不会告诉你为什么其他客户购买了汽车防盗锁以后还会购买汽车坐垫。

大数据将会对社会发展产生深远的影响，具体表现在以下几个方面：大数据决策成为一种新的决策方式；大数据应用促进信息技术与各行业的深度融合；大数据开发推动新技术和新应用的不断涌现。

根据数据制定决策，并非大数据时代所特有。从20世纪90年代开始，数据仓库和商务智能工具就开始大量用于企业决策。发展到今天，数据仓库已经是一个集成的信息存储仓库，既具备批量和周期性的数据加载能力，也具备数据变化的实时探测、传播和加载能力，并能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策（如宏观决策和长远规划等）和战术决策（如实时营销和个性化服务等）的双重支持。但是，数据仓库以关系数据库为基础，无论是数据类型还是数据量方面都存在较大的限制。现在，大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析，已经成为受到追捧的全新决策方式。比如，**部门可以把大数据技术融入“舆情分析”，通过对论坛、微博、微信、社区等多种来源数据进行综合分析，弄清或测验信息中本质性的事实和趋势，揭示信息中含有的隐性情报内容，对事物发展做出情报预测，协助实现**决策，有效应对各种突发事件。

有专家指出，大数据将会在未来10年改变几乎每一个行业的业务功能。互联网、银行、保险、交通、材料、能源、服务等行业领域，不断累积的大数据将加速推进这些行业与信息技术的深度融合，开拓行业发展的新方向。比如，大数据可以帮助快递公司选择运费成本最低的最佳行车路径，协助投资者选择收益最大化的股票投资组合，辅助零售商有效定位目标客户群体，帮助互联网公司实现广告精准投放，还可以让电力公司做好配送电计划确保电网安全等。总之，大数据所触及的每个角落，我们的社会生产和生活都会因之而发生巨大而深刻的变化。

大数据的应用需求，是大数据新技术开发的源泉。在各种应用需求的强烈驱动下，各种突破性的大数据技术将被不断提出并得到广泛应用，数据的能量也将不断得到释放。在不远的将来，原来那些依靠人类自身判断力的领域应用，将逐渐被各种基于大数据的应用所取代。比如，今天的汽车保险公司，只能凭借少量的车主信息，对客户进行简单类别划分，并根据客户的汽车出险次数给予相应的保费优惠方案，客户选择哪家保险公司都没有太大差别。随着车联网的出现，“汽车大数据”将会深刻改变汽车保险业的商业模式，如果某家商业保险公司能够获取客户车辆的相关细节信息，并利用事先构建的数学模型对客户等级进行更加细致的判定，给予更加个性化的“一对一”优惠方案，那么，毫无疑问，这家保险公司将具备明显的市场竞争优势，获得更多客户的青睐。

大数据的兴起使得数据科学家成为热门职业。2010年的时候，在高科技劳动力市场上还很难见到数据科学家的头衔，但此后，数据科学家逐渐发展成为市场上最热门的职位之一，具有广阔发展前景，并代表着未来的发展方向。

互联网企业和零售、金融类企业都在积极争夺大数据人才，数据科学家成为大数据时代最紧缺的人才。据麦肯锡预测，在未来几年内，仅***本土就可能缺少14万～19万具备数据深入分析能力的专业人才，能够通过分析大数据支撑企业做出有效决策的数据管理人员和分析师，也大概存在150万人的缺口。

根据中桥调研咨询2013年7月针对***市场的一次调研结果显示，***用户目前还主要*限在结构化数据分析方面，尚未进入通过对半结构化和非结构化数据进行分析、捕捉新的市场空间的阶段。但是，大数据中包含了大量的非结构化数据，未来将会产生大量针对非结构化数据分析的市场需求，因此，未来***市场对掌握大数据分析专业技能的数据科学家的需求会逐年递增。

尽管有少数人认为，未来有更多的数据会采用自动化处理，会逐步降低对数据科学家的需求，但是，仍然有更多的人认为，随着数据科学家给企业所带来的商业价值的日益体现，市场对数据科学家的需求会越发旺盛。

大数据的兴起，将在很大程度上改变***高校信息技术相关专业的现有教学和科研体制。一方面，数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才，在***高校现有的学科和专业设置中，上述专业知识分布在数学、统计和计算机等多个学科中，任何一个学科都只能培养某个方向的专业人才，无法培养全面掌握数据科学相关知识的复合型人才。另一方面，数据科学家需要大数据应用实战环境，在真正的大数据环境中不断学习、实践并融会贯通，将自身技术背景与所在行业业务需求进行深度融合，从数据中发现有价值的信息，但是，目前大多高校还不具备这种培养环境，不仅缺乏大规模基础数据，也缺乏对领域业务需求的理解。鉴于上述两个原因，目前国内的数据科学家人才并不是由高校培养的，而主要是在企业实际应用环境中通过边工作边学习的方式不断成长起来的，其中，互联网领域集中了大多数的数据科学家人才。

在未来5～10年，市场对数据科学家的需求会日益增加，不仅互联网企业需要数据科学家，类似金融、电信这样的传统企业在大数据项目中也需要数据科学家。由于高校目前尚未具备大量培养数据科学家的基础和能力，传统企业很可能会从互联网行业“挖墙角”，来满足企业发展对数据分析人才的需求，继而造成用人成本高企，制约企业的成长壮大。因此，高校应该秉承“培养人才、服务社会”的理念，充分发挥科研和教学综合优势，培养一大批具备数据分析基础能力的数据科学家，有效缓解数据科学家的市场缺口，为促进经济社会发展做出更大贡献。

高校培养数据科学家人才需要采取“两条腿”走路的策略，即“引进来”和“走出去”。所谓“引进来”，是指高校要加强与企业的紧密合作，从企业引进相关数据，为学生搭建起接近企业应用实际的、仿真的大数据实战环境，让学生有机会理解企业业务需求和数据形式，为开展数据分析奠定基础，同时，从企业引进具有丰富实战经验的高级人才，承担起数据科学家相关课程教学任务，切实提高教学质量、水平和实用性。所谓“走出去”，是指积极鼓励和引导学生走出校园，进入互联网、金融、电信等具备大数据应用环境的企业去开展实践活动，同时，努力加强产、学、研合作，创造条件让高校教师参与到企业大数据项目中，实现理论知识与实际应用的深层次融合，锻炼高校教师的大数据实战能力，为更好培养数据科学家人才奠定基础。

在课程体系的设计上，高校应该打破学科界限，设置跨院系跨学科的“组合课程”，由来自计算机、数学、统计等不同院系的教师构建联合教学师资力量，多方合作，共同培养具备大数据分析基础能力的数据科学家，使其全面掌握包括数学、统计学、数据分析、商业分析和自然语言处理等在内的系统知识，具有***获取知识的能力，并具有较强的实践能力和创新意识。

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹，表1-4是大数据在各个领域的应用情况。本书在第11～13章将会详细介绍大数据在互联网、生物医学、物流等领域的具体应用。

大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用

利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活

借助于大数据技术，可以分析客户行为，进行商品推荐和有针对性广告投放

利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式

利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施

随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理地设计电力需求响应系统，确保电网运行安全

利用大数据优化物流网络，提高物流效率，降低物流成本

可以利用大数据实现智能交通、环保监测、城市规划和智能安防

大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA，了解更多的生命奥秘

大数据可以帮助我们训练球队，决定投拍哪种题材的影视作品，以及预测比赛结果

**可以利用大数据技术构建起强大的***安全保障体系，企业可以利用大数据抵御网络攻击，***可以借助大数据来预防犯罪

大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务

当人们谈到大数据时，往往并非仅指数据本身，而是数据和大数据技术这二者的综合。所谓大数据技术，是指伴随着大数据的采集、传输、处理和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

从数据分析全流程的角度，大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容，具体如表1-5所示。

利用ETL工具将分布的、异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析

利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理

利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据

在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

需要指出的是，大数据技术是许多技术的一个集合体，这些技术也并非全部都是新生事务，诸如关系数据库、数据仓库、ETL、OLAP、数据挖掘、数据隐私和安全、数据可视化等已经发展多年的技术，在大数据时代得到不断补充、完善、提高后又有了新的升华，也可以视为大数据技术的一个组成部分。对于这些技术，除了数据可视化技术以外，我们将不做介绍，本书重点阐述近些年新发展起来的大数据核心技术，包括分布式并行编程、分布式文件系统、分布式数据库、NoSQL数据库、云数据库、流计算、图计算等。

MapReduce是被大家所熟悉的大数据处理技术，当人们提到大数据时就会很自然地想到MapReduce，可见其影响力之广。实际上，大数据处理的问题复杂多样，单一的计算模式是无法满足不同类型的计算需求的，MapReduce其实只是大数据计算模式中的一种，它代表了针对大规模数据的批量处理技术，除此以外，还有查询分析计算、图计算、流计算等多种大数据计算模式（见表1-6）。本书后面内容将会介绍批处理计算（第7章）、流计算（第8章）和图计算（第9章）。

批处理计算主要解决针对大规模数据的批量处理，也是我们日常数据分析工作中非常常见的一类数据处理需求。MapReduce是最具有代表性和影响力的大数据批处理技术，可以并行执行大规模数据处理任务，用于大规模数据集（大于1TB）的并行运算。MapReduce极大地方便了分布式编程工作，它将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数——Map和Reduce，编程人员在不会分布式并行编程的情况下，也可以很容易将自己的程序运行在分布式系统上，完成海量数据集的计算。

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReduce快许多。Spark启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。在MapReduce中，数据流从一个稳定的来源，进行一系列加工处理后，流出到一个稳定的文件系统（如HDFS）。而对于Spark而言，则使用内存替代HDFS或本地磁盘来存储中间结果，因此，Spark要比MapReduce的速度快许多。

流数据也是大数据分析中的重要数据类型。流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此，必须采用实时计算的方式给出秒级响应。流计算可以实时处理来自不同数据源的、连续到达的流数据，经过实时分析处理，给出有价值的分析结果。目前业内已涌现出许多的流计算框架与平台，第一类是商业级的流计算平台，包括IBMInfoSphereStreams和IBMStreamBase等，第二类是开源流计算框架，包括TwitterStorm、Yahoo!S4（SimpleScalableStreamingSystem）等，第三类是公司为支持自身业务开发的流计算框架，如Facebook使用Puma和HBase相结合来处理实时数据，百度开发了通用实时流数据计算系统DStream，淘宝开发了通用流数据实时计算系统——银河流数据处理平台。

在大数据时代，许多大数据都是以大规模图或网络的形式呈现，如社交网络、传染病传播途径、交通事故对路网的影响等，此外，许多非图结构的大数据，也常常会被转换为图模型后再进行处理分析。MapReduce作为单输入、两阶段、粗粒度数据并行的分布式计算框架，在表达多迭代、稀疏结构和细粒度数据时，往往显得力不从心，不适合用来解决大规模图计算问题。因此，针对大型图的计算，需要采用图计算模式，目前已经出现了不少相关图计算产品。Pregel是一种基于BSP（BulkSynchronousParallel）模型实现的并行图处理系统。为了解决大型图的分布式计算问题，Pregel搭建了一套可扩展的、有容错机制的平台，该平台提供了一套非常灵活的API，可以描述各种各样的图计算。Pregel主要用于图遍历、最短路径、PageRank计算等。其他代表性的图计算产品还包括Facebook针对Pregel的开源实现Giraph、Spark下的GraphX、图数据处理系统PowerGraph等。

针对超大规模数据的存储管理和查询分析，需要提供实时或准实时的响应，才能很好地满足企业经营管理需求。谷歌公司开发的Dremel，是一种可扩展的、交互式的实时查询系统，用于只读嵌套数据的分析。通过结合多级树状执行过程和列式数据结构，它能做到几秒内完成对万亿张表的聚合查询。系统可以扩展到成千上万的CPU上，满足谷歌上万用户操作PB级的数据，并且可以在2～3秒内完成PB级别数据的查询。此外，Cloudera公司参考Dremel系统开发了实时查询引擎Impala，它提供SQL语义，能快速查询存储在Hadoop的HDFS和HBase中的PB级大数据。

大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，具体如表1-7所示。

包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等

大数据生态圈里的数据提供者，是生物（生物信息学领域的各类研究机构）大数据、交通（交通主管部门）大数据、医疗（各大医院、体检机构）大数据、政务（**部门）大数据、电商（淘宝、天猫、苏宁云商、京东等电商）大数据、社交网络（微博、微信、人人网等）大数据、搜索引擎（百度、谷歌等）大数据等各种数据的来源

包括数据抽取、转换、存储和管理等服务的各类企业或产品，如分布式文件系统（如Hadoop的HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle、MySQL、SQLServer、HBase、GreenPlum等）

包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，如分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（MicroStrategy、Cognos、BO）等

包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，如阿里巴巴、谷歌、***电信、百度等

提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或**部门，如交通主管部门、各大医疗机构、菜鸟网络、***电网等

近些年，我国一些地方**也在积极尝试以“大数据产业园”为依托，加快发展本地的大数据产业。大数据产业园是大数据产业的聚集区或大数据技术的产业化项目孵化区，是大数据企业的孵化平台以及大数据企业走向产业化道路的集中区域。陕西西咸新区沣西新城已在信息产业园中规划了国内首家以大数据处理与服务为特色的产业园区；重庆市**出台的《重庆市大数据行动计划》中明确提出，到2017年，重庆市将打造2至3个大数据产业示范园区，培育10家核心龙头企业、500家大数据应用和服务企业，引进和培养1000名大数据产业高端人才，形成500亿元大数据产业规模，建成国内重要的大数据产业基地；天津市在2013年11月初公布了《滨海新区大数据行动方案（2013—2015）》，方案中明确提出，到2017年，把天津建设成为具有国际竞争力的大数据产业基地和数据资源聚集服务区。

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。为了更好地理解三者之间的紧密关系，下面将首先简要介绍云计算和物联网的概念，再分析云计算、大数据和物联网的区别与联系。

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标的、动态可扩展的网络应用基础设施，是近年来最有代表性的网络计算技术与模式。

云计算包括3种典型的服务模式（见图1-7），即IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）。IaaS将基础设施（计算资源和存储）作为服务出租，PaaS把平台作为服务出租，SaaS把软件作为服务出租。

云计算包括公有云、私有云和混合云3种类型（见图1-7）。公有云面向所有用户提供服务，只要是注册付费的用户都可以使用；私有云只为特定用户提供服务；混合云综合了公有云和私有云的特点。

云计算的关键技术包括虚拟化、分布式存储、分布式计算、多租户等。

虚拟化技术是云计算基础架构的基石，是指将一台计算机虚拟为多台逻辑计算机，在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互***的空间内运行而互不影响，从而显著提高计算机的工作效率。

虚拟化的资源可以是硬件（如服务器、磁盘和网络），也可以是软件。以服务器虚拟化为例，它将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚拟服务器，不再受限于物理上的界限，而是让CPU、内存、磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。

Hyper-V、VMware、KVM、Virtualbox、Xen、Qemu等都是非常典型的虚拟化技术。Hyper-V是微软的一款虚拟化产品，旨在为用户提供成本效益更高的虚拟化基础设施软件，从而为用户降低运作成本，提高硬件利用率，优化基础设施，提高服务器的可用性。Vmware（威睿）是全球桌面到数据中心虚拟化解决方案的领导厂商。

面对数据***的时代，集中式存储已经无法满足海量数据的存储需求，分布式存储应运而生。GFS（GoogleFileSystem）是谷歌公司推出的一款分布式文件系统，可以满足大型、分布式、对大量数据进行访问的应用的需求。GFS具有很好的硬件容错性，可以把数据存储到成百上千台服务器上面，并在硬件出错的情况下尽量保证数据的完整性。GFS还支持GB或者TB级别超大文件的存储，一个大文件会被分成许多块，分散存储在由数百台机器组成的集群里。HDFS（HadoopDistributedFileSystem）是对GFS的开源实现，它采用了更加简单的“一次写入、多次读取”文件模型，文件一旦创建、写入并关闭了，之后就只能对它执行读取操作，而不能执行任何修改操作；同时，HDFS是基于Java实现的，具有强大的跨平台兼容性，只要是JDK支持的平台都可以兼容。

谷歌公司后来又以GFS为基础开发了分布式数据管理系统BigTable，它是一个稀疏、分布、持续多维度的排序映射数组，适合于非结构化数据存储的数据库，具有高可靠性、高性能、可伸缩等特点，可在廉价PC服务器上搭建起大规模存储集群。HBase是针对BigTable的开源实现。

面对海量的数据，传统的单指令单数据流顺序执行的方式，已经无法满足快速数据处理的要求；同时，我们也不能寄希望于通过硬件性能的不断提升来满足这种需求，因为，由于晶体管电路已经逐渐接近其物理上的性能极限，摩尔定律已经开始慢慢失效，CPU处理能力再也不会每隔18个月翻一番。在这样的大背景下，谷歌公司提出了并行编程模型MapReduce，让任何人都可以在短时间内迅速获得海量计算能力，它允许开发者在不具备并行开发经验的前提下也能够开发出分布式的并行程序，并让其同时运行在数百台机器上，在短时间内完成海量数据的计算。MapReduce将复杂的、运行于大规模集群上的并行计算过程抽象为两个函数——Map和Reduce，并把一个大数据集切分成多个小的数据集，分布到不同的机器上进行并行处理，极大提高了数据处理速度，可以有效满足许多应用对海量数据的批量处理需求。Hadoop开源实现了MapReduce编程框架，被广泛应用于分布式计算。

多租户技术目的在于使大量用户能够共享同一堆栈的软硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置，而不影响其他用户的使用。多租户技术的核心包括数据隔离、客户化配置、架构扩展和性能定制。

云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境。

谷歌、微软、IBM、惠普、戴尔等国际IT巨头，纷纷投入巨资在全球范围内大量修建数据中心，旨在掌握云计算发展的主导权。我国**和企业也都在加大力度建设云计算数据中心。内蒙古提出了“西数东输”发展战略，即把本地的数据中心通过网络提供给其他省份用户使用。福建省泉州市安溪县的***国际信息技术（福建）产业园的数据中心，是福建省重点建设的两大数据中心之一，由惠普公司承建，拥有5000台刀片服务器，是亚洲规模最大的云渲染平台。阿里巴巴集团公司在***甘肃玉门建设的数据中心，是***第一个绿色环保的数据中心，电力全部来自于风力发电，用祁连山融化的雪水冷却数据中心产生的热量。

云计算在电子政务、医疗、卫生、教育、企业等领域的应用不断深化，对提高**服务水平、促进产业转型升级和培育发展新兴产业等都起到了关键的作用。政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用，通过集约化建设、管理和运行，可以实现信息资源整合和政务资源共享，推动政务管理创新，加快向服务型**转型。教育云可以有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。中小企业云能够让企业以低廉的成本建立财务、供应链、客户关系等管理应用系统，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力。医疗云可以推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享，并形成一套全新的医疗健康服务系统，从而有效地提高医疗保健的质量。

云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构（见图1-8），产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。

硬件与设备制造环节包括了绝大部分传统硬件制造商，这些厂商都已经在某种形式上支持虚拟化和云计算，主要包括Intel、AMD、Cisco、SUN等。基础设施运营环节包括数据中心运营商、网络运营商、移动通信运营商等。软件与解决方案供应商主要以虚拟化管理软件为主，包括IBM、微软、思杰、SUN、Redhat等。IaaS将基础设施（计算和存储等资源）作为服务出租，向客户出售服务器、存储和网络设备、带宽等基础设施资源，厂商主要包括Amazon、Rackspace、Gogrid、Gridplayer等。PaaS把平台（包括应用设计、应用开发、应用测试、应用托管等）作为服务出租，厂商主要包括谷歌、微软、新浪、阿里巴巴等。SaaS则把软件作为服务出租，向用户提供各种应用，厂商主要包括Salesforce、谷歌等。云安全旨在为各类云用户提供高可信的安全保障，厂商主要包括IBM、OpenStack等。云计算交付/咨询/认证环节包括了三大交付以及咨询认证服务商，这些服务商已经支持绝大多数形式的云计算咨询及认证服务，主要包括IBM、微软、Oracle、思杰等。

物联网是物物相连的互联网，是互联网的延伸，它利用*部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形**与物、物与物相连，实现信息化和远程管理控制。

从技术架构上来看，物联网可分为四层（见图1-9）：感知层、网络层、处理层和应用层。每层的具体功能如表1-8所示。

如果把物联网系统比喻为一个人体，那么，感知层就好比人体的神经末梢，用来感知物理世界，采集来自物理世界的各种信息。这个层包含了大量的传感器，如温度传感器、***度传感器、应力传感器、加速度传感器、重力传感器、气体浓度传感器、土壤盐分传感器、二维码标签、RFID（RadioFrequencyIdentification）标签和读写器、摄像头、GPS设备等

相当于人体的神经中枢，起到信息传输的作用。网络层包含各种类型的网络，如互联网、移动通信网络、卫星通信网络等

相当于人体的大脑，起到存储和处理的作用，包括数据存储、管理和分析平台

直接面向用户，满足各种应用需求，如智能交通、智慧农业、智慧医疗、智能工业等

这里给出一个简单的智能公交实例来加深对物联网概念的理解。目前，很多城市居民的智能手机中都安装了“掌上公交”APP，可以用手机随时随地查询每辆公交车的当前到达位置信息，这就是一种非常典型的物联网应用。在智能公交应用中，每辆公交车都安装了GPS定位系统和3G/4G网络传输模块，在车辆行驶过程中，GPS定位系统会实时采集公交车当前到达位置信息，并通过车上的3G/4G网络传输模块发送给车辆附近的移动通信基站，经由电信运营商的3G/4G移动通信网络传送到智能公交指挥调度中心的数据处理平台，平台再把公交车位置数据发送给智能手机用户，用户的“掌上公交”软件就会显示出公交车的当前位置信息。这个应用实现了“物与物的相连”，即把公交车和手机这两个物体连接在一起，让手机可以实时获得公交车的位置信息，进一步讲，实际上也实现了“物和人的连接”，让手机用户可以实时获得公交车位置信息。在这个应用中，安装在公交车上的GPS定位设备就属于物联网的感知层；安装在公交车上的3G/4G网络传输模块以及电信运营商的3G/4G移动通信网络，属于物联网的网络层；智能公交指挥调度中心的数据处理平台属于物联网的处理层；智能手机上安装的“掌上公交”APP，属于物联网的应用层。

物联网是物与物相连的网络，通过为物体加装二维码、RFID标签、传感器等，就可以实现物体身份唯一标识和各种信息的采集，再结合各种类型网络连接，就可以实现人和物、物和物之间的信息交换。因此，物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。

二维码是物联网中一种很重要的自动识别技术，是在一维条码基础上扩展出来的条码技术。二维码包括堆叠式/行排式二维码和矩阵式二维码，后者较为常见。如图1-10所示，矩阵式二维码在一个矩形空间中通过黑、白像素在矩阵中的不同分布进行编码。在矩阵相应元素位置上，用点（方点、圆点或其他形状）的出现表示二进制“1”，点的不出现表示二进制的“0”，点的排列组合确定了矩阵式二维条码所代表的意义。二维码具有信息容量大、编码范围广、容错能力强、译码可靠性高、成本低易制作等良好特性，已经得到了广泛的应用。

RFID（RadioFrequencyIdentification）技术用于静止或移动物体的无接触自动识别，具有全天候、无接触、可同时实现多个物体自动识别等特点。RFID技术在生产和生活中得到了广泛的应用，大大推动了物联网的发展，我们平时使用的公交卡、门禁卡、校园卡等都嵌入了RFID芯片，可以实现迅速、便捷的数据交换。从结构上讲，RFID是一种简单的无线通信系统，由RFID读写器和RFID标签两个部分组成。RFID标签是由天线、耦合元件、芯片组成的，是一个能够传输信息、回复信息的电子模块。RFID读写器是由天线、耦合元件、芯片组成的，用来读取（或者有时也可以写入）RFID标签中的信息。RFID使用RFID读写器及可附着于目标物的RFID标签，利用频率信号将信息由RFID标签传送至RFID读写器。以公交卡为例，市民持有的公交卡就是一个RFID标签（见图1-11），公交车上安装的刷卡设备就是RFID读写器，当我们执行刷卡动作时，就完成了一次RFID标签和RFID读写器之间的非接触式通信和数据交换。

传感器是一种能感受规定的被测量件并按照一定的规律（数学函数法则）转换成可用信号的器件或装置，具有微型化、数字化、智能化、网络化等特点。人类需要借助于耳朵、鼻子、眼睛等感觉器官感受外部物理世界，类似地，物联网也需要借助于传感器实现对物理世界的感知。物联网中常见的传感器类型有光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器、温敏传感器、流体传感器等（见图1-12），可以用来模仿人类的视觉、听觉、嗅觉、味觉和触觉。

物联网中的网络与通信技术包括短距离无线通信技术和远程通信技术。短距离无线通信技术包括Zigbee、NFC、蓝牙、Wi-Fi、RFID等。远程通信技术包括互联网、2G/3G/4G移动通信网络、卫星通信网络等。

物联网中存在大量数据来源、各种异构网络和不同类型系统，如此大量的不同类型数据，如何实现有效整合、处理和挖掘，是物联网处理层需要解决的关键技术问题。今天，云计算和大数据技术的出现，为物联网数据存储、处理和分析提供了强大的技术支撑，海量物联网数据可以借助于庞大的云计算基础设施实现廉价存储，利用大数据技术实现快速处理和分析，满足各种实际应用需求。

物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用，具体如下。

智能交通。利用RFID、摄像头、线圈、导航设备等物联网技术构建的智能交通系统，可以让人们随时随地通过智能手机、大屏幕、电子站牌等方式，了解城市各条道路的交通状况、所有停车场的车位情况、每辆公交车的当前到达位置等信息，合理安排行程，提高出行效率。

智慧医疗。医生利用平板电脑、智能手机等手持设备，通过无线网络，可以随时连接访问各种诊疗仪器，实时掌握每个病人的各项生理指标数据，科学、合理地制定诊疗方案，甚至可以支持远程诊疗。

智能家居。利用物联网技术提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。比如，可以在工作单位通过智能手机远程开启家里的电饭煲、空调、门锁、监控、窗帘和电灯等，家里的窗帘和电灯也可以根据时间和光线变化自动开启和关闭。

环保监测。可以在重点区域放置监控摄像头或水质土壤成分检测仪器，相关数据可以实时传输到监控中心，出现问题时实时发出警报。

智能安防。采用红外线、监控摄像头、RFID等物联网设备，实现小区出入口智能识别和控制、意外情况自动识别和报警、安保巡逻智能化管理等功能。

智能物流。利用集成智能化技术，使物流系统能模仿人的智能，具有思维、感知、学习、推理判断和自行解决物流中某些问题的能力（如选择最佳行车路线，选择最佳包裹装车方案），从而实现物流资源优化调度和有效配置，提升物流系统效率。

智能电网。通过智能电表，不仅可以免去抄表工的大量工作，还可以实时获得用户用电信息，提前预测用电高峰和低谷，为合理设计电力需求响应系统提供依据。

智慧农业。利用温度传感器、***度传感器和光线传感器，实时获得种植大棚内的农作物生长环境信息，远程控制大棚遮光板、通风口、喷水口的开启和关闭，让农作物始终处于最优生长环境，提高农作物产量和品质。

智能工业。将具有环境感知能力的各类终端、基于泛在技术的计算模式、移动通信技术等不断融入工业生产的各个环节，大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，将传统工业提升到智能化的新阶段。

完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等环节（见图1-13），具体如下。

核心感应器件提供商。提供二维码、RFID及读写机具、传感器、智能仪器仪表等物联网核心感应器件。

感知层末端设备提供商。提供射频识别设备、传感系统及设备、智能控制系统及设备、GPS设备、末端网络产品等。

网络提供商。包括电信网络运营商、广电网络运营商、互联网运营商、卫星网络运营商和其他网络运营商等。

软件与行业解决方案提供商。提供微操作系统、中间件、解决方案等。

运营及服务提供商。开展行业物联网运营及服务。

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。云计算最初主要包含了两类含义：一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术；另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。但是，随着大数据概念的提出，云计算中的分布式计算技术开始更多地被列入大数据技术，而人们提到云计算时，更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模式（如IaaS、PaaS、SaaS）。从云计算和大数据概念的诞生到现在，二者之间的关系非常微妙，既密不可分，又千差万别。因此，我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外，物联网也是和云计算、大数据相伴相生的技术。下面总结一下三者的联系与区别（见图1-14）。

第一，大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源并通过网络以服务的方式，廉价地提供给用户；物联网的发展目标是实现物物相连，应用创新是物联网发展的核心。

第二，大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式数据存储和管理系统（包括分布式文件系统和分布式数据库系统）提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要数据来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段转向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术，实现物联网大数据的存储、分析和处理。

可以说，云计算、大数据和物联网三者已经彼此渗透、相互融合，在很多应用场合都可以同时看到三者的身影。在未来，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。

本章介绍了大数据技术的发展历程，并指出信息科技的不断进步为大数据时代提供了技术支撑，数据产生方式的变革促成了大数据时代的来临。

大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点，统称“4V”。大数据对科学研究、思维方式、社会发展、就业市场和人才培养等方面，都产生了重要的影响，深刻理解大数据的这些影响，有助于我们更好把握学习和应用大数据的方向。

大数据在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都得到了日益广泛的应用，深刻地改变着我们的社会生产和日常生活。

大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。

大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，在不同层面，都已经形成了一批引领市场的技术和企业。

本章最后介绍了云计算和物联网的概念和关键技术，并阐述了大数据、云计算和物联网三者之间的区别与联系。

1．试述信息技术发展史上的3次信息化浪潮及其具体内容。

7．大数据决策与传统的基于数据仓库的决策有什么区别？

11．定义并解释以下术语：云计算、物联网。

12．详细阐述大数据、云计算和物联网三者之间的区别与联系。

本文仅用于学习和交流目的，不代表人邮教育社区观点。非商业转载请注明作译者、出处，并保留本文的原始链接。

2016年4月24日，人民邮电出版社与山西财经大学信息管理学院联合举办了“山西省本科计算机专业精品资源共享课程研讨会，山西省100多位相关专业老师参加，会上全国”大数据“与”数据结构“课程专家进行了精彩的讲座，获得参会教师的一致好评。...

大数据的兴起，将在很大程度上改变***高校信息技术相关专业的现有教学体制和教学方法。作为大数据教学工作者，必须敢于站在第三次信息化浪潮的潮头，高瞻远瞩，大胆实践，只有这样，才能够在新时期的教学工作中有所作为，有所成就。***高校大数据课程公共服务平台，是一个开放的平台，不断进步提升的平台，未来将会有更多来自全国各地的热爱大数据教学的开拓创新者加入这个平台，为平台建设添砖加瓦，共同推进***高校大数据教学...

什么是大数据时代

世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学，从**到艺术，种影响无处不在。科学家和计算机工程师们种现象创造了一个新名词：“大数据”。大数据时代什么意思?大数据概念什么意思?大数据分析什么意思?所谓大数据，那到底什么是大数据，他的来源在哪里，定究竟是什么呢?　　　一：大数据的定。　　1、大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。　　2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。　　互联网是个神奇的大网，大数据开发也是一种模式，你如果真想了解大数据，可以来里，个手机的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解方面的内容，如果只是凑热闹的话，就不要来了。　　3、大数据应用，是指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展，才能充分实现大数据的价值。　　当你的技术达到极限时，也就是数据的极限”。大数据不是关于如何定，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，些非结构化的数据服务的价值在哪里。　　　二：大数据的类型和价值挖掘方法　　1、大数据的类型大致可分为三类：　　1)传统企业数据(Traditionalenterprisedata)：包括CRMsystems的消费者数据，传统的ERP数据，库存数据以及账目数据等。　　2)机器和传感器数据(Machine-generated/sensordata)：包括呼叫记录(CallDetailRecords)，智能仪表，工业设备传感器，设备日志(通常是Digitalexhaust)，交易数据等。　　3)社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook样的社交媒体平台。　　2、大数据挖掘商业价值的方法主要分为四种：　　1)客户群体细分，然后为每个群体量定制特别的服务。　　2)模拟现实环境，发掘新的需求同时提高投资的回报率。　　3)加强部门联系，提高整条管理链条和产业链条的效率。　　4)降低服务成本，发现隐藏线索进行产品和服务的创新。　　三：大数据的特点　　业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说，大数据具有4个基本特征：　　1、是数据体量巨大　　数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量;百度资料表明，其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB)，些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。　　2、是数据类别大和类型多样　　数据类别(variety)大，数据多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。　　3、是处理速度快　　在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。　　4、是价值真实性高和密度低　　数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的*限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。　　　　四：大数据的作用　　1、对大数据的处理分析正成为新一代信息技术融合应用的结点　　移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，些应用不断产生大数据。云计算为些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。　　大数据具有催生社会变革的能量。但释放种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(RamayyaKrishnan,卡内基·梅隆大学海因兹学院院长)。　　2、大数据是信息产业持续高速增长的新引擎　　面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。　　3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动”　　转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域，可提高诊断准确性和*物有效性;在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。　　4、大数据时代科学研究的方法手段将发生重大改变　　例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。　　五：大数据的商业价值　　1、对顾客群体细分　　“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。　　2、模拟实境　　运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现***性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。　　云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案投入回报最高。　　3、提高投入回报率　　提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。　　4、数据存储空间出租　　企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如北京开运联合、网易、诺基亚等。运营商也推出了相应的服务，如***移动的彩云业务。　　5、管理客户关系　　客户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新产品预告、特价销售通知，完成售前售后服务等。　　6、个性化精准推荐　　在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以于客户增值部分的分成。　　以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以需要的人发送需要的信息，样“垃圾短信”就成了有价值的信息。在***的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券用户。　　7、数据搜索　　数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。　　运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型应用如***移动的“盘古搜索”。　　六：大数据对经济社会的重要影响　　1、能够推动实现巨大经济效益　　比如对***零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。　　2、能够推动增强社会管理水平　　大数据在公共服务领域的应用，可有效推动相关工作开展，提高相关部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。　　3、如果没有高性能的分析工具，大数据的价值就得不到释放对大数据应用必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确而否定其重要作用。　　1)由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据，加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟，所以对计算机完成的大数据分析处理的结果，无法要求其完全准确。例如，谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发，但由于微博上无用信息的干扰，种预测也曾多次出现不准确的情况。　　2)必须清楚定位的是，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维，辅助决策。简单而言，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供十种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。　　所以，客观认识和发挥大数据的作用，不夸大、不缩小，是准确认知和应用大数据的前提。　　七：最后北京开运联合您总结一下　　不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。　　1、从大数据的价值链条来分析，存在三种模式：　　1)手握大数据，但是没有利用好;比较典型的是金融机构，电信行业，**机构等。　　2)没有数据，但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。　　3)既有数据，又有大数据思维;比较典型的是Google，Amazon，Mastercard等。　　2、未来在大数据领域最具有价值的是两种事物：　　1)拥有大数据思维的人，种人可以将大数据的潜在价值转化为实际利益;　　2)还未有被大数据触及过的业务领域。些是还未被挖掘的油井，金矿，是所谓的蓝海。　　大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握一新兴领域带来的新机遇，需要不断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动***、行业、企业对于数据的应用需求和应用水平进入新的阶段。

物业市场部如何开拓业务？

1、参与物业服务方案、招投标文件的撰写与成本测算表制作，总结经验。　　

2、 进行市场开拓与渠道管理，寻找客户资源，开发新客户，维护老客户，发掘潜在客户群。　　

3、 对客户保持有效跟踪，及时填写《客户信息跟踪表》并动态更新。　　

4、 深入市场进行客户调研，搜集市场信息，掌握行业资讯，分析和科学预测同行业服务内容相关数据并对比，定期提交调查报告。　　

5、 对市场的发展趋势，总体特征调查和深入调研，制定或提供公关策略和业务推广的建议。　　

6、 建立客户档案及信息反馈资料库，建立信息反馈通报制度，定期更新与提交相关报告。　　

7、 工作总结并制订周/月度/季度工作计划，提供合理建议与想法， 工作中积极推广公司品牌与企业形象。

如何利用海关数据找到精准潜在客户?

在大数据时代里，谁能够灵活地使用数据，谁就是大赢家。正如***竞争情报从业者协会**约翰普赖斯科特教授曾经讲过：“关键不在于你知道什么，而在于你知道以后认识到了什么、做了什么。”所谓知己知彼、百战不殆。

很多外贸企业长年利用海关数据，老板掌握市场动向，经理分析同行对比，外贸人员更是挖掘海关数据中精准买家。那么海关数据究竟对外贸企业有哪些好处？

快速找到适合自己的意向客户

掌握买家采购规律

监控竞争对手

从已倒闭之竞争对手中，进行客户接收

产品在目标市场的需求分析、交易实况、预警

把握目标市场流行趋势

 ...

这些都是海关数据可以帮助外贸企业做到的，而让外贸人最纠结的海关数据不准确、更新速度慢、覆盖***少等等问题，现在腾道已经解决了。用海关数据开发客户就选腾道——一家行业领先的国际贸易数据服务商。

我们的数据产品和服务，致力于帮助外贸企业深度了解国际贸易市场行情，及时推送客户、产品、同行、采购商等数据信息，提供客户邀约见面、客户管理等服务，协助客户创造价值。

商情发现是腾道自主研发的一款国际贸易智能检索系统，整合了全球活跃买家。你可以根据买家的的采购频次、采购偏好、供应链结构等多维度筛选，快速定位目标客户。一次搜索，外贸客户全方面展现，任你挑选！

商情雷达是以大数据和人工智能为基础的一款全球领先的商业情报智能分析系统。无论是客户交易动态还是同行近期贸易乃至行业交易现状，你都可以在商情雷达中找到。抢占行业先机，探求全球市场，尽在商情雷达！

行业独有的邮件营销发送一体化工具，提供专业高端、国际化标准模板，提高邮件打开率。帮助你持续跟进客户，避免客户跟进不及时导致的客户流失，与客户达成长期合作。

腾道数据通全面覆盖63个***海关数据和累积超过20亿条的进出口交易记录。轻松掌握全球交易趋势，为你的产品快速、精准、科学地锁定热销***和新兴市场。开拓你的外贸版图，向全球市场发起挑战！

腾道拥有十四年外贸数据行业服务经验，致力于为外贸企业提供海外营销的整体解决方案。一直以来把“为客户创造更多价值”放在首位，持续关注国际贸易市场动态，及时了解外贸企业之所需，为我们的客户提供最实用的服务内容。

上海市“高新技术企业”

***贸易情报领域的先行者

全球领先的商业数据深度战略合作伙伴

2017/2018年荣获上海“双推”企业荣誉称号

数据未来智慧贸易

大数据时代下的客户服务

近两年，“大数据”这个词早已经不再新鲜，成为了新技术的热门话题，各类“大数据”的书籍层出不穷，文章更是琳琅满目，仿佛你要是不和“大数据”扯上点关系，你就OUT了！

大数据的定义和背景

麦肯锡的报告是这样定义的：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。（Bigdatareferstodatasetswhosesizei**eyondtheabilityoftypicaldatabasesoftwaretoolstocapture,store,manage,andanalyze.）大数据这个概念又是怎么来的呢？

2011年5月，EMC举办了一次主题“云计算相遇大数据”的大会，首次抛出了“大数据”（BigData）概念；6月，由EMC赞助，IDC编制的年度数字宇宙研究报告《从混沌中提取价值》(ExtractingValuefromChaos)发布；紧接着，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，予以积极跟进。从背景我们可以看到EMC（全球最大的外置存储硬盘供应商）是推动“大数据”这个概念的主谋，他这么做，当然是想多卖点硬盘。这种软广告式炒作不但没引起反感和吐槽，反而被社会各界认可与接收，也是跟其社会背景密不可分。由于近年数据产生成本急速下降，人类产生的数据量正在呈指数级增长，其中80%以上都是传统数据库无法处理的非结构化数据。这些数据到底有多大呢？根据IDC的监测，全球在2010年正式进入ZB时代，预计到2020年，全球将总共拥有35ZB的数据量，如果把35ZB的数据全部刻录到容量为9