“大数据”，IT行业的又一次技术变革

我会带着你远行 2022-05-26 08:40 285阅读 0赞

**工业革命以后，书籍等以文字为载体的知识大约每十年翻一番；1970年以后，大约每三年翻一番。2010年，互联网所产生的数据量比之前所有年份的总和还要多。据IDC研究报告，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB，为2009年的44倍。在“大数据”（Big data）时代，通过互联网、社交网络、物联网，人们能够及时全面地获得海量信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。毋庸置疑，“大数据”是继互联网、云计算、物联网之后IT行业又一次翻天覆地的技术变革。**

“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即大量化（Volume）、多样化（Variety）、快速化（Velocity）及由此产生的价值（Value）。

**“大数据”技术将在未来三五年内进入主流**

云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。用于提取智慧的“大数据”，往往是这些非结构化数据。

传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据”应用突出强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。

全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未来3—5年内进入主流。

**数据将成为企业的核心资产**

“大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力，最大限度地利用现有的存储投资。从某种意义上说，数据将成为企业的核心资产。

“大数据”不仅是一场技术变革，更是一场商业模式变革。在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是Facebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，传统企业仍无法嫁接到互联网中。同时，传统企业通过传统的用户分析工具却很难获得大范围用户的真实需求。

企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。在互联网时代，这些需求特征往往是在用户不经意的行为中透露出来的。通过对信息进行关联、参照、聚类、分类等方法分析，才能得到答案。

“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合进传统企业的供应链，并在传统企业种下互联网基因。传统企业与互联网企业的结合，网民和消费者的融合，必将引发消费模式、制造模式、管理模式的巨大变革。

**企业从数据中挖掘出新价值**

融合生产流程数据、ERP、CRM以及社会化数据，企业从中可以挖掘出诸多新价值。

１.创造数据透明度是产生价值的前提。对用户来说，充分了解生产企业和海量产品的质量和价格，有助于用户选择需要的产品。对企业来说，透明的数据有助于企业完善定价策略、库存和物流。

２.细分人群，实施精准营销。企业利用用户在互联网上的访问行为偏好能为每个用户勾勒出一副“数字剪影”，为具有相似特征的用户组提供精确服务满足用户需求，甚至为每个客户量身定制。这一变革将大大缩减企业产品与最终用户的沟通成本，使得营销过程从“纺锤型”模型（企业与用户受益低，营销过程臃肿）进化到“哑铃型”模型（营销过程直接简单，带来企业和最终用户受益增加）。

３.科学管理，提高企业运行效率。企业在拥有了感知市场和用户的能力后，可以将更加科学的方法引入管理中，使用控制实验的科学流程，严格分析实验结果后再做出生产、市场、销售决策。

４.自动算法代替或者帮助人工决策。自动算法有效地解决了海量数据实时处理的难题。在海量数据精密分析的基础上，企业能够实质性地优化决策、减少风险以及发掘有价值的观点。

５.创新商业模式、产品和服务。基于“大数据”，所有类型的企业都可以创建新产品和服务、改善现有的产品和服务以及发明全新的商业模式。例如，基于个人位置信息的掌握，已催生出大量的新型服务（LBS）业务：个人定位、社交网络位置签到服务、地理位置导航、位置搜索等，并产生了基于广告、下载订阅、应用收费、内容收费等多种商业模式。

**“大数据”的经济社会价值远远没有开发出来**

互联网时代，在线广告已经被验证是最可靠的盈利模式，Google2011年在线广告收入达到350亿美元。因此，对互联网用户行为及广告数据进行分析是最典型的“大数据”应用。

互联网广告产业链包含了用户、广告主、网站媒体、广告服务商以及电信运营商等多种角色，每一个参与者都产生了海量数据，这些数据格式多样，且分布在网络的各个层面，其规模和复杂度超出了现有技术的能力，对IT系统提出了更高要求，具有高可扩展性、高可用性、高安全性和易访问的海量计算和存储设备是未来研究的重点。

我国很多企业已经开始从互联网海量数据中挖掘商业信息。例如，亿赞普（IZP）每天监控的网页达到50亿PV（页面浏览），收集到的网站各类访问日志总量已经达到100TB级，每天经分析及压缩处理后留存下来的历史运营数据已达到PB级，而且这个数字还在不断增加。基于领先的“大数据”分析技术，亿赞普提高了数据的透明度。“大数据”使得亿赞普的广告系统具有了预测广告投放效果的能力，基于对海量用户特征的数字化勾勒，可以构造用户点击率模型，预测广告投放的ROI。正是因为拥有大数据，并能对数据资源进行充分的挖掘，亿赞普公司提出了“哑铃型”营销模型，带来互联网营销的进化。

应当说，基于“大数据”分析、挖掘而积累的互联网知识是最具战略性的资产，这种基于知识模式的经济价值和社会价值还远远没有发掘出来，其发展空间不可估量。

原文链接：[http://www.stdaily.com/kjrb/content/2012-07/01/content\_488882.htm][http_www.stdaily.com_kjrb_content_2012-07_01_content_488882.htm]

[http_www.stdaily.com_kjrb_content_2012-07_01_content_488882.htm]: http://www.stdaily.com/kjrb/content/2012-07/01/content_488882.htm