大数据的概念

港控/mmm° 2022-05-11 01:56 213阅读 0赞

**什么是大数据？**  
大数据（big data，mega data），或称巨量资料。比如TB，PB级别的数据。大数据特点可以总结为5V特点：  
1）Volume（大量）  
在电子商务平台eBay上，每天新增的数据量达到50TB，1年累计的数据量即达到18PB。与之相对地，根据IDC的研究报告，自人类开始记录历史以来，到2006年为止全人类全部的印刷书本文字加起来大约50PB。也就是说，仅eBay平台3年的新增数据，就超过了全人类全部书本的数据量。同时，在社交网站Facebook的计算机集群的磁盘空间中，目前已存储了超过100PB的数据，也就是说，仅Facebook一个网站存储的数据，就已经是人类书本数据量的2倍之多。  
与海量的数据同时存在的还有越来越快的数据增长速度。根据IDC的统计，全球每年产生的数据达到将近8ZB  
2）Velocity（高速）  
以1分钟为单位，看看在爆炸的数据世界中发生了什么。  
（1）E-mail：全球所有电子邮件用户发出了2.04亿封电子邮件。  
（2）搜索：全球最大的搜索引擎Google处理了200万次搜索请求。  
（3）图片：图片分享网站Flickr的用户上传了3 125张新照片，2 000万张照片被浏览。  
（4）音频：在Pandora音乐网站上，播放的音乐时长超过61 000小时。  
（5）视频：YouTube的用户上传了总计时长48小时的视频，130万个视频被观看。  
（6）社交网站：Facebook网站的用户分享了684 478篇文章，超过600万页面被点击。  
（7）微博：Twitter的用户发出了10万  
（8）应用：Apple的应用商店完成了4.7万次应用下载。  
（9）电子商务：eBay上产生了7万次页面访问，新增了35GB的数据。  
（10）通信：在中国产生了时长531万分钟的移动通话，发出了165万条短信。  
3）variety（多样）  
4）value（价值密度低）以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒  
5）veracity（真实性）

**大数据的价值**：  
1）计算机科学在大数据出现之前，非常依赖模型和算法。人们如果想要得到精确的结论，需要建立精美的模型来描述问题，同时，需要理顺逻辑，理解因果。因此一个问题，能否得到最好的解决，取决于建模是否合理，各种算法的比拼成了决定成败的关键。然而，大数据的出现彻底改变了人们对于建模和算法的依赖。举例来说，假设解决某一问题有算法A 和算法B。在小量数据中运行时，算法A的结果明显优于算法B。也就是说，就算法本身而言，算法A能够带来更好的结果；然而，人们发现，当数据量不断增大时，算法B在大量数据中运行的结果优于算法A在小量数据中运行的结果。这一发现给计算机学科及计算机衍生学科都带来了里程碑式的启示：当数据越来越大时，数据本身（而不是研究数据所使用的算法和模型）保证了数据分析结果的有效性。即便缺乏精准的算法，只要拥有足够多的数据，也能得到接近事实的结论。数据因此而被誉为新的生产力。

2）当数据足够多的时候，不需要了解具体的因果关系就能够得出结论。当数据量到达一定程度后，数据本身就可以说话了  
3）由于能够处理多种数据结构，大数据能够在最大程度上利用互联网上记录的人类行为数据进行分析。大数据出现之前，计算机所能够处理的数据都需要前期进行结构化处理，并记录在相应的数据库中。但大数据技术对于数据的结构的要求大大降低，互联网上人们留下的社交信息、地理位置信息、行为习惯信息、偏好信息等各种维度的信息都可以实时处理，立体完整地勾勒出每一个个体的各种特征。

4）从政府或社会角度，大数据时代到来，会催生很多新的就业岗位  
大数据是一种新的生产力。大数据是人工智能的基础