大数据的理解，大数据是什么，大数据能干什么？

痛定思痛。 2022-05-10 02:42 230阅读 0赞

一、概念： · 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大，你没办法使用，你需要从中抓取出有价值的内容或你想要的数据，这就是大数据应用。 老程序都知道，我们做企业级的项目（数据库项目）时，都会有数据的存储，而且会做出很多图表，为决策者进行科学地决策提供了客观依据，为每个工作者从数据中发现问题，做进一步改进提供了依据，当然也有即时变动的数据展示位动态图表。 1）、超市管理系统，也会把每年的数据进行汇总，对比每个月的销量，以了解淡旺季，帮助做下一步的应对策略；把不同类型的商品进行汇总，对比哪个商品卖得多，哪个商品收益高；哪个商品在哪个时间段卖得快等等。当然，如果有会员的话，甚至可以统计出不同年龄段，不同性别的不同喜好等等。 2）、石油行业的进销存系统，会统计哪个加油站的销量好，哪种型号的销量好。 3）、在HIS（医院信息管理）系统里，会统计哪个科室的患者多，哪个医生的挂号量大，哪个医疗设备的使用频度高，哪个病种多，甚至哪个年龄段得哪种类型病的数量多，甚至哪个地区的人患哪种病的概率高。在很多研究型医院里，还可以通过大量数据得出什么类型的细菌是导致某种病的主因等等。 随着时间的推移，数据的积累，随着社会节奏的变化，使用信息化系统的人越来越多，数据积累的速度越来越快，数据也越来越庞大。当规模大到在获取数据，存储数据，管理数据，分析数据方面大大超过了传统数据库软件工具能力范围的数据集合，并且数据的价值越来越大，针对数据的处理就需要专门的企业或者人员来完成，这就是现在大数据（当然，大数据的内涵远远不是这一两句话能够说清楚的）。 你可以简单理解为：以前那是小数据，现在是大数据，哈哈！ 从技术层面说，大数据和以前的数据时代（"小数据"）的最大差异在于： 以前是数据找应用、算法的过程，偏重于用抽样推测全局,从抽样数据中分析，没有采集到的样本所对应的相关规律。 而大数据时代的重要技术特征之一，是应用、算法去找数据的过程，因为数据规模变成了技术上最大的挑战，我们更关注每一个个体的微观表现 二、应用场景举例： 应用场景能够体现出大数据的价值 我的博客中也有一些关于大数据应用场景的故事： https://blog.csdn.net/jiang7701037/article/details/81041692 1）、超市管理系统： 除了传统的数据汇总对比外，现在还需要对数据做进一步的挖掘，如：根据大量的数据能够的得出 （啤酒与尿布的故事）买了某种商品的人同时还会买另外一种商品，这样超市就会尽量把这两种商品的摆放位置靠近，以方便客户进行购买（这是为了商场商品摆放提供了依据） 电子商务平台上更是对数据的汇总更加有说服力，比如：淘宝，这个平台“太可怕”了，他可以统计出南北方地区不同省份人群的特点，比如：不同省份人员的网购量，哪个性别，哪个年龄段购买最多，甚至根据衣服的尺码都知道哪个省份人员的身高情况，那个人省份人员喜欢什么颜色的衣服，噢，还有内衣，根据内衣，你都知道哪个省份女性的罩杯大小…… 你在京东买了奶瓶又搜索过奶粉，那京东的大数据就预测到你可能有小宝宝了，接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊，也太简单了。其实如果京东仅服务你一个人，那简单，但是京东对几亿用户（大数据）都能做这个推广，就不简单。 这是商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析，了解到消费者的需求，从而改进已有商品并适时推出新的、消费者很可能会满意的商品的体现 2）、石油行业的进销存系统，著名的“魔镜”预知石油市场走向，“魔镜”帮助中石等企业分析数据，将数据可视化，使企业科学的判断、决策，节约成本，合理配置资源，提高了收益。 3）、在HIS（医院信息管理）系统里特别是医学研究上。 大数据改变医学诊断手段 大数据分析为许多医学难题的解决提供了新途径，改变了一些疾病诊断方式。大数据可以挖掘出大量以往的相似疾病案例，通过分析这些诊断数据，对疑难杂症进行快速判别。如，在心脏病的诊断过程中，首先采集心脏数据并转化为心脏图谱，然后根据图谱进行建模，模型中的变量包括压力、张力、僵硬度等，最后根据这个模型分析心脏疾病病情，并作出相应的诊疗方案。此外，还可以利用图像处理技术，将心脏数据建模成为一个虚拟实体，通过设置不同的参数，模拟观察各类手术或者药物对心脏机能造成的影响，从而在诊疗之前就对诊疗后心脏疾病可能的走势做出预测，为获取疾病诊治方法提供了手段。 大数据可预测病情的扩散趋势 当流行病发生时，可以对疾病已有的扩散趋势和感染人数进行建模，对每一个时间节点的数据进行分析处理，从而对流行病进行统计研究，预测病情的扩散趋势，为疾病防治提供参考。同时，当下一次疫情发生时，可以调出往年数据进行分析，了解规律，从而有望抑制病情的进一步扩张。 …… 疾病预防、临床应用、互联网医疗等等 4）、做搜索引擎的百度和谷歌更是可怕，他保存着所有互联网用户搜索的关键词。用户搜索的关键词就代表着他所关心的话题，如：最近搜索it的培训的比较多，说明了什么，最近搜索web前端培训的比较多说明了什么，最近搜索如何预防流感，得了流感怎么办，怎么才能知道自己得了流感等等，这说明了流感的季节到来，担心的流感的人很多，还有可能得到的流感的人数占比和速度…… 5）、交通： 实时路况给人们出行选择带来的方便。交通拥堵的原因分析，并结合车辆购买的增长情况，决定修路的节奏把握（如：什么路段需要修路，什么路段需要优先修路，要不要单行等等），根据大数据的全样本体现的高峰期更有说服力，并制定一系列的对策等等。 三、大数据能做什么？ 预测，决策，为机器学习和人工智能提供支撑 预测从古代就做了，但是大数据做预测的核心是全样本，多个维度的全样本，交叉确认，人会说谎，在社交场合会隐藏部分内心，但这部分内心在日积月累的互联网上总有丝竹马迹会留下来，所以，越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以让计算机具有学习能力，机器学习就是设计一个一些让计算机可以自动学习的算法，人工智能的核心是什么？归根到底是“计算机用大数据在代替人脑来思考；计算机可能比人脑思考的更全面和迅速 当然大数据的应用，不是一篇文章，简单举个例子就能说明白的，现在是数据为王的时代，我们现在才真正开始体会“数据最有说服力"的魅力所在，我认为，数据的作用待开发的地方太多了，数据的作用，未来不可限量，没法预测，也不敢预测，只能期待。我想未来大量的数据真的是一件“可怕”的事情，人类还需要把这些数据应用在生产上，否则，会带来灾难性的结果。 --------------------- 本文来自 田江 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/jiang7701037/article/details/81042454?utm\_source=copy