如何提高数据处理中的准确性

蔚落 2022-05-05 05:57 316阅读 0赞

数据处理的准确性校验一直是个难题，是否存在一些针对据处理准确性的通用做法呢？

下面是一些对于数据进行计算处理后，保证数据准确性的个人实践：

对于大部分数据来说，数据处理可以分为以下五个步骤：

1.数据采集；2.数据传输（实时/批量）；3.数据建模/存储；4.数据计算/分析；5.数据可视化展示/挖掘

针对上面五点分别展开介绍：

# 一、数据采集 #

通常数据处理之前会有数据采集的过程，数据采集会涉及到多数据来源，每中数据来源由于格式等不一致，需要特殊处理。

1.针对不通的数据源，需要做到每个数据源获取**数据能够独立。**

2.采集过程需要监控，传输之前如有条件，可以做到本地有备份数据，便于异常查找时进行数据比对。

# 二、数据传输（实时/批量） #

数据源本地已经做到有备份的情况下，对于传输异常的时候，需要**支持重试**，存储端需要支持去重。

# 三、数据建模/存储   #

数据存储可以针对结果集合进行冗余分类存储，便于数据进行比对,针对存储需要进行副本备份，同时数据可以考虑按生效记录进行叠加存储，支持回溯历史的存储结构进行存储。

# 四、数据计算/分析/挖掘 #

数据进行计算，分析的时候需要进行步骤分解，便于准确性的分析和统计

1.计算之前，支持测算，同时支持数据进行分批计算，需要能导出本批次清单基础数据（例如人员或者id），便于数据核对。

2.计算之中，支持快速少量指定的典型数据测算，支持选择，是否存储参与计算过程的全部的中间变量。

3.计算之后，可以选择，支持导出本次计算过程中的所有参与变量和中间变量参数，可以线下根据数据列表对应的参数，进行计算，从而进行数据准确性的核对。

计算过程中，支持针对有问题的数据ID进行染色，染色后的数据，所有的中间过程变量全部进行打印输出。

# 五、数据可视化展示 #

可视化挖掘过程，需要主要前台图形化界面的数据量

参考：[http://www.sohu.com/a/161098814\_451520][http_www.sohu.com_a_161098814_451520] 如何提高计算数据的准确性

[http_www.sohu.com_a_161098814_451520]: http://www.sohu.com/a/161098814_451520

发表评论取消回复

表情：

评论列表（有 0 条评论，316人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java 开发中，如何通过异常处理提高代码质量

在Java开发中，通过异常处理确实可以显著提高代码质量。以下是一些建议和实践： 1. **合理使用异常**：避免过度使用异常。只有当发生无法预见的错误或者程序需要做出响应时，

分手后的思念是犯贱/ 2024年09月19日 06:42/ 0 赞/ 6 阅读

相关 68个关键点如何提高人脸姿态检测的准确性？

68个关键点如何提高人脸姿态检测的准确性？随着深度学习技术的发展，人脸姿态估计逐渐成为计算机视觉领域的一个重要研究方向。而68个关键点是目前应用广泛的一种人脸姿态检测方法，

傷城~/ 2024年03月26日 20:52/ 0 赞/ 23 阅读

相关【数组长度小于5】——如何在处理小型数据时提高效率？

【数组长度小于5】——如何在处理小型数据时提高效率？在实际的开发任务中，我们经常会遇到需要处理小型数据的情形，其中一个常见问题就是数组长度比较小。在这种情况下，如果使用过于

待我称王封你为后i/ 2024年03月24日 09:27/ 0 赞/ 39 阅读

相关 Software Testing - 如何保证数据准确性

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击[http://www.captainbed.net][http_www.cap

梦里梦外;/ 2022年10月16日 10:28/ 0 赞/ 191 阅读

相关 SpringMVC中如何处理模型数据

　　Spring MVC 提供了以下几种途径输出模型数据： ModelAndView: 处理方法返回值类型为ModelAndView时, 方法体即可通过该对象添加模型数

男娘i/ 2022年07月15日 06:48/ 0 赞/ 158 阅读

相关如何提高 Java 中锁的性能

如何提高 Java 中锁的性能两个月前向Plumbr公司引进线程死锁的检测之后，我们开始收到一些类似于这样的询问：“棒极了！现在我知道造成程序出现性能问题的原因了，

一时失言乱红尘/ 2022年06月07日 09:17/ 0 赞/ 159 阅读

相关如何提高服务器并发处理能力

说明以下内容为入门级介绍，意在对老技术作较全的总结而不是较深的研究。主要参考《构建高性能Web站点》一书。什么是服务器并发处理能力一台服务器在单位时间里能

素颜马尾好姑娘i/ 2022年06月05日 00:21/ 0 赞/ 186 阅读

相关如何提高 Java 中锁的性能

两个月前向Plumbr公司引进线程死锁的检测之后，我们开始收到一些类似于这样的询问：“棒极了！现在我知道造成程序出现性能问题的原因了，但是接下来该怎么做呢？” 我们努力为自己

阳光穿透心脏的1/2处/ 2022年05月26日 09:05/ 0 赞/ 157 阅读

相关数据处理提高1000倍的方法

数据处理提高1000倍的方法目录 1、问题来源 2、解决方法 3、优化原理

喜欢ヅ旅行/ 2022年05月20日 07:24/ 0 赞/ 97 阅读

相关如何提高数据处理中的准确性

数据处理的准确性校验一直是个难题，是否存在一些针对据处理准确性的通用做法呢？下面是一些对于数据进行计算处理后，保证数据准确性的个人实践：对于大部分数据来说，数据处理可以

蔚落/ 2022年05月05日 05:57/ 0 赞/ 317 阅读