面向智能工程的大数据质量评估与清洗算法优化——基于计算机深度学习技术

Abstract

由于智能工程中所涉数据量持续爆炸式增长，因此数据质量问题已经成为影响系统运行效果、决策正确性的根本因素，而传统的数据质量评估及清洗方法在处理大量异构数据时存在效率低、效果差的明显不足。故本文从智能工程系统的数据处理需求出发，提出了一种基于深度学习技术优化大数据质量评估与清洗算法的新方案：先构造一个多维数据质量评价模型，从数据的完整性、准确性、一致性、及时性、有效性五个方面明确设计评价指标，继而设计一种融合卷积神经网络（CNN）和长短期记忆网络（LSTM）的混合深度学习结构来自动、准确地检测数据异常，之后又提出了自适应的数据清洗方法，以强化学习的思想让清洗策略能根据具体数据情况实时、智能地调整。实验部分选择了工业物联网、智能交通、智慧城市建设中典型的智能工程数据集进行验证，实验结果十分清楚地表明，与传统方法相比，所提方案的数据质量检测准确率提高了 23.7%，清洗速度提高了41.2%，误清洗率严格控制在2.1% 之下。因此，本文对智能工程中的大数据质量管理有十分直接而重大的意义，也必然有利于提高智能工程系统的可靠性及智能化水平。

Keywords

• 智能工程；大数据质量评估；深度学习；数据清洗算法；强化学习

References

1. 黄志超，卢德辉，陈顾元，等 . 基于实地调研的计算机视觉技术在建筑工程管理领域适用性研究 [J]. 广州建筑，2025（06）：98-105.
2. 郝硕涛，郑翔，宋娜，等 . 基于计算机视觉与智能识别的工程监测技术分析 [J]. 集成电路应用，2025，42 （11）：236-237.
3. 徐彦中，李涛 . 计算机视觉测量技术在数智化工程监理中的应用 [J]. 建设监理，2025（08）：99-102.