设计应用

数据质量高效校验方法研究

作者:程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1
发布日期:2025-10-29
来源:网络安全与数据治理

引言

民航局2022年印发《关于民航大数据建设发展的指导意见》[1],明确要求加强数据质量管理。航信作为民航数据服务的主要提供商,其数据质量直接影响航空安全与运营效率。

根据国际数据治理协会统计[2],数据质量问题导致企业平均每年损失15%~25%的营收。传统数据质量工具(如Apache Griffin)存在配置复杂(平均每个规则需4~6步操作)、执行效率低(单指标独立SQL查询)等问题。本研究通过实证分析,提出了一种优化方案,经生产环境验证,配置效率可提升5倍(从平均15 min/规则降至3 min/规则),执行速度提升8~10倍(多指标合并查询减少I/O开销)。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006830


作者信息:

程胜1,郜美华2,冉瑛1,乔玉洁2,黄鹏1

(1.中国民航信息网络股份有限公司重庆分公司,重庆401120;

2.中国民航信息网络股份有限公司,北京101300)


subscribe.jpg

此内容为AET网站原创,未经授权禁止转载。
大数据 数据治理 数据质量 数据清洗 数据质量监控