面向计算机应用领域的高质量数据集构建方法研究

本文面向计算机应用领域，针对现有数据集普遍存在的噪声过高、类别失衡、标注误差、适配性差四类 共性质量问题，提出标准化数据集构建方法。首先，围绕具体落地场景开展场景化原始数据采集，按设备参数与环境 条件进行同源采集，控制数据量级并完成初步归类。其次，通过数据清洗、归一化、均衡化三步预处理降低数据噪声， 消除格式差异带来的计算误差。再次，采用人工初标与算法复检的双层标注模式，配合统一标注规范减少主观误差。同时， 构建涵盖完整性、一致性、有效性与均衡性的多维质量评价体系，量化评估数据集质量等级。最后，针对高噪声、样 本失衡、标注误差三类缺陷，分别提出滤波降噪、混合均衡优化、闭环修正等方法，从全链路提... View More