政策文本多标签分类模型训练

项目概括

应用场景

政府部门对政策文件自动化归类、标签化；作为政策数据加工方法融合到政策资讯平台供用户（企业、创业者等政策惠及人员）快速查阅相关政策。

政策标签空间：

• 项目申报

• 财政奖补

• 减税降费

• 企业培训

• 要素保障

• ……

技术概况

• 硬件：Nvidia RTX 4090 24G

• 任务类型：多标签文本分类

• 预训练模型：Ernie3 Base

• 训练方法：基于预训练模型进行微调，先基于AdamW优化器使模型快速达到较优的效果，再使用SGD优化器精调

• 优化策略：针对数据类别不平衡情况，采样训练集时刻意尽量提高类别较少样本的比例。

• 评价方法：多标签微平均

• 结果：通过测试，投入生产使用。

评价指标

候选指标

基础评价指标

• 召回率

• 精确率

• F-Measure

针对多标签分类的评价指标

• 微平均召回率/精确率/F-Measure

  计算方式：在样本级别计算全局平均指标

  适用场景：更关注模型的整体表现，且更关注主导类别的影响（样本类别不平衡情况下数量最多的类别）

• 宏平均召回率/精确率/F-Measure

  计算方式：计算每个类别的评价指标，再以同等权重对各类别的平均值求平均。

  适用场景：避免模型只关注多数类而忽略少数类的情况。

选择宏平均还是微平均？

希望提高常见政策类别的分类准确性，因此选择微平均作为主要评价指标。