特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征

介绍 早停止（Early Stopping）是 当达到某种或某些条件时，认为模型已经收敛，结束模型训练，保存现有模型的一种手段。 如何判断已经收敛？

Focal Loss Focal Loss主要是为了解决类别不平衡的问题，Focal Loss可以运用于二分类，也可以运用于多分类。下面以二分类为例： 原始Loss 原始的二

数据增强，即增加样本，也可以半监督如UDA。 正则化（Dropout等） Batch norm。本质是加快训练，让训练更稳定，但也可以缓解过拟合。配合re

NLP中的EDA 同义词替换，回译，近音字替换，随机插入，随机交换，随机删除 同义词替换 做法可以是维护一个同义词表，如哈工大的发布的同义词词典。

在训练开始的时候，如果学习率太高的话，可能会导致loss来回跳动，会导致无法收敛，因此在训练开始的时候就可以设置一个很小的learning r

神经网络会促使自身往正确标签和错误标签差值最大的方向学习，在训练数据较少，不足以表征所有的样本特征的情况下，会导致网络过拟合。因为oneho

参考 NLP新宠——浅谈Prompt的前世今生 - 知乎 (zhihu.com)