UltraBERT：突破 BERT 预训练极限的单一编码器

UltraBERT 提出在同一批次内为低、高掩码比例分配独立 LM 头，并将蒸馏目标限制在低掩码比例的单一编码器，据称是首个在分类与检索任务上同时达到 SOTA 的编码器，GLUE 达 91.0、BEIR 达 47.7。研究还发现编码器在下游任务上超过数万亿 token 后趋于饱和，低掩码比例利于分类、高掩码比例利于检索，且剪枝蒸馏在低掩码比例下提升分类、在高掩码比例下损害检索。