BigCode 背后的大规模近重复数据删除技术

Hugging Face 发布 BigCode 项目大规模近重复数据删除的技术详解，采用 MinHash + LSH 方法对代码数据集进行文档级去重，参数为 (256, 0.7, 5)。