Удаление мусора выкидывает строки, которым нечему учить модель: пустые файлы, повторные шапки, мусор распознавания, спам, записи «тест» и шаблон, который стоит на каждой странице. Удаление мусора — не дедупликация. Дубль хорошего примера всё ещё хороший пример; у мусора нет метки, которую стоит учить.

Правила называю до запуска: «слишком коротко», «почти одни символы», «известный тестовый аккаунт», «подвал шаблона». Смотрю выборку того, что правило снимет, и несколько строк, которые оно должно оставить, чтобы редкий класс не уехал вместе с мусором. Персональные данные, которым нельзя оставаться в корпусе, маскирую или снимаю по брифу, а не смешиваю с туманным «почистить».

Приёмка — список правил, счётчики снятого и подписанная выборка снятых и оставленных строк. Файл снятых ключей остаётся с датасетом. Проход правил по одному текстовому источнику часто занимает 1–2 недели. Цифры качества — позже, в контроле качества датасета.