JSONL, Parquet и WebDataset — это то, в каком виде подготовленный корпус уходит из рук. Формат выбираю тот, который ваше обучение уже читает, а не тот, что выглядит модно. JSONL подходит построчному тексту и записям чата. Parquet — колоночным таблицам и фильтрам. WebDataset — картинкам, упакованным с метками в шарды, которые загрузчик читает потоком.

У каждого шарда устойчивое имя, схема или файл рядом с именами полей и короткий скрипт, который открывает первую пачку. Единственным входом не оставляю разовый ноутбук. Большой корпус режу на шарды, чтобы срез можно было посмотреть без скачивания всего. Подробнее про шарды — в статье JSONL, шарды и путь данных к GPU.

Приёмка — набор файлов, который открывается, схема, совпадающая с выборкой, и записанная команда, которая читает первый шард. Перевод уже чистого корпуса в формат часто занимает 1–2 недели. Сами записи по-прежнему приходят из текстовых датасетов или разметки изображений.