
JSONL, шарды и путь данных к GPU: от одной строки до обучения
Как устроены большие наборы для обучения: JSONL против JSON, шарды, сжатие, токены, батчи и эпохи — и почему терабайт данных не требует терабайта RAM.
Новости для разработчиков без шума — My Dev News в Telegram.

Тег
Все статьи блога с этим тегом.

Как устроены большие наборы для обучения: JSONL против JSON, шарды, сжатие, токены, батчи и эпохи — и почему терабайт данных не требует терабайта RAM.

Опорный лонгрид о корпусе для дообучения с учителем: контракт пары «инструкция → ответ», покрытие, отказы, синтетика и эксперты, проверки перед обучением и утечки с оценкой.

Опорный лонгрид о подготовке данных для обучения и оценки ИИ: эталонные записи, редакторы эталонов, разделение обучения и оценки, утечки, манифесты и параметры по задаче и домену.