Содержание
Коротко
В Украине запустили Ukrainian LLM Leaderboard — открытую платформу сравнения больших языковых моделей по качеству работы с украинским языком. Об этом сообщили в Минцифры; результаты, код и данные выложены на Hugging Face. DOU передаёт детали инициативы Центра компетенций WINWIN AI, УКУ и lang-uk.
Что произошло
До сих пор команды опирались на международные эталонные тесты и заявления производителей. Украинский в таких тестах часто шёл через машинный перевод — реальные ошибки моделей оставались незаметными.
Новый рейтинг гоняет модели на задачах ближе к практике: перевод, пересказ и сжатие текста, поиск по документам, логика, математика и тесты уровня ЗНО. Таблица показывает не один «общий балл», а разбивку по тестам: модель может хорошо отвечать по-украински и проседать в переводе.
Руководитель разработки модели Lapa, аспирант УКУ Юрий Панив, формулирует проблему так: после появления крупных LLM было неясно, где сильные и слабые стороны именно для украинского и какую модель брать под какую задачу.
Дальше планируют добавить работу с изображениями, оценку этичности, стоимость использования украинским, а также сценарии с административными процедурами, нормативными текстами и персональными данными.
Почему это важно
Для продукта на украинском «топ в MMLU» почти ничего не говорит. Нужны воспроизводимые замеры на родном языке: иначе выбор модели — лотерея по маркетинговым слайдам.
Открытость на Hugging Face снижает барьер: можно сверить методологию, а не только читать пресс-релиз. Для команд в Украине и для продуктов с украинским интерфейсом и поддержкой это практический ориентир при выборе API или локальной модели.
На практике
- Перед выбором модели для украинского продукта откройте таблицу на
Hugging Faceи смотрите профиль по задачам, а не одну строку рейтинга. - Сверьте свой сценарий (перевод, поиск по документам или диалог) с соответствующим тестом рейтинга.
- Не полагайтесь только на англоязычные эталонные тесты — для украинского они систематически завышают ожидания.
- Следите за обновлениями: картинки, этика и админ-тексты ещё в планах — сейчас фокус на тексте.
- Сохраните ссылку на методологию: при споре «какая модель лучше» аргумент с цифрами сильнее мнения из чата.
Итог
Ukrainian LLM Leaderboard — редкий случай, когда гос- и академическая инициатива даёт разработчикам измеримый ориентир по украинскому языку, а не очередной лозунг. Имеет смысл заложить проверку по этой таблице в процесс выбора LLM.