Сбер и Институт AIRI представили открытый инструмент для проверки обучающих данных
SplitLight: как заметить ошибки в датасетах до того, как на них потратят миллионы
Разработчики из Центра практического искусственного интеллекта Сбера и Института AIRI выложили в открытый доступ инструмент, который позволяет проверить качество данных перед тем, как запускать обучение моделей. Название у него простое — SplitLight. Работает он в двух режимах: как библиотека на Python и как интерактивный интерфейс, где код писать не нужно.
Проблема, которую решает новый инструмент, знакома любому, кто хоть раз обучал нейросеть. Данные, собранные вручную или выгруженные из разных источников, почти всегда содержат ошибки. Где-то сдвинулись временные метки, где-то затесались дубликаты, где-то — откровенные аномалии. Всё это незаметно глазу, но модель на таких данных учится неправильно. А исправлять ошибки после дорогих экспериментов — занятие неблагодарное.
SplitLight как раз и помогает увидеть эти сбои заранее. Инструмент показывает, где в данных что-то пошло не так, и позволяет разработчику поправить огрехи до того, как начнётся обучение. Кроме того, он умеет фиксировать результаты между разными исследованиями и проверять, насколько обучающая выборка реалистична. Это важно, когда модель готовится к работе в реальных условиях, а не в лабораторной чистоте.
Старший управляющий директор, директор по AI-трансформации Сбербанка Сергей Рябов пояснил, для кого инструмент окажется полезнее всего. По его словам, продуктовым командам в маркетплейсах, стримингах и медиа SplitLight даёт быструю проверку данных, помогает выбрать корректный сплит и подтвердить, что тест приближен к реальности. То есть — защищает от дорогих ошибок ещё до того, как деньги уйдут на эксперименты.
Что особенно приятно — инструмент свободно доступен. Никаких закрытых лицензий и платных подписок. Любой желающий может скачать его и применить к своим данным. Для научного сообщества это тоже плюс: появляется общий стандарт проверки, по которому можно сравнивать результаты разных исследований.
Впрочем, сам по себе SplitLight не решает всех проблем. Он лишь подсвечивает подозрительные места, а исправлять их всё равно придётся человеку. Но как раз для этого инструмент и создавался — чтобы специалист не тратил часы на ручной перебор данных, а сразу видел, где искать проблему.