denis-196 янв 2025 в 07:06

Разработчик представил проект Killed by LLM, где опубликованы бенчмарки, которые были побеждены прогрессом ИИ

1 мин

10K

Искусственный интеллектМашинное обучение * Открытые данные * Open source * Тестирование веб-сервисов *

Комментарии 3

wl2776 6 янв 2025 в 08:39

Драматично, killed... Эти бенчмарки для того и создавались, чтобы автоматические решения по ним проверять. Ну и разрабатывать, разумеется.

Раньше был MNIST handwritten number recognition dataset. Кто-нибудь его помнит? Теперь это "hello world" для алгоритмов компьютерного зрения.

acc0unt 6 янв 2025 в 15:17

Ну вот в том и дело, что бенчмарки, на которых не так давно SOTA-системы показывали по 5-10%, сейчас стремительно теряют свою актуальность. Потому что средние системы 2024 года на них уже заламывают 80+%.

Wizard_of_light 6 янв 2025 в 12:04

Ещё один "вы находитесь здесь" - список.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий