Комментарии 6
К сожалению LLM для unit-тестов не использовал, но спасибо большое за статью, очень интересно было прочесть!
Я вижу, что вы проверили, генерирует ли нейросеть тесты вообще, чтобы они компилировались. Видимо, да.
А теперь вопросы, на которые ответы не увидел.
1)какое покрытие тестами в итоге получилось? Я мало работал с тестированием, но судя по последней картинке там с этим все плохо. Вместо того, чтобы проверить иконку каждого пункта enum, библиотека на рандоме выбрала пару кейсов и проверила их, опустив остальное
2)какой процент бесполезных тестов? Это те, написание которых ничего не меняет. Для оценки этого в статье не хватает кода
1) В конечном итоге я самостоятельно покрыл весь требуемый функционал тестами. Да, LLM могут не покрывать фичу полностью, по-этому чаще всего приходится доводить до конца покрытие самостоятельно.
2) Точный процент сказать сложно, с рекомендациями от LLM по тестам стоит быть крайне аккуратным. Лучшая связка связка которую я смог найти, это генерировать "карказ теста", и прописывать сами тесты самосстоятельно, добавляя необходимые зависимости в ручную
GPT, DeepSeek и Qwen: идеальные unit-тесты в эхо-камере