ШІ прискорює тестування програмного забезпечення. Але чи допомагає він знаходити дефекти, які справді мають значення? Sii публікує другий звіт Testing Lab

Sii опублікувала результати другого дослідницького експерименту Testing Lab – AI Edition. Перше дослідження продемонструвало, що штучний інтелект може суттєво підвищити продуктивність інженерів з автоматизації тестування. Цього разу експерти Sii зосередилися на іншому питанні: чи означає більша кількість тестів, створених за допомогою ШІ, що вдається виявити більше дефектів, які становлять реальний ризик для продуктивного середовища?

Штучний інтелект допомагає тестувальникам швидше створювати тестові фреймворки, розробляти тест-кейси та готувати звіти. Проте сама по собі продуктивність ще не показує, наскільки ефективно такі тести захищають продуктивне середовище. Важливо інше – чи здатні вони виявляти дефекти, які можуть мати реальні наслідки для бізнесу.

Саме це питання стало відправною точкою для другого випуску Testing Lab – AI Edition.

Цього разу ШІ не був змінною експерименту

У першому випуску дослідження порівнювалися команди, які працювали з застосуванням штучного інтелекту, та команди, що використовували традиційний підхід. Результати показали, що ШІ дає змогу створювати значно більше працездатних тестів за той самий час без втрати середнього рівня якості.

У другому випуску експеримент пішов ще далі. Усі 16 команд працювали зі штучним інтелектом, тестували одну й ту саму систему та мали виявити 19 навмисно закладених дефектів різного рівня складності.

Тепер питання полягало вже не в тому, чи допомагає ШІ інженерам з тестування. Натомість експерти досліджували, від чого залежить ефективність команд у ситуації, коли доступ до можливостей штучного інтелекту мають усі.

Більше тестів не завжди означає кращий захист

Експеримент підтвердив, що ШІ може суттєво прискорити створення тестової інфраструктури. Проте здатність виявляти дефекти не зростала пропорційно до кількості створених тестів.

Найбільші відмінності між командами проявилися там, де самих лише технічно коректних тестів було недостатньо. Інженер з тестування усе одно мав визначити, що саме потрібно перевірити, як оцінити правильність результату, де шукати потенційні ризики та коли варто поставити під сумнів рекомендації моделі.

На основі цих спостережень експерти Sii розробили AI Operator Model і 5 контрольних етапів якості (quality gates), покликаних зробити тестування за підтримки ШІ більш ефективним, керованим і відтворюваним процесом.

Якою є роль інженера з тестування в епоху ШІ?

У новому звіті представлено повні результати експерименту та проаналізовано, чим відрізнялися підходи 16 команд. Дослідження також порушує ширше питання: які навички потрібні тестувальникам у світі, де штучний інтелект може самостійно генерувати код, виконувати тести та пропонувати способи виправлення дефектів?

Отримані результати свідчать про трансформацію ролі експерта з тестування. ШІ може виступати виконавцем і партнером у дослідженні системи, однак відповідальність за якість процесу залишається за людиною. Саме тестувальник визначає пріоритети, критично оцінює результати та забезпечує, щоб тести були здатні виявляти справді важливі збої та дефекти.

Ознайомтеся з повною версією звіту «AI Testing Lab. Part II: AI Is Not Enough. The Role of the AI Operator in Test Quality», щоб дізнатися більше про перебіг експерименту, його результати, ключові висновки та практичні рекомендації.

Завантажте звіт і дізнайтеся, від чого насправді залежить ефективність тестування за підтримки ШІ