Automatizované a zátěžové testy AI chatbota
Automatizované a zátěžové testy AI chatbota veřejné instituce, spouštěné paralelně proti produkci i betě a porovnatelné otázku po otázce.
Ověřit chatbota před releasem i po něm.
Veřejná instituce provozuje AI chatbota, který odpovídá na dotazy příchozích zahraničních odborníků, a potřebovala ho ověřovat před releasy i po nich: že odpovědi zůstávají správné napříč prostředími a že vydrží souběžný provoz.
Skutečný prohlížeč na správnost, vlákna na zátěž.
Postavili jsme testovací sadu v Robot Frameworku řídící skutečný prohlížeč: odbavení cookie lišty, položení dotazu, kontrola, že se otázka správně zobrazila, čekání na odpověď a její zachycení. Sada běží paralelně proti produkci i beta prostředí. K tomu zátěžový skript v Pythonu.
V repozitáři jsou skutečné výstupy tří běhů: odpovědi spárované s naměřeným časem u každé otázky, u výkonnostního běhu zhruba 223 řádků. Souhrnné číslo repozitář neuvádí.