Работаю тестером в компании разрабатывающей игры на ведроид. Пишется все на C# в юнити. За год состав регрессионного тестирования вырос в несколько раз и продолжает расти, посему встал вопрос об автоматизации большей части проверок. Проверки по типу зайти в это меню нажать сюда увидеть что высветилось, сверить данные с имеющейся таблицей, если не сошлось дать сообщение.
Вопрос в следующем, при помощи чего лучше этим заняться? Имел дело с написанием серверной части сайтов на питоне посему этот язык был бы предпочтительнее.
Наша компания разрабатывает систему КОМПАС-3D для построения трехмерных моделей и чертежей. Проект зрелый – в этом году ему исполнилось 30 лет. Над продуктом работают 9 команд в двух городах – Коломне и Рязани.
В системе автоматизированного тестирования мы используем Telegram для уведомлений, управления тестами и администрирования. Технически боты реализованы очень просто. Главная ценность заключается в их интеграции с системой автотестирования. Итак, что у нас делают Telegram-боты.
Есть проект, у него есть требования к производительности сервера - запросы разных типов, скажем 1/2/3 должны обрабатываться не дольше 0,1/5/40 секунд, при условии что нагрузка не превышает запланированную (до 200 пользователей онлайн и до 50 одновременных запросов к системе).
В JMeter составил сценарий для проверки стабильности, который 8 часов должен поддерживать нагрузку близкую к максимальной, но не выше.
С 200 пользователей онлайн проблем нет, спасибо JMeter.
Но внезапно стал вопрос - как узнать, что вышли на требуемый уровень "одновременных запросов к системе"?
Внезапно осознал, что "Throughput" совсем не про это. Посмотрел листенеры и плагины - тоже не нашёл ничего нужного. В лучшем случае - график "количество активных тредов", что очевидно не то.
Пока единственная идея - сохранять в файл "view results in table", и скриптом из TimeStamp и SampleTime рисовать сколько запросов обрабатывал сервер каждую секунду.
Но выглядит уж больно костыльно - прогнать сценарий, посмотреть график запросов, подкрутить задержки, прогнать сценарий и тд...
Не верю, что JMeter не может, но в упор не вижу как. Подскажите пожалуйста!