Нагрузочное тестирование с помощью VS 2010 Ultimate - Load test, тести
2012-03-20 09:27
Коллеги добрый день!
Цель: Найти решение возникших проблем при тестировании сервисов WCF.
Проблема: При нагрузочном тестировании с помощью ПО VS2010Ultimate и WCFStrom результаты отличаются на порядок, кому верить?
VS2010Ultimate = 0.08 sec
WCFStrom = 0.0025 sec
Правда при одинаковых условиях 1 пользователь 100 запросов. результаты отличаются. При увеличении количества пользователей и времени на тестирование, получаем увеличение запросов в VS2010Ultimate в 2 раза больше. это видно на скринах, но и тестов получает пройдено в VS2010Ultimate в два раза больше.
КОМУ ВЕРИТЬ? и
Тестирование среды ( кластера, производственных мощностей) и тестирование методов и сервисов.
Возникшие проблемы:
1. Какой инструмент выбрать?
2. Как тестировать ?
3. Какие метрики использовать?
4. Какие счётчики снимать с оборудования?
5. Как проанализировать результаты?
Решение проблем:
1. Какой инструмент выбрать?
При снятии показаний трафика Fiddlerom, выяснили что трафик шифруется и запросы стандартными средствами снять не получиться. Так как получаем шифрованный мусор.Исследовав рынок ПО для нагрузочного тестирования было выбрано два инструмента VS2010Ultimate - Load test и WCFStorm. Окончательное решение пало на VS2010Ultimate. Так как в WCFSTORM нельзя было снимать показания счетчиков с серверов.
2. Как тестировать?
Так как приложение еще не написано то у нас есть просто два сервиса которые видны и несколько методов. Есть еще запрос который пишет в BD данные.
Было написано в VS2010Ultimate несколько модульных тестов на каждый метод. И создан Load test.
3. Какие метрики использовать?
Зависимости были предложены такие:
а) по оси X - Среднее время отклика запросов | по оси Y - Количество пользователей
б) по оси X - Количество ошибок | по оси Y - Количество пользователей
в) по оси X - Среднее время тестов | по оси Y - Среднее время ответов
4. Какие счётчики снимать с оборудования?
Были выбраны счётчики которые шли в шаблонах при создании Loadtest сценария.
Для серверов приложений: CPU, RAM, HDD, LAN, количество обрабатываемых операций и длину очереди.
Для серверов БД: CPU, RAM, HDD, LAN, скорость запись чтения БД.
Для серверов балансировки: LAN, CPU, HDD, RAM
5. Как проанализировать результаты?
Тут столкнулись с проблемой что результаты по замерам скорости запросов оказались совершенно разные в VS2010Ultimate и WCFStorm.
Да, лидер определился ещё во время проведения самой конференции, это прекрасно было видно по комментариям в твиттере и отзывам в блогах, и голосование лишь подтвердило это — с двукратным (!!!) отрывом от ближайших преследователей победила Жанна Битюкова! Она покорила всех, тому, как она рассказывала, завидовали даже признанные специалисты разговорного жанра, а содержание по качеству ничуть не уступало стилю изложения. Мы обязательно опубликуем в ближайшее время это выступление!
А пока — полные результаты голосования:
http://confetqa.ru/wp-content/uploads/2012/02/bitukova.pngПервое место заняла Жанна Битюкова с рассказом про то, как обращаться с новичками. Скоро вы сами сможете посмотреть выступление Жанны и убедиться, что ей вполне заслуженно достался наш первый приз — игровая приставка Xbox 360 + сенсор Kinecthttp://confetqa.ru/wp-content/uploads/2011/08/2.jpg<br style="color: #333333; font-family: Tahoma, Helvetica, Arial, sans-serif; font-size: 12px; line-height: 15px;" />Второе место занимает Андрей Мясников, который делился советами, как тестировщику не только выжить, но и преуспеть в многопроектной среде, к Андрею отправляется наш второй приз — электронная книга Amazon Kindle 3 Wi-Fihttp://confetqa.ru/wp-content/uploads/2012/02/skumina.jpgТретье место, с минимальным отрывом от второго, заняла Анна Скумина, напомнившая о том, что для тест-менеджеров, несмотря на специализацию, никто не отменял общие принципы постановки целей, такие как SMART, Аня получает в качестве приза кистевой тренежер Powerball Neon AmberКроме того, нельзя не отметить, что конкуренция среди докладчиков была чрезвычайно высока, мы хотим отметить ещё два выступления, которые немного не дотянули до подиума, но тоже получили высокую оценку слушателей — Наталья Руколь напомнила о том, что планирование является повседневной задачей менеджера, а Николай Алименков постарался убедить слушателей, что в определённых условиях можно не выделять тестировщиков в отдельную проектную роль.
Поздравляем всех наших победителей, даже тех, кому не досталось призов :), а остальных докладчиков просим не расстраиваться, это не последняя наша конференция, и может быть в следующий раз именно ваше выступление станет украшением программы!
Кроме того, мы определили наиболее активных участников конференции, которые задавали самые острые и полезные вопросы, и решили наградить участием в новом тренинге Натальи Руколь "Базовый курс по управлению тестированием" троих участников: Андрея Бенча, Сергея Атрощенкова и Нину Островскую! Так держать, коллеги!
в хроме это работает отлично, а firefox просто игнорирует это действие: не передает элементу путь к файлу и никаких ошибок не выдает.
в опере вообще падает на этом моменте с ошибкой
org.openqa.selenium.WebDriverException: Problem encountered : DISCONNECTED
может кто-то знает решение этой проблемы? или есть другие варианты добавления файла?
Разработка и улучшение тест-планов/кейсов согласно требованиям к ПО, нового функцинала ПО, поступающей аналитики
Разработка автоматизированных тестов в рамках собственной платформы автоматизации на языках bash и C.
Координация работы между инженерами по тестированию (в т.ч. в удалённых офисах).
Обучение инженеров.
Взаимодествие с разработчиками и инженерами технической поддержки.
Контроль и улучшение процессов QA в проекте
Требования:
Высшее техническое образование,
Опыт работы в тестировании ПО – от 4 лет, на уровне ведущего инженера – от 2 лет
Опыт разработки автоматизированных тестов на любом скриптовом языке
Знание операционных систем семейств Windows, MacOS, Android – на уровне администрирования
Знание операционных систем семейства Linux – установка, пересборка ядра; shell script – твёрдое знание, понимание различий между разными shell; busybox; storage management; filesystems.
Знание сетевых протоколов и сервисов: TCP/IP, DHCP, DNS, SMTP
Опыт использования платформы виртуализации VMWare (Workstation, ESX, vSphere)
Знание английского языка – на уровне intermediate.
Приветствуется:
Экспертные знания систем хранения данных и файловых систем (FAT, NTFS, HFS+, extfs)
Коммерческий опыт системного администрирования и/или разработки ПО
Знание языка С, языков VBS, Perl, Python
Опыт работы с системами управления версий (CVS, Subversion)
Опыт участия в проектах Continuous Integration
Опыт использования VMWare vSphere API
Условия:
Оформление по ТК РФ, медицинская страховка
Гибкий график работы
Возможности для профессионального и карьерного роста
Офис м.Речной вокзал, м.Алтуфьево
Уровень заработной платы определяется по результатам собеседования
Разработка и улучшение тест-планов/кейсов согласно требованиям к ПО, нового функцинала ПО, поступающей аналитики
Разработка автоматизированных тестов в рамках собственной платформы автоматизации на языках bash и C.
Координация работы между инженерами по тестированию (в т.ч. в удалённых офисах).
Обучение инженеров.
Взаимодествие с разработчиками и инженерами технической поддержки.
Контроль и улучшение процессов QA в проекте
Требования:
Высшее техническое образование,
Опыт работы в тестировании ПО – от 4 лет, на уровне ведущего инженера – от 2 лет
Опыт разработки автоматизированных тестов на любом скриптовом языке
Знание операционных систем семейств Windows, MacOS, Android – на уровне администрирования
Знание операционных систем семейства Linux – установка, пересборка ядра; shell script – твёрдое знание, понимание различий между разными shell; busybox; storage management; filesystems.
Знание сетевых протоколов и сервисов: TCP/IP, DHCP, DNS, SMTP
Опыт использования платформы виртуализации VMWare (Workstation, ESX, vSphere)
Знание английского языка – на уровне intermediate.
Приветствуется:
Экспертные знания систем хранения данных и файловых систем (FAT, NTFS, HFS+, extfs)
Коммерческий опыт системного администрирования и/или разработки ПО
Знание языка С, языков VBS, Perl, Python
Опыт работы с системами управления версий (CVS, Subversion)
Опыт участия в проектах Continuous Integration
Опыт использования VMWare vSphere API
Условия:
Оформление по ТК РФ, медицинская страховка
Гибкий график работы
Возможности для профессионального и карьерного роста
Офис м.Речной вокзал, м.Алтуфьево
Уровень заработной платы определяется по результатам собеседования
Разработка автоматизированных тестов на C# под .NET и собственную платформу автоматизации
Настройка и администрирование тестовых стендов
Запуск автотестов, отслеживание и документирование результатов
Требования:
Высшее/незаконченное высшее образование (техническое)
Опыт разработки (C#/.NET)
Знание Windows на уровне системного администрирования
Понимание методологий и процессов тестирования ПО
Опыт работы с системами управления тестами (test management) и дефектами (bug tracking)
Знание английского языка на уровне чтения технических текстов
Приветствуется:
Опыт тестирования сложного системного ПО
Опыт разработки автоматизированных тестов
Опыт использования платформ виртуализации VMWare (ESX, vSphere) и Microsoft (Hyper-V)
Понимание принципов работы клиент-серверных приложений
Условия:
Гибкий график работы,
Полное соблюдение ТК РФ, ДМС
Перспективы карьерного роста
Офис м.Савеловская, Тимирязевская, Речной вокзал, Алтуфьево - г.Долгопрудный (корпоративный транспорт)
Уровень заработной платы определяется по результатам собеседования.
Разработка автоматизированных тестов на C# под .NET и собственную платформу автоматизации
Настройка и администрирование тестовых стендов
Запуск автотестов, отслеживание и документирование результатов
Требования:
Высшее/незаконченное высшее образование (техническое)
Опыт разработки (C#/.NET)
Знание Windows на уровне системного администрирования
Понимание методологий и процессов тестирования ПО
Опыт работы с системами управления тестами (test management) и дефектами (bug tracking)
Знание английского языка на уровне чтения технических текстов
Приветствуется:
Опыт тестирования сложного системного ПО
Опыт разработки автоматизированных тестов
Опыт использования платформ виртуализации VMWare (ESX, vSphere) и Microsoft (Hyper-V)
Понимание принципов работы клиент-серверных приложений
Условия:
Гибкий график работы,
Полное соблюдение ТК РФ, ДМС
Перспективы карьерного роста
Офис м.Савеловская, Тимирязевская, Речной вокзал, Алтуфьево - г.Долгопрудный (корпоративный транспорт)
Уровень заработной платы определяется по результатам собеседования.
Тестировщик мобильных игр
2012-03-20 11:47
Компания - автор топовой игры на AppSore и android market ищет в свою дружную команду тестировщиков!
От вас - энтузиазм и любовь к играм + опыт тестирования мобильных игр/приложений.
От нас - хороший коллектив, уютный офис, множество социальных благ, конкурентная зарплата!