Сегодня мы сталкиваемся не только с растущим числом инструментов для тестирования нового программного обеспечения, но и с растущим числом самих способов тестирования. И у кого же найдётся достаточно времени, чтобы следить за сотнями новых инструментов? К счастью для вас, это делаем мы.
В нашем обзоре мы рассмотрим 102 инструмента для тестирования программного обеспечения. Для каждого будет представлена следующая информация:
- Краткое описание инструмента тестирования
- Снимок экрана пользовательского интерфейса
- Ключевые характеристики
- Что нужно знать
- Цена (если эта информация доступна)
Мы разделили все рассматриваемые приложения на 8 категорий. Кроме того, в конце обзора имеется бонусный раздел с новыми инструментами, за которыми стоит некоторое время последить.
Инструменты автоматизированного тестирования
Автоматизация тестирования является одним из наиболее развитых сегментов тестирования программного обеспечения. В последнее время этот сегмент заметно трансформировался благодаря появлению хороших вариантов с открытым исходным кодом и общему стремлению к DevOps и многоканальным моделям.
Мы можем разбить инструменты автоматизированного тестирования на две подкатегории:
- Функциональное тестирование
- Тестирование интеграции/API
Инструменты функционального тестирования программного обеспечения
Зачем нужны инструменты функционального тестирования? Средства функционального тестирования управляют автоматизированными тестами, взаимодействуя с пользовательским интерфейсом приложения. Эти инструменты обычно имеют интерфейс записи и воспроизведения, что облегчает работу тестировщиков. Однако эти тесты могут быть довольно медленными.
Tricentis Tosca
Tricentis Tosca обеспечивает модельно-ориентированную автоматизацию тестирования, нацеливаясь на разработку тест-кейсов и решение проблем. Этот инструмент предлагает комплексные возможности тестирования и записи.
Особенности:
- Поддержка гибких методик Agile.
- Широкий набор инструментов для виртуализации сервисов и управления тестовыми данными.
- Обеспечение автоматизации, которая упрощает повторное тестирование и не требует глубоких знаний в области кодирования.
Что вам нужно знать: Разработчики Tosca Testsuite сосредоточились на модельно-ориентированной автоматизации и создании «мини-пакета», который выходит за рамки чистой автоматизации тестирования.
HP Unified Functional Testing (UFT)
Ранее известный как QuickTest Professional (QTP), HP UFT автоматизирует тестирование функциональности графического интерфейса пользователя и серверных служб. Данный инструмент предлагает многоразовые тестовые компоненты, помогает преобразовать ручные средства тестирования в автоматизированные и сделать тестирование частью цикла разработки, позволяет проводить тестирование на нескольких машинах и устройствах.
Особенности:
- Сильная партнёрская сеть.
- Расширение поддержки новых браузеров и мобильных устройств (хотя в этом HP UFT отстаёт от многих лидеров рынка).
- Интегрированное предложение, которое включает в себя другие инструменты тестирования.
Что вам нужно знать: Хотя HP остаётся лидером на рынке платных средств автоматизации тестирования, в последнее время он пытается сосредоточиться на новых платформах, поэтому постепенно уступает место конкурентам.
Цены: Тарифные планы начинаются от 600$ в месяц и имеют три уровня ценообразования. Посетите страницу UFT с ценами, чтобы узнать больше.
IBM Rational Functional Tester
Rational Functional Tester, являющийся частью более крупной платформы тестирования — Rational от IBM, предназначен для автоматизации тестирования функциональности и регрессии программного обеспечения. Он поддерживает множество приложений, позволяет делать раскадровку и писать сценарии тестов.
Особенности:
- Интегрированное предложение, включающее в себя другие инструменты тестирования.
- Поддержка устаревших платформ и фреймворков.
- Предложение хорошо отработанных и надёжных инструментов.
Что вам нужно знать: IBM, некогда бывший настоящим лидером рынка, в последние годы вынужден противостоять растущей конкуренции со стороны HP и других перспективных компаний.
Цены: От 3400$ в месяц, имеется 6 уровней ценообразования. Посетите страницу Rational Functional Tester с ценами, чтобы узнать больше.
Katalon Studio
Katalon Studio, созданный на основе Selenium и Appium, представляет собой полноценный инструмент для автоматизации тестирования веб-сервисов и мобильных приложений. Katalon Studio обладает всеми необходимыми функциями, доступными, как правило, только в коммерческих инструментах. Сам продукт остался при этом бесплатным.
Особенности:
- Двойной интерфейс — для начинающих и продвинутых пользователей.
- Готовая интеграция с qTest и JIRA.
Что вам нужно знать: Katalon Studio — это кроссплатформенный инструмент, позволяющий превратить ручное тестирование в автоматизированный процесс.
Цены: Бесплатно.
Worksoft Certify
Worksoft Certify автоматизирует функциональное тестирование бизнес-процессов. Данный инструмент предлагает возможности обнаружения, масштабирования, валидации и определения соответствия требованиям.
Особенности:
- Использование бесскриптового подхода.
- Совместимость с пакетным программным обеспечением.
- Простота в использовании.
- Хорошая поддержка.
Что вам нужно знать: Хотя Certify работает с широким спектром приложений, в основном он сосредоточен на поддержке пакетного программного обеспечения, такого как SAP, Oracle, Salesforce и т.д.
TestPlant eggPlant Functional
TestPlant eggPlant Functional — инструмент автоматизированного функционального тестирования, использующий подход на основе изображений, которые пользователь видит на экране устройства. Этот подход, при котором тестирование пользовательского интерфейса основано на изображении, отличается от традиционного, поскольку тестирование производится с точки зрения пользователя, а не с точки зрения создателя кода. eggPlant Functional работает на всех типах устройств.
Особенности:
- Возможность многократного использования процессов автоматизации для тестирования производительности.
- Быстрое развитие.
- Возможность CI-интеграции и управления лабораторией.
- Поддержка всех основных платформ, включая веб-системы, мобильные системы, POS-системы и т.д.
Что вам нужно знать: Использование подхода eggPlant Functional на основе изображений может помочь решить сложные проблемы автоматизации. Данный подход позволяет тестировщикам, у которых практически нет подобных навыков, достигать надёжного уровня автоматизации. А для команд, которые изо всех сил пытались внедрить автоматизацию, — это способ преодолеть трудности.
Ranorex
Ranorex предназначен для настройки и выполнения сценариев автоматизированного тестирования. Данный инструмент позволяет распознавать объекты графического интерфейса, применять многоразовые тестовые сценарии, записывать и воспроизводить этапы проверки тестируемого программного обеспечения. Кроме того, Ranorex предлагает бесскриптовое тестирование.
Особенности:
- Дружественность к разработчику.
- Лёгкое распознавание объектов.
- Простая и доступная модель ценообразования.
Что вам нужно знать: По своей функциональности Ranorex соизмерим с продуктами поставщиков интегрированных пакетов. При этом он предлагает более дешёвые лицензии и техническое обслуживание.
Цены: Тарифные планы начинаются с 2990$ за лицензию, есть три схемы ценообразования. Посетите страницу Ranorex с ценами, чтобы узнать больше.
Инструменты для тестирования интеграции/API программного обеспечения
Инструменты тестирования программного интерфейса приложения предназначены для создания различных типов полезных нагрузок через API. С их помощью вы сможете убедиться, что программное обеспечение принимает допустимые входные данные и отклоняет неправильные входные данные с соответствующими сообщениями. Некоторые из этих инструментов могут также обеспечивать тестирование на нагрузку. API-тестирование особенно важно для облачных, мобильных и PaaS-систем.
CA Technologies Application Test
CA Application Test использует декларативную модель рабочего процесса, которая фокусируется на построении тестов поверх сценариев. Инструмент использует принцип «shift left», допуская тестирование API перед разработкой пользовательского интерфейса. Он также предлагает: автоматизированное мобильное тестирование, визуальные тесты, индивидуальное нагрузочное тестирование и расширенную аналитику.
Особенности:
- Интеграция с Selenium для улучшения визуального редактирования.
- Обеспечение надёжной поддержки мэйнфреймов.
- Возможность повторного использования тест-кейсов и инфраструктуры.
- Создание нагрузки на внутреннюю сеть с небольшим количеством ресурсов.
Что вам нужно знать: CA Technologies в основном сосредоточен на тестировании настольных приложений и сложной инфраструктуры с использованием LISA.
IBM Rational Test Workbench
Rational Test Workbench — комплексный инструмент автоматизации тестирования с возможностями интеграционного, регрессионного, нагрузочного тестирования. Rational Test Workbench позволяет проводить тестирование на уровне обслуживания и тестирование через интеграцию с инструментом коллективного управления жизненным циклом разработки программного обеспечения.
Особенности:
- Проведение непрерывного интеграционного тестирования.
- Интеграция с пакетом тестирования IBM Rational для расширенных возможностей.
- Обеспечение тестирования на протяжении всего жизненного цикла.
- Поддержка автоматизации.
Что вам нужно знать: IBM Rational Test Workbench предоставляет полный набор готовых к работе инструментов тестирования, которые охватывают потребности тестирования на протяжении всего жизненного цикла разработки.
Parasoft SOAtest
Parasoft SOAtest обеспечивает автоматизацию тестирования для сквозных сценариев на нескольких конечных точках с поддержкой REST, веб-служб и более 120 протоколов/типов сообщений. Parasoft SOAtest создаёт расширяемые и многократно используемые тесты. Помимо тестирования API, он предлагает тестирование SOA, производительности, веб-интерфейса, ошибок во время выполнения, безопасности API и т.д.
Особенности:
- Предоставление возможностей, выходящих за рамки тестирования API.
- Поддержка широкого набора сообщений/протоколов.
Что вам нужно знать: Parasoft SOAtest предназначен для автоматизированного тестирования API, но также даёт возможность осуществлять ряд других тестирований. Его самой уникальной особенностью является обширный список сред, включая протоколы, платформы и форматы сообщений, которые он поддерживает.
SmartBear ReadyAPI
SmartBear ReadyAPI — полноценная платформа тестирования API с возможностью функционального и нагрузочного тестирования API, тестирования безопасности API, виртуализации сервисов, тестирования API в коде, управления производительностью API, построения и управления APIS. SmartBear Ready API обеспечивает управление проектами, работу с метриками и отчётами, поддержку сценариев.
Особенности:
- Обеспечение широкого спектра возможностей тестирования API.
- Поддержка непрерывной интеграции.
Что вам нужно знать: SmartBear ReadyAPI — это комплексный инструмент для тестирования API, который включает тесты API во время функционального тестирования, тестирования производительности и тестирования после развёртывания. Он также интегрируется с расширенной средой тестирования SmartBear.
Crosscheck Networks SOAPSonar
Crosscheck Networks SOAPSonar позволяет осуществлять тестирование API, а также эмуляцию и виртуализацию API. Для обеспечения функциональной автоматизации, тестирования производительности и безопасности Crosscheck Networks использует технологию динамических мутаций.
Особенности:
- Обеспечение тестирования безопасности и API-сервисов.
- Поддержка различных протоколов и сообщений, в том числе JSON, REST и SOAP.
Что вам нужно знать: Crosscheck Networks SOAPSonar предлагает множество возможностей тестирования API, хотя основное внимание уделяется функциональному тестированию, тестированию производительности и безопасности для конечных точек сервисов. Проводятся эти тесты с использованием запатентованной технологии мутации.
Инструменты для тестирования интеграции
с открытым исходным кодом
Есть также несколько инструментов с открытым исходным кодом. Если вы решите пойти по этому пути, рассмотрите следующие варианты: Apache JMeter, SoapUI, PowerMock, EasyMock, REST Assured, WebInject, Mockito, Jmockit, mocktail, WireMock, Betamax, Mockserver.
Инструменты для тестирования производительности
Инструменты тестирования производительности берут простой сценарий автоматизации, и запускают его на сотнях или тысячах машин, чтобы имитировать работу приложения под нагрузкой. Эти тесты обычно стоят дорого и выполняются реже, чем тесты функциональной автоматизации. Тестирование производительности особенно важно для облачных приложений.
Существует два основных типа подобных инструментов:
- Узкоспециализированные инструменты («чистые» инструменты — Pure Play Tools)
- Расширенные инструменты
Каждый тип имеет свои плюсы и минусы. Вот что вам нужно знать о различии между этими двумя типами инструментов.
Инструменты тестирования производительности Pure Play
Плюсы:
- Как правило, стоят дешевле
- Возникает меньше проблем в процессе приобретения и внедрения
- Обеспечивают более быстрое развитие с использованием лучших в своём классе инструментов
- Поддерживают больше интеграций и использование открытого исходного кода
Минусы:
- Требуются знания отдельных скриптов/языков для обслуживания
Расширенные инструменты тестирования производительности
Плюсы:
- Допускается повторное использование прошлых сценариев автоматизации
- Используются знакомые языки
- Один поставщик может снабжать вас несколькими инструментами
Минусы:
- Медленная и менее сфокусированная разработка
- Закрытая экосистема, ограничивающая доступ к лучшим в своём классе инструментам
- Как правило, стоят дороже и ориентированы на крупные организации
Tricentis Flood
Tricentis Flood — это облачная платформа для распределённого нагрузочного тестирования, которая помогает проверить, как приложение будет вести себя в условиях огромной нагрузки, генерируемой со всего мира. Flood генерирует нагрузку, используя популярные инструменты нагрузочного тестирования с открытым исходным кодом (Apache JMeter, Flood Element, Gatling и Chrome), а также функциональные тест-кейсы Tricentis Tosca.
Flood легко интегрируется с инструментами CI, такими как Jenkins и Bamboo, а также с наиболее популярными инструментами APM (New Relic, AppDynamics, Dynatrace и др.). Кроме того, Tricentis Flood может быть интегрирован в ваш личный аккаунт у таких хостинг-провайдеров, как AWS и Azure.
Бесплатная пробная версия Flood включает в себя 5 узел-часов, которые можно использовать для быстрого запуска нагрузочного тестирования. Подписки довольно гибкие, и можно выбрать то, что максимально соответствует вашему бюджету и потребностям. Попробовать Tricentis Flood бесплатно можно здесь.
Automation Anywhere Testing Anywhere
Данный инструмент использует автоматизацию любых типов тестирования и предлагает кроссплатформенную поддержку мобильных устройств, веб-ресурсов и настольных компьютеров. Automation Anywhere может преобразовывать различные сценарии в сценарии нагрузки и позволяет осуществлять машинное обучение и аналитику.
Особенности:
- Предлагает простое преобразование из автоматизации.
- Похож на HP, но менее дорогой.
- Включает TestLab для управления устройствами тестирования.
Тип инструмента: Расширенный.
Что вам нужно знать: Automation Anywhere — это слабый конкурент HP, который предлагает более надёжные возможности автоматизации.
BlazeMeter
BlazeMeter осуществляет запуск тестов производительности, а также масштабируемое нагрузочное тестирование. Инструмент совместим с Apache JMeter, предлагает отчёты в режиме реального времени, имитирует условия сети и позволяет разработчикам создавать и редактировать тесты производительности.
Особенности:
- Масштабируемый.
- Использует открытый исходный код и AW.
- Предлагает мощную поддержку API и кастомизацию.
Тип инструмента: Pure Play.
Что вам нужно знать: BlazeMeter — новичок в области тестирования производительности в облаке. Хотя он имеет ограниченное количество вариантов использования и не предлагает возможностей мониторинга, он популярен среди разработчиков.
Цены: Доступен бесплатный тариф. Платные тарифные планы начинаются с 99$ в месяц, есть 3 уровня цен. Для уточнения подробностей посетите страницу BlazeMeter с ценами.
Borland Silk Performer
Borland Silk Performer предлагает неограниченную масштабируемость для моделирования нагрузки любого размера. Кроме того, инструмент обеспечивает визуальную диагностику и стресс-тестирование с обнаружением паттернов. Как часть более крупной платформы (Silk Central), Silk Performer также включает в себя широкий спектр дополнительных возможностей.
Особенности:
- Кроссплатформенная поддержка.
- Интегрирован в Silk Central.
- Интегрируется с инструментами мониторинга и IDE.
Тип инструмента: Расширенный.
Что вам нужно знать: Borland является сильным конкурентом HP (хотя и предлагает такие же высокие цены) с мощной кроссплатформенной поддержкой и возможностями облачной загрузки.
CA Technologies Application Test
Инструмент Application Test автоматизирует тестирование, используя в том числе стратегию «shift left». В дополнение к тестированию производительности он позволяет выполнять функциональное и регрессионное тестирование. Инструмент поддерживает работу с мобильными устройствами.
Особенности:
- Обеспечение надёжной поддержки мэйнфреймов.
- Возможность повторного использования инфраструктуры и тестовых наборов LISA.
- Создание нагрузки на внутреннюю сеть с небольшим количеством ресурсов.
Тип инструмента: Расширенный.
Что вам нужно знать: CA Technologies в основном сосредотачивает свои усилия на тестировании настольных приложений и сложной инфраструктуры с использованием LISA.
HP LoadRunner, Performance Center & StormRunner
HP предлагает комбинацию из трёх инструментов для тестирования производительности и нагрузки. LoadRunner осуществляет комплексное нагрузочное тестирование с интерактивным моделированием и возможностями анализа первопричин, в то время как Performance Center позволяет повторно использовать накопленные методы и ресурсы для тестирования нескольких приложений. И LoadRunner, и Performance Center поддерживают непрерывное и мобильное тестирование. Наконец, StormRunner расширяет возможности тестирования в области SaaS.
Особенности:
- Надёжные и хорошо развитые инструменты.
- Поддерживает устаревшие и новые технологии.
- Позволяет повторно использовать тесты Unified Functional Testing.
Тип инструмента: Расширенный.
Что вам нужно знать: HP является лидером в области тестирования.
Цены: Стоимость использования LoadRunner/StormRunnerLoad составляет 0,56$ за день работы одного виртуального пользователя, но у них есть также бесплатные версии. Для уточнения информации посетите их страницу с расценками.
IBM Rational Performance Tester
Rational Performance Tester предлагает тестирование без выполнения кода и отчёты в режиме реального времени, а также инструменты анализа первопричин. Данный инструмент также сравнивает результаты тестирования с целями SLA, интегрируется с IBM Rational Quality Manager и включает в себя регистратор тестов.
Особенности:
- Надёжный и развитый инструмент.
- Поддерживает устаревшие и новые технологии.
- Позволяет повторно использовать тесты Rational Functional Tester.
Тип инструмента: Расширенный.
Что вам нужно знать: IBM Rational Performance Tester работает в облаке и предлагает поддержку веб-приложений и настольных компьютеров, но его мобильная поддержка крайне слаба.
Neotys NeoLoad
NeoLoad использует интуитивно понятный графический интерфейс для создания сценариев использования, идентификации целей и выполнения тестов. Он позволяет имитировать нагрузку локально или с помощью облачной платформы Neotys, отслеживает все серверы во время нагрузочного тестирования.
Особенности:
- Обеспечение сквозного тестирования.
- Кроссплатформенные возможности.
- Облачная и локальная поддержка.
Тип инструмента: Pure Play.
Что вам нужно знать: Neotys — это небольшое, но быстроразвивающееся решение с кроссплатформенной поддержкой (через NeoLoad) и возможностями постпродакшн-мониторинга (через NeoSense).
Parasoft Load Test
Parasoft Load Test обеспечивает тестирование производительности, нагрузки и параллелизма с возможностью имитации различных нагрузок и тестирования из разных мест. Load Test также может запускать другие тесты, ранее созданные в Parasoft.
Особенности:
- Поддержка устаревших приложений.
- Возможность повторного использования других тестов, созданных в Parasoft.
- Возможности мониторинга производительности.
Тип инструмента: Расширенный.
Что вам нужно знать: Parasoft позволяет повторно использовать тест-кейсы под нагрузкой и осуществляет мониторинг производительности. Он обеспечивает поддержку настольных и веб-приложений, но не способен взаимодействовать с облаком и мобильными приложениями.
Radview WebLOAD
Radview WebLOAD имитирует различные условия нагрузки для неограниченного числа пользователей и распределяет нагрузку на любое количество компьютеров. Кроме того, он может отслеживать производительность сервера и предлагает кроссплатформенную поддержку для веб-, настольных и мобильных устройств (через PerfectoMobile).
Особенности:
- Кроссплатформенная поддержка.
- Опенсорсная поддержка (поддерживает Selenium).
Тип инструмента: Pure Play.
Что вам нужно знать: Radview — новичок на рынке тестирования производительности. В настоящее время его позиции не очень хороши (рейтинг упал со 100 до 25).
Цены: Запросить цену можно здесь.
SmartBear LoadComplete
SmartBear LoadComplete — инструмент для нагрузочного, стрессового и масштабируемого тестирования, который работает как с HTML-сайтами, так и с многофункциональными интернет-приложениями. SmartBear LoadComplete может генерировать нагрузку с виртуальных машин, с локальных компьютеров или из облака. Он предлагает возможности записи и воспроизведения, визуальное программирование, распределённое нагрузочное тестирование и т.д.
Особенности:
- Возможность мониторинга производительности.
- Возможность легко развёртывать тесты как на рабочем столе, так и в облаке.
- Более низкая цена, чем у HP.
Тип инструмента: Расширенный.
Что вам нужно знать: LoadComplete — это основной продукт SmartBear и расширение TestComplete. Он предлагает веб-поддержку, облачную поддержку, но не имеет мобильных возможностей.
Цены: Тарифные планы начинаются от 230$ в год, имеется 5 уровней цен. Посмотреть цены здесь.
Soasta CloudTest
Soasta CloudTest предлагает непрерывное нагрузочное тестирование в любом масштабе с аналитикой в реальном времени. Данный инструмент также имеет встроенные возможности мониторинга и позволяет пользователям создавать тесты, используя данные на основе RUM и сценарии для конкретных приложений.
Особенности:
- Кроссплатформенная поддержка.
- Инновационный инструмент.
- Связь с мониторингом производительности.
Тип инструмента: Pure Play.
Что вам нужно знать: Soasta является крупнейшей компанией в своей области (на сегодняшний день финансовые возможности составляют более 75 миллионов долларов). Он обеспечивает кроссплатформенную поддержку и предлагает мониторинг производительности с помощью mPulse.
Цены: От 2500$ в год, есть два уровня цен. Посмотреть цены можно здесь.
eggPlant Performance
eggPlant Performance обеспечивает облачное моделирование распределённой нагрузки с элементами управления тестами и стандартными языками сценариев. Инструмент eggPlant Performance от TestPlant входит в расширенный ассортимент инструментов тестирования eggPlant.
Особенности:
- Кроссплатформенная поддержка.
- Возможность повторного использования функциональных тестов в качестве тестов производительности.
- Переход через различные слои приложений, включая пользовательский интерфейс, API и командную строку.
Тип инструмента: Расширенный.
Что вам нужно знать: eggPlant Performance, как расширение eggPlant Functional, поддерживает веб-, настольное и мобильное тестирование.
Цены: Посмотреть информацию о лицензировании и ценах можно здесь.
Инструменты управления тестированием
Управление тестированием — это развитый сегмент тестирования, который в настоящее время трансформируется в результате широкого внедрения Agile, DevOps и Test Driven. Большинство инструментов управления тестированием ориентированы на методологии Agile или Waterfall.
qTest Manager от Tricentis qTest
qTest Manager предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. qTest Manager управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Он интегрируется с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.
Особенности:
- Удобный интерфейс.
- Интеграция с JIRA, Jenkins, Rally и инструментами автоматизации.
- Поддержка ручного, исследовательского и автоматизированного тестирования — всё в одном месте.
Что вам нужно знать: qTest Manager — лидер на рынке инструментов управления тестами и единственная платформа, которая предлагает единый источник для ручного, исследовательского и автоматизированного тестирования.
SmartBear QAComplete
SmartBear QAComplete обеспечивает видимость процесса тестирования с возможностью управления, организации и составления отчётов. Данный инструмент предлагает готовые шаблоны или настраиваемые параметры рабочего процесса, возможность отслеживания тестов в пользовательских историях и возможность повторного использования в течение всего цикла тестирования. Он интегрируется с такими инструментами, как Jira, Selenium и SoapUI.
Особенности:
- Настраиваемый инструмент.
- Поддерживает различные интеграции.
Что вам нужно знать: SmartBear QAComplete предоставляет единое пространство для управления тестированием. Благодаря индивидуальной настройке он может работать как с Agile, так и с Waterfall.
Zephyr
Zephyr предназначен для создания, планирования, выполнения и отслеживания тестов. Он поддерживает структурированные и произвольные тесты (а также ручные и автоматизированные тесты) и интегрируется с мощнейшими инструментами, такими как JIRA, Confluence и Bugzilla.
Особенности:
- Обеспечение видимости в реальном времени.
- Возможность выполнения нескольких тестов одновременно.
Что вам нужно знать: Zephyr — ещё один «монстр» в области управления тестированием, ориентированный на малый и средний сегменты рынка.
Цены: Прочитать о том, как купить Zephyr, можно здесь.
Testuff
Testuff — инструмент управления SaaS-тестированием. Он поддерживает различные методологии тестирования и предлагает возможности управления на протяжении всего жизненного цикла тестирования. Testuff поддерживает автоматизированное тестирование, двустороннюю интеграцию с баг-трекерами и видеоотслеживание дефектов.
Особенности:
- Функция записи видео для отслеживания дефектов.
- Сравнительно невысокая цена.
- Удобство для пользователя.
Что вам нужно знать: Testuff — это инструмент SaaS, наиболее уникальной функцией которого является видеоотслеживание дефектов. Он предлагает интеграцию с трекерами ошибок и с инструментами автоматизации.
Цены: Тарифные планы начинаются с 27$ на пользователя в месяц. Подробную информацию о ценах можно найти здесь.
Инструменты управления тестами с открытым исходным кодом
Есть также несколько инструментов для управления тестированием с открытым исходным кодом. Если вы решили отдать предпочтение именно этой категории, рассмотрите следующие варианты: Trantula, Testopia, QABook, TestLink, XQual, TestMaster, Testitool.
Инструменты ity-тестирования
В этот раздел попали инструменты трёх подкатегорий, объединённых общим суффиксом английских названий — «ity». Они предназначены для тестирования:
- Безопасности (англ. — Security)
- Юзабилити, т.е. удобства использования (англ. — Usability)
- Совместимости (англ. — Compatibility)
Тестирование по принципу –ity представляет собой развивающийся сегмент, в котором, как правило, представлены дорогие специализированные инструменты. Эти инструменты постепенно эволюционируют, становятся проще в использовании и предлагают улучшенный сервис, что, несомненно, идёт на благо небольшим командам, которые ещё не могут вкладывать деньги в специализированные ресурсы.
Инструменты тестирования безопасности
Инструменты для тестирования безопасности обычно строятся вокруг конкретной платформы и/или технологии. Как правило, это дорогие специализированные инструменты, которые включают в себя тяжёлые сервисы. Вариантов с открытым кодом в этой области немного.
HP Fortify On Demand
HP Fortify On Demand — сервис с единой платформой для просмотра и управления рисками безопасности, разработки графиков тестирования безопасности и запуска проектов исправления. Fortify on Demand запускает автоматизированные тесты с полным аудитом результатов и включает поддержку SAST, DAST и IAST (благодаря добавлению более старого инструмента WebInspect), а также ограниченную поддержку MAST.
Особенности:
- Самый сильный набор комбинированных предложений с полной поддержкой на разных языках.
- Поддержка RASP.
Что вам нужно знать: HP, несомненно, является крупнейшей фигурой в сфере безопасности. Он позволяет работать с инструментами SAST, DAST, IAST и MAST.
Цены: От 2000$ за приложение. Запросить цены можно здесь.
Veracode
Veracode включает в себя инструменты для SAST, DAST, IAST и MAST. Его бинарный статический анализ ориентирован на Agile, а его инструменты DAST и IAST предлагают настоящий облачный хостинг и мониторинг периметра сети. Почти все его предложения рассчитаны на мобильные устройства.
Особенности:
- Самый мощный вариант для облачных и мобильных технологий.
- Интеграция с многочисленными инструментами отслеживания ошибок и контроля качества, такими как TFS.
- Поддержка RASP.
Что вам нужно знать: Veracode — крупнейшая компания в сфере безопасности, не имеющая собственных инструментов тестирования и SDLC.
IBM Application Security APPScan
APPScan предлагает единую консоль для тестирования, отчётности и политик. Он осуществляет статическое, динамическое и интерактивное тестирование безопасности. Инструмент статического тестирования IBM AppScan хорошо известен в области безопасности, хотя инструменты DAST используют сторонние решения, а инструменты IAST работают только с .Net и Java.
Особенности:
- Сильный в SAST.
- Включает в себя полный набор предложений.
Что вам нужно знать: IBM конкурирует с HP как с аналогичным полным сервисным предложением.
Цены: Тарифные планы начинаются с 10700$ за установку. Запросить цены можно здесь.
Инструменты тестирования удобства использования (юзабилити)
Инструменты юзабилити-тестирования, как правило, более типовые и предлагают простое развёртывание в приложениях. Ценность этих инструментов заключается в предоставлении экспертной оценки или оценки от сообщества пользователей.
UserTesting
Инструмент создаёт видео людей, использующих тестируемый сайт или приложение, и предоставляет отчёт, в котором выявляются основные проблемы. UserTesting объединяет пользователей из собственной сети или сети вашей компании, которые соответствуют вашей целевой аудитории.
Особенности:
- Сравнительно невысокая стоимость.
- Простота в использовании.
- Гибкое лицензирование.
- Большая сеть тестировщиков.
Что вам нужно знать: UserTesting фокусируется исключительно на юзабилити-тестировании сайтов и мобильных приложений. Его сеть пользователей и экспертов сильна и включает в себя истинных профессионалов в области UX. Хотя продукт традиционно был довольно слабым, он постепенно улучшается.
Цены: Тарифы на UserTesting начинаются с 99$ за видео. Посмотреть цены можно здесь.
Validately
Описание: Приложение позволяет тестировать живые сайты и анализировать результаты с помощью отчётов и видео. Validately облегчает тестирование (на ваших собственных клиентах или на тестировщиках, найденных приложением в сети) и позволяет вам общаться с тестировщиками вживую.
Особенности:
- Сравнительно невысокая стоимость.
- Простота в использовании.
- Возможность получить обратную связь перед кодированием, что позволяет сократить затраты и объём работы.
Что вам нужно знать: Validately обеспечивает обратную связь с пользователями на стадии, предшествующей написанию кода. Инструмент предназначен для взаимодействия пользователей с настольными, веб- и мобильными каркасами (не приложениями) и получения ответной реакции от них.
Цены: От 79$ в месяц, имеется три уровня цен. Посмотреть информацию о ценах на Validately можно здесь.
Инструменты тестирования совместимости
Ценность тестирования на совместимость основана на эффективном кросс-браузерном мобильном и веб-тестировании. Тестирование на совместимость легко провести вручную, но это отнимает много времени. Автоматизированные инструменты повышают эффективность этого процесса.
Browsera
Browsera предоставляет подробный отчёт о проблемах макета, что позволяет избежать длительного просмотра скриншотов, находит ошибки Javascript и тестирует динамические страницы. Browsera может также тестировать страницы, требующие входа в систему, и тестировать сайты целиком, что избавит вас от необходимости переходить от страницы к странице.
Особенности:
- Различия в точках расположения.
- Отсутствие необходимости тестировать сайты постранично.
- Тестирование динамических страниц и Javascript.
Что вам нужно знать: Browsera предлагает как бесплатные, так и корпоративные версии своего инструмента тестирования совместимости. Среди наиболее уникальных функций этого инструмента — возможность обнаружения различий макета в разных браузерах, выявление ошибок Javascript.
Browserling
Browserling создаёт интерактивные сеансы в режиме реального времени для кросс-браузерного тестирования. Он предлагает создание скриншотов, совместное использование экрана, поиск ошибок и видео. Предназначен Browserling только для веб-тестирования.
Особенности:
- Сравнительно невысокая цена.
- Не требуется установка.
- Возможность обнаружения ошибок Javascript.
- Тестирование динамических страниц.
Что вам нужно знать: Основанная в 2011 году компания Browserling, ориентирована только на веб-продукты и не поддерживает автоматизированное тестирование.
Цены: От 49$ в месяц, есть 3 уровня ценообразования. Посмотреть цены можно здесь.
Инструменты для тестирования настроек и инфраструктуры
Тестовые настройки и инфраструктура — это быстро меняющийся сегмент, что связано с изменениями тенденций в области мобильных устройств, веб-технологий (облачных), NoSQL и контейнеров, а также с появлением новых компаний.
Мы можем разбить эти инструменты тестирования на четыре подкатегории:
- Облачное тестирование
- Фермы мобильных устройств
- Управление тестовыми данными
- Управление средой
Облачное тестирование
Облачные инструменты тестирования представляют собой сеть виртуальных машин, в которой тестирование настольных компьютеров и сайтов может проводиться с меньшими затратами, что в результате позволяет экономить деньги организаций.
Sauce Labs
Sauce Labs позволяет осуществлять кросс-браузерное, мобильное и ручное тестирование, а также автоматизацию для параллельного тестирования как веб-, так и мобильных устройств. Sauce Labs использует туннельную технологию для шифрования трафика между отдельными тестами и облаком и предлагает доступ к сеансам удалённого рабочего стола во время тестов.
Особенности:
- Сравнительно невысокая стоимость.
- Совместимость с открытым исходным кодом.
- Дополнительные функции для ручного и кросс-браузерного тестирования.
- Непрерывная интеграция.
Что вам нужно знать: Sauce Labs предлагает дополнительные корпоративные возможности в расширенных подписках. В настоящее время он работает только с технологиями открытого исходного кода (Selenium, Appium и JS Unit Testing). Имеются функции ручного тестирования и сравнения браузеров.
Цены: От 19$ в месяц. Подробности можно узнать здесь.
HP StormRunner Load
Описание: HP StormRunner Load — инструмент для планирования, проведения и масштабирования веб- и мобильных тестирований. Он обеспечивает обнаружение аномалий и прогнозную аналитику в реальном времени. Кроме того, HP StormRunner Load поддерживает использование реальных мобильных устройств в облачном тестировании, а также тестовые записи.
Особенности:
- Поддержка гибких процессов разработки.
- Хорошая масштабируемость.
- Интеграция с другими инструментами тестирования HP.
Что вам нужно знать: HP StormRunner Load — это масштабируемое решение для гибкого облачного тестирования.
Цены: 0,56$ в день за одного виртуального пользователя, но есть также и бесплатная версия. Подробную информацию о ценах можно получить здесь.
IBM Smart Business Development and Test Cloud
Smart Business Development and Test Cloud — платформа, предназначенная для упрощения оценки, планирования, проектирования и тестирования частных облачных сред. По запросу IBM также предлагает физические и виртуализированные тестовые ресурсы.
Особенности:
- Поддержка для построения сложных тестовых сред.
- Автоматизированное управление настройками и конфигурацией.
- Интеграция с IBM CloudBurst.
Что вам нужно знать: IBM Smart Business Development and Test Cloud ориентирована больше на создание тестовых сред, чем на создание машин/браузеров для тестирования.
Borland Silk Central Connect
Silk Central Connect предлагает предварительно сконфигурированные кросс-браузерные тестовые среды в облаке и позволяет повторно использовать тестовые сценарии. Кроме того, для удобства сравнения Silk Central Connect предоставляет параллельные результаты кросс-браузерного тестирования, а также интегрируется с Silk Test.
Особенности:
- Поддержка коммерческой автоматизации (через Silk Test).
Что вам нужно знать: Silk Central — это корпоративная версия Sauce Labs. Как и Sauce Labs, он предлагает мобильную поддержку через эмуляторы. Однако он запускает только сценарии Silk Test.
Фермы мобильных устройств
Ферма мобильных устройств представляет собой сеть мобильных устройств для проведения тестирования. Она позволяет сэкономить на приобретении, управлении и обслуживании устройств. Все фермы мобильных устройств условно можно разделить на узкоспециализированные («чистые» инструменты — Pure Play Tools) и расширенные (Extension Tools). Каждый из этих двух типов инструментов имеет свои плюсы и минусы.
Инструменты Pure Play
Плюсы:
- Как правило, стоят дешевле
- Возникает меньше проблем в процессе приобретения и внедрения
- Обеспечивают более быстрое развитие с использованием лучших в своём классе инструментов
- Поддерживают больше интеграций и использование открытого исходного кода
Минусы:
- Требуются знания отдельных скриптов/языков для обслуживания
Расширенные инструменты
Плюсы:
- Допускается повторное использование прошлых сценариев автоматизации
- Используют знакомые языки
- Один поставщик может снабжать вас несколькими инструментами
Минусы:
- Медленная и менее сфокусированная разработка
- Закрытая экосистема, ограничивающая доступ к лучшим в своём классе инструментам
- Как правило, более дорогие и ориентированы на крупные организации
Ферма устройств от Amazon Web Service
AWS Device Farm обеспечивает автоматизированное тестирование на реальных мобильных устройствах в облаке AWS. С её помощью вы также можете вручную воспроизводить проблемы и использовать встроенные тестовые наборы, платформы с открытым исходным кодом или ручные тесты.
Особенности:
- Сравнительно невысокая цена.
- Широкие возможности выбора устройств.
- Поддержка открытого исходного кода.
- Дружественная к разработчику среда.
- Интеграция с AWS.
Тип инструмента: Pure Play.
Что вам нужно знать: Amazon выпустила Device Farm в качестве расширения Amazon Web Services в июле 2015 года. В том же 2015 году, но позже, она выпустила фреймворк автоматизации пользовательского интерфейса в дополнение к существующим интеграциям Calabash, Appium и Espresso. Этот фреймворк пока не пользуется популярностью, так как большинство пользователей всё ещё используют интеграции с открытым исходным кодом.
Цены: От 0,17$ за минуту использования устройств. Посмотреть цены можно здесь.
Borland Silk Mobile Testing
Для мобильного тестирования инструмент использует стратегию «shift left», предоставляя пользователю центр управления, предназначенный для непрерывных процессов. Также Silk Mobile Testing поддерживает кроссплатформенные автоматизированные тесты, поддерживает ручное или ознакомительное тестирование, предоставляет скриншоты, видео и отчёты о состоянии тестов. Silk Mobile Testing интегрируется с решениями от Borland Silk Performer и Silk Central.
Особенности:
- Кроссплатформенная поддержка.
- Интеграция с Silk Central.
Тип инструмента: Расширенный.
Что вам нужно знать: Borland предлагает инструменты тестирования корпоративного уровня, способные конкурировать с HP, однако они, как правило, дорогостоящие.
Experitest SeeTestCloud
SeeTestCloud предлагает инвентаризацию устройств, управление приложениями, пользователями и проектами для мобильных устройств, обеспечивает удалённый доступ и интегрируется с инструментами тестирования производительности, такими как HP LoadRunner и JMeter. Experitest предлагает как локальную, так и онлайн-версию SeeTestCloud.
Особенности:
- Высокая безопасность.
- Согласованная работа с компаниями, которые владеют собственными устройствами.
- Поддержка коммерческой автоматизации.
- Визуализация сети.
- Осуществление мониторинга устройств.
Тип инструмента: Расширенный.
Что вам нужно знать: Experitest SeeTestCloud — это локальное облако устройств, которое подключается к вашим доступным мобильным устройствам. Ещё Experitest предлагает SeeTestAutomation, которая интегрируется с HP UFT и LoadRunner, а также с некоторыми опенсорсными инструментами, такими как JMeter.
Цены: Тарифные планы начинаются с 2000$ в год. Посмотреть расценки можно здесь.
HP Mobile Center
HP Mobile Center предоставляет как реальные устройства, так и эмуляторы, которые поддерживают тестирование приложений и мониторинг в режиме реального времени. HP Mobile Center также позволяет управлять устройствами и разрешениями пользователей, осуществлять запись и воспроизведение взаимодействий, структурированное ручное или автоматизированное тестирование и оценку безопасности.
Особенности:
- Интеграция с HP UFT и LeanFT для улучшенного автоматизированного тестирования.
- Использование реальных устройств с опцией для эмуляторов.
Тип инструмента: Расширенный.
Что вам нужно знать: HP Mobile Center интегрируется с другими инструментами тестирования от HP, чтобы обеспечить более полное и всестороннее тестирование. Поддержка как реальных устройств, так и эмуляторов обеспечивает гибкость в тестировании.
Цены: Тарифные планы начинаются с 12000$ в год. Посмотреть подробности можно здесь.
Keynote Mobile Testing
Keynote Mobile Testing обеспечивает автоматизацию тестирования для реальных мобильных устройств. Он поддерживает модульное, сборочное, регрессионное, исследовательское и негативное тестирование. Кроме того, Keynote Mobile Testing позволяет создавать тесты с помощью сценариев или интеграций с опенсорсными фреймворками. Интегрируется с несколькими приложениями.
Особенности:
- Использование реальных мобильных устройств.
- Обеспечение поддержки новых устройств сразу после их выпуска.
- Интеграция с ведущими приложениями, включая Appium и Selenium.
Тип инструмента: Расширенный.
Что вам нужно знать: Keynote Mobile Testing позволяет проводить автоматизированное тестирование на самых разных устройствах. Инструмент поддерживает множество интеграций, благодаря чему он беспрепятственно работает с процессами гибкой методологии разработки.
Цены: От 180$ в месяц. Посмотреть расценки можно здесь.
Mobile Labs deviceConnect
Mobile Labs deviceConnect обеспечивает удалённое управление устройствами, отслеживание и мониторинг, а также управление пользователями и приложениями. Инструмент предлагает ручное и автоматизированное тестирование приложений (всё из своей частной облачной платформы тестирования).
Особенности:
- Высокая безопасность.
- Совместная работа с компаниями, которые владеют собственными устройствами.
Тип инструмента: Pure Play.
Что вам нужно знать: Mobile Labs deviceConnect позволяет пользователям подключать собственные устройства к частному облаку для функционального и автоматизированного тестирования или тестирования производительности. Для осуществления автоматизированного тестирования Mobile Labs сотрудничает исключительно с HP.
Perfecto Mobile Monitoring
Описание: Perfecto Mobile Monitoring предлагает облачное автоматизированное тестирование, мониторинг юзабилити и производительности, а также визуальные отчёты и интеграцию с различными средами автоматизации, включая опции с открытым исходным кодом и HP UFT.
Особенности:
- Высокая безопасность.
- Широкая доступность устройств.
- Поддержка различных фреймворков автоматизации.
- Тестирование производительности.
Тип инструмента: Расширенный.
Что вам нужно знать: Perfecto Mobile предлагает комбинацию частных и общих/облачных устройств.
Цены: Тарифные планы начинаются от 99$ в месяц. Запросить цену можно здесь.
Sauce Labs
Sauce Labs обеспечивает автоматизированное тестирование с помощью эмуляторов, симуляторов и реальных устройств, осуществляя нативные, гибридные и мобильные веб-тесты. Этот инструмент основан на стандартах с открытым исходным кодом и работает как с iOS-, так и с Android-устройствами.
Особенности:
- Сравнительно невысокая стоимость.
- Совместимость с открытым исходным кодом.
- Дополнительные функции для ручного и кросс-браузерного тестирования.
- CI-интеграция.
Тип инструмента: Pure Play.
Что вам нужно знать: Sauce Labs предлагает продукт с дополнительными корпоративными возможностями в расширенных подписках. В настоящее время он работает только с опенсорсными технологиями, такими как Selenium, Appium и JS Unit Testing. Это единственный мобильный инструмент тестирования, который поддерживает автоматизацию для нативного, гибридного и мобильного веб-тестирования на всех типах устройств (реальные, эмуляторы и симуляторы).
Цены: От 19$ в месяц. Подробности вы найдёте здесь.
Smart Software Testing Solutions от pCloudy
Описание: pCloudy поддерживает непрерывную разработку и тестирование на реальных устройствах, предлагает тестирование местоположения, функциональность браузера HTML5 и возможности отладки.
Особенности:
- Согласуется с практикой непрерывного развития.
- Предлагает уникальную функцию отладки.
- Использует реальные устройства.
Тип инструмента: Расширенный.
Цены: От 20$ за 5 часов работы. Посмотреть расценки можно здесь.
Soasta TouchTest
Soasta TouchTest обеспечивает автоматизированное тестирование и возможность запуска тестов на нескольких устройствах одновременно. Данный инструмент также предоставляет доступ к новейшим устройствам и показателям производительности мобильных устройств.
Особенности:
- Поддержка автоматизированного тестирования.
- Доступ к показателям производительности.
- Тестирование на нескольких устройствах одновременно.
Тип инструмента: Расширенный.
Что вам нужно знать: Soasta TouchTest интегрируется с Soasta CloudTest и Soasta mPulse для кроссплатформенного веб-тестирования и мониторинга производительности.
Цены: Имеется 3 уровня цен. Запросить цены можно здесь.
TestPlant eggCrate
TestPlant eggCrate может стать полноценной лабораторией для тестирования устройств при подключении к сетям eggBox и eggPlant от компании TestPlant.
Особенности:
- Сравнительно невысокая стоимость.
- Совместная работа с компаниями, которые владеют собственными устройствами.
Тип инструмента: Расширенный.
Что вам нужно знать: TestPlant eggCrate — это мобильное решение для тестирования, которое вы можете подключить к существующим мобильным устройствам. В настоящее время eggCrate работает только с функциональными тестами eggPlant и не предоставляет поддержку открытого исходного кода или нагрузочного тестирования.
Цены: Просмотреть информацию о лицензировании и ценах можно здесь.
Инструменты для управления тестовыми данными
Инструменты управления тестовыми данными автоматизируют процесс развёртывания «золотых» тестовых данных в базах. Когда-то внедрение баз данных с открытым исходным кодом сильно встряхнуло рынок, и сейчас он снова сталкивается с изменениями из-за роста количества хранилищ NoSQL. Давайте рассмотрим основные инструменты для управления тестовыми данными.
Informatica Test Data Management (TDM)
Informatica TDM предлагает обнаружение и классификацию конфиденциальных данных, маскировку данных, генерацию тестовых данных, ускорители приложений, отчёты по мониторингу и соответствию требованиям. Informatica TDM может быть развёрнут локально, в облаке или с использованием модели гибридного облака.
Особенности:
- Самый мощный автономный набор инструментов.
- Предоставление набора других инструментов данных.
- Широкая партнёрская сеть интеграций.
Что вам нужно знать: Informatica предлагает лучшее в своём классе решение в области безопасности данных и управления ими. Его решение для управления тестовыми данными предлагает постоянную маскировку данных, генерацию тестовых данных, подмножество данных, а также возможности облака и хранения.
CA Technologies Test Data Manager
Test Data Manager от CA Technologies — ориентированное на тестирование и полностью автоматизированное решение, созданное для повторного использования. CA Technologies Test Data Manager обеспечивает генерацию синтетических данных, маскировку данных, поднабор данных, анализ покрытия, хранилище тестовых данных и виртуализацию. Инструмент ориентирован на Agile модель непрерывной доставки.
Особенности:
- Самый мощный интегрированный набор инструментов.
- Широкий набор инструментов для виртуализации и разработки приложений.
Что вам нужно знать: CA Technologies уделяет большое внимание управлению тестовыми данными в части, касающейся DevOps и автоматизации. Его Test Data Manager, появившийся в результате приобретения GridTools в 2015 году, обеспечивает маскировку данных и генерацию тестовых данных.
HP Test Data Management
HP Test Data Management извлекает релевантные данные для создания производственной тестовой среды путём построения модели данных и правил подмножеств с графическим пользовательским интерфейсом. HP Test Data Management также маскирует конфиденциальные данные и предоставляет возможность извлекать данные по требованию.
Особенности:
- Мощный дополнительный набор инструментов с HP QC и UFT.
Что вам нужно знать: HP в последнее время не добилась никакого прогресса в разработке своего решения для управления тестовыми данными. HP Test Data Management поддерживает генерацию и маскировку данных, но не имеет облачных возможностей и не поддерживает ни одну из новых технологий баз данных.
IBM InfoSphere Optim
IBM InfoSphere Optim использует готовые рабочие процессы и сервисы для непрерывного тестирования и гибкой разработки. IBM InfoSphere Optim упрощает создание производственных сред, обеспечивает нагрузочное тестирование с помощью интеграций с Rational Test Workbench, а также позволяет маскировать данные и разрабатывать/применять политику управления тестовыми данными.
Особенности:
- Обеспечивает тесную интеграцию с инструментами тестирования IBM.
- Работает в предпроизводственной и производственной средах.
- Интегрируется с IBM хостингом.
Что вам нужно знать: IBM получил возможность управлять тестовыми данными в 2005 году благодаря приобретению Ascential Software. Его решение для управления тестовыми данными InfoSphere Optim поддерживает маскировку данных, поднаборы данных и генерацию данных. Также продукт интегрируется с Rational Test Workbench.
Delphix Engine и Data Masking
Delphix Engine — это механизм виртуализации, который оптимизирует доставку данных, сжимает и создаёт виртуальные копии производственных данных, фиксирует изменения на уровне транзакций. Он может использоваться как локально, так и в облаке. Delphix Data Masking работает вместе с Delphix Engine, обеспечивая надёжную маскировку данных путём замены конфиденциальных данных фиктивными данными.
Особенности:
- Более гибкое решение с поддержкой новых технологий и ориентацией на высокотехнологичное пространство.
Что вам нужно знать: Delphix — одно из самых молодых решений в области управления тестовыми данными. Несмотря на это, с момента своего основания в 2008 году он добился больших успехов. Совместимые с AWS инструменты Delphix Engine и Data Masking поддерживают маскировку данных, поднабор данных и генерацию данных.
Инструменты для управления средой
Инструменты управления средой автоматизируют процесс развёртывания программного обеспечения в тестовой или промежуточной среде. С развитием DevOps эти инструменты приобретают всё большую важность. Docker, Puppet и Chef проложили путь к новым, более дешёвым и лучшим решениям для управления средой.
Plutora Test Environment Manager (TEMS)
Plutora TEMS — инструмент на основе SaaS, позволяющий управлять как автономными, так и интегрированными средами на протяжении всего процесса. Plutora TEMS включает в себя механизм доступности и распределения среды, процессы управления для выявления и исправления изменений в тестовых средах и интеграции с несколькими ведущими инструментами. В дополнение к планированию и настройке среды, он также обеспечивает прогнозирование затрат.
Особенности:
- Предоставляет возможности на протяжении всего жизненного цикла тестирования.
- Отслеживает версии конфигурации и изменения среды.
Что вам нужно знать: Plutora TEMS — это комплексный инструмент тестирования, который предлагает множество возможностей на протяжении всего жизненного цикла тестирования, включая аудит и управление, а также настраиваемые процессы управления.
TEMS Omnium
TEMS Omnium — инструмент SaaS, предоставляющий единый источник для версий сборки во всех средах. Omnium позволяет собирать, систематизировать и идентифицировать шаблоны использования и планирования для приложений и ИТ-сред. Он может быть развёрнут локально или через облако. Продукт доступен в двух версиях: Omnium Light и Omnium Enterprise.
Особенности:
- Поддерживает несколько интеграций, в том числе с открытым исходным кодом.
Что вам нужно знать: TEMS Omnium доступен в двух версиях, соответствующих разным уровням потребностей. Его самой уникальной особенностью является широкий спектр интеграций с инструментами DevOps и Test Ops.
Цены: Тарифные планы начинаются с 55$ в месяц. Посмотреть цены можно здесь.
Инструменты мобильного тестирования
Мобильное тестирование становится всё более важным, поскольку мобильные устройства используются сегодня почти повсеместно. С учётом разнообразия типов приложений (нативные, гибридные, мобильные веб-версии) и операционных систем тестирование мобильных приложений может оказаться сложным делом. Инструменты мобильного тестирования используют автоматизированные среды тестирования, чтобы упростить этот процесс.
Keynote DeviceAnywhere
Keynote DeviceAnywhere предлагает для мобильного тестирования реальные устройства, включая телефоны и планшеты. DeviceAnywhere является частью более крупного инструмента Mobile Testing от Keynote, который обеспечивает автоматизацию тестирования и поддерживает модульное, регрессионное, исследовательское и негативное тестирование.
Особенности:
- Использует реальные мобильные устройства
- Обеспечивает поддержку новых устройств сразу после их выпуска.
- Интегрируется с ведущими приложениями, включая Appium и Selenium.
- Предлагает различные тарифные планы.
Что вам нужно знать: Keynote DeviceAnywhere позволяет проводить автоматизированное тестирование на самых разных устройствах и поддерживает множество интеграций, благодаря чему инструмент беспрепятственно работает с Agile-процессами.
Цены: Тарифные планы начинаются с 200$ за проект. Посмотреть цены можно здесь.
Appium
Описание: Appium — фреймворк с открытым исходным кодом, предназначенный для автоматизации мобильного тестирования. Он использует протокол WebDriver для поддержки тестирования приложений iOS и Android. Appium работает с нативными, гибридными и мобильными веб-приложениями. Данный инструмент поддерживает различные языки программирования.
Особенности:
- Использование как реальных устройств, так и эмуляторов.
- Поддержка всех платформ тестирования, инструментов и языков.
- Кроссплатформенная поддержка.
Что вам нужно знать: Appium — это опенсорсный фреймворк, позволяющий автоматизировать тестирование нативных, гибридных или мобильных веб-приложений для iOS и Android. Не требует модификации кода и поддерживает тестирование на любом языке.
Selendroid
Описание: Selendroid обеспечивает автоматизацию тестирования для нативных, гибридных и мобильных веб-приложений (только для устройств Android). Selendroid построен на базе Selenium и API WebDriver. Он не требует каких-либо изменений кода для тестирования приложений и предлагает встроенный инспектор для упрощения разработки тест-кейсов.
Особенности:
- Использование как реальных устройств, так и эмуляторов.
- Совместимость с протоколом JSON Wire и Selenium 3 Ready.
- Интеграция с Selenium Grid для масштабирования и параллельного тестирования.
Что вам нужно знать: Selendroid предлагает автоматизированное тестирование для нативных, гибридных или мобильных веб-приложений для Android. Он поддерживает несколько целевых API и может быть расширен во время выполнения.
ios-driver
ios-driver обеспечивает автоматизацию тестирования нативных, гибридных и мобильных веб-приложений (только для устройств iOS). Он использует Selenium и API WebDriver. Для тестирования приложений не требуется никаких изменений кода.
Особенности:
- Использование эмуляторов, с поддержкой реальных устройств, запускаемых в следующем выпуске.
- Совместимость с протоколом JSON Wire Protocol.
- Интеграция с Selenium Grid для масштабирования и параллельного тестирования.
Что вам нужно знать: ios-driver предлагает автоматизированное тестирование нативных, гибридных или мобильных веб-приложений для iOS. Он не требует джейлбрейка устройств и может использоваться как часть Selenium Grid для управления фермой устройств или симуляторов.
Цены: ios-драйвер можно скачать бесплатно.
Инструменты отслеживания ошибок
Инструменты отслеживания ошибок упрощают процесс выявления ошибок в программном обеспечении, позволяют управлять ими и создавать отчёты. Эти инструменты упрощают совместную работу, обеспечивая согласованность по всем направлениям, особенно когда альтернативой является электронная таблица.
Bugzilla
Bugzilla — опенсорсный и регулярно развивающийся инструмент отслеживания ошибок. Bugzilla предлагает совместную работу с членами команды, интегрированные возможности электронной почты и многое другое.
Особенности:
- Автоматическое обнаружение дубликатов ошибок.
- Поддержка административных возможностей, включая настройки безопасности.
- Возможность планировать отчёты и исправлять ошибки по электронной почте.
- Бесплатный инструмент.
Что вам нужно знать: Bugzilla — это бесплатный инструмент, который предлагает множество возможностей для отслеживания ошибок и совместной работы пользователей. Он находится в стадии активной разработки.
Цены: Бесплатно.
MantisBT
MantisBT — баг-трекер с открытым исходным кодом, который позволяет настраивать поля ошибок, уведомления и рабочие процессы. MantisBT позволяет получать уведомления по электронной почте и контролировать доступ на основе ролей, что облегчает совместную работу.
Особенности:
- Простота в использовании.
- Веб- и мобильные интерфейсы.
- Бесплатный инструмент с возможностью платного хостинга.
Что вам нужно знать: MantisBT — простой, но мощный опенсорсный инструмент для отслеживания ошибок. Это бесплатное решение предлагает множество плагинов для расширения его функциональности.
Цены: Бесплатно.
Atlassian JIRA
Atlassian JIRA, как часть более крупного инструмента управления инцидентами, обеспечивает отслеживание ошибок. JIRA предлагает возможности планирования, отслеживания, выпуска и отчётности. При этом он поддерживает как пользовательские, так и готовые рабочие процессы. Интегрируется с различными инструментами тестирования и надстройками, доступными через Atlassian Marketplace.
Особенности:
- Обеспечение гибкой отчётности и планирования портфеля.
- Интеграция с инструментами разработчика и более 1000 дополнений.
- Варианты развёртывания облаков, серверов и центров обработки данных.
Что вам нужно знать: JIRA обеспечивает отслеживание ошибок наряду с множеством других возможностей управления инцидентами, которые могут расширить его использование за пределы разработки программного обеспечения. Это готовое к использованию решение, которое поддерживает широкий спектр интеграций.
Цены: Тарифные планы начинаются с 10$ на пользователя, имеется 9 ценовых уровней. Посмотреть цены можно здесь.
FogCreek FogBugz
FogCreek FogBugz, являющийся частью более крупного инструмента трекинга и совместной работы, обеспечивает отслеживание ошибок. Среди доступных функций FogBugz — управление задачами, отслеживание времени, интеллектуальное планирование, поддержка электронной почты, совместная работа с документами и отчёты о сбоях. Он также помогает управлять гибкой разработкой, проводить анализ и управлять кодом.
Особенности:
- Предлагает облачные или локальные варианты развёртывания.
- Массовое редактирование выпуска.
- Поддержка пользовательских рабочих процессов, типов обращений и статусов.
- Автоматические сообщения об ошибках.
Что вам нужно знать: FogBugz обеспечивает отслеживание ошибок, а также обладает множеством других функций, которые расширяют его возможности за пределы разработки программного обеспечения.
Цены: Тарифные планы начинаются с 20$ в месяц. Посмотреть тарификацию можно здесь.
Тестирование ниш
Нишевые категории формируются для решения новых проблем, создаваемых Agile, Mobile, Cloud, DevOps и т.д. Основные сегменты в этой области:
- Тестовая отчётность
- Логирование/отладка
- Массовое тестирование
- Управление бета-версией
Инструменты отчётов о тестах
Подобные инструменты централизуют и стандартизируют тестовую отчётность, получаемую от независимых инструментов, соединяя Agile/Waterfall, кроссплатформенные, ручные и автоматизированные тестовые метрики. Благодаря правильным инструментам отчётности о тестировании команды могут отказаться от электронных таблиц и начать получать информацию о прогрессе, состоянии и качестве тестирования программного обеспечения в режиме реального времени.
qTest Insights by QASymphony
qTest Insights предоставляет бизнес-аналитику для тестовых метрик и отчётов. Он предлагает группам единый источник для управления и анализа метрик. Инструмент включает в себя детализацию отчётов, настраиваемую панель мониторинга, визуальные тепловые карты и интерактивные диаграммы.
Особенности:
- Обеспечение точной визуализации данных в режиме реального времени.
- Интеграция с другими инструментами тестирования QASymphony, а также с решениями сторонних производителей.
Что вам нужно знать: Недавно QASymphony обновил свой инструмент отчётности qTest, и в результате появился qTest Insights 2.0. Благодаря этой модернизации появились уникальные функции, улучшающие визуализацию данных и предоставляющие более точную информацию в режиме реального времени и в удобном формате.
Testuff
Testuff — инструмент управления тестированием SaaS, поддерживающий различные методологии тестирования, предлагающий возможности управления тестированием на протяжении всего жизненного цикла и поддерживающий автоматическое тестирование. Testuff предлагает отчёты о дефектах, в том числе и видео-трекинг дефектов.
Особенности:
- Функция записи видео для отслеживания дефектов.
- Сравнительно невысокая цена.
- Удобство для пользователя.
Что вам нужно знать: Testuff ориентирован не только на отчёты о тестировании. Скорее, это инструмент управления тестами, который включает в себя отчёты о дефектах. Также он предлагает множество интеграций с баг-трекерами и несколько интеграций с инструментами автоматизации.
Логирование/отладка
Средства логирования и отладки собирают информацию о технических и функциональных ошибках в предпроизводственной и производственной средах. Производственное логирование в основном полезно в мобильных и облачных приложениях.
QASymphony qTest eXplorer
QASymphony qTest eXplorer осуществляет исследовательское, сессионное и ручное тестирование на разных платформах, автоматически записывая сеансы тестирования и документируя дефекты. QASymphony qTest eXplorer интегрируется с ведущими Agile ALM, включая Rally, JIRA и VersionOne, что способствует улучшению представления ошибок и проблем.
Особенности:
- Поддержка глубокого исследования на наличие ошибок.
- Централизация тестовой документации.
- Интеграция с ведущими Agile ALM.
- Возможность редактирования записанных сессий.
Что вам нужно знать: QASymphony qTest eXplorer устраняет необходимость ручного захвата экрана и документирования, автоматизируя весь процесс. Автоматизация, а также интеграция с ведущими Agile ALM позволяют оптимизировать процессы, проводить более глубокие исследования ошибок и более надёжную документацию.
HP Sprinter
HP Sprinter фиксирует действия пользователя во время ручного исследовательского тестирования и обеспечивает запись для точного воспроизведения ошибок. HP Sprinter также предоставляет автоматизированные сканеры дефектов для определённых условий, таких как зеркальное тестирование для запуска тестов на нескольких машинах и внедрение данных, чтобы исключить необходимость повторного ручного тестирования.
Особенности:
- Полная функциональность.
- Возможность автоматизации.
- Интеграция с другими инструментами тестирования HP.
- Сравнительно невысокая стоимость (бесплатно с HP QC/ALM).
Что вам нужно знать: HP Sprinter был выпущен в 2011 году как часть HP QC/ALM Premium Edition. Помимо захвата скриншотов и видео, HP Sprinter предоставляет возможности для автоматизации тестирования, внедрения данных и многого другого.
Instabug
Описание: Instabug, ориентированный только на мобильные приложения, обеспечивает обратную связь внутри приложения и создание отчётов об ошибках, а также позволяет вести прямой чат с бета-тестировщиками непосредственно внутри приложения. Instabug также предлагает отчёты о сбоях, автоматизацию рабочих процессов, десятки возможностей интеграции и единую панель управления для отчётов об ошибках и их исправления.
Особенности:
- Предлагает мобильную функциональность.
- Хорошо интегрируется со сторонними инструментами, такими как Jira и ZenDesk.
- Невысокая стоимость.
Что вам нужно знать: Выпущенный в 2013 году Instabug фокусируется исключительно на мобильных приложениях и предлагает расширенные функции, такие как чат с бета-пользователями и аналитика сбоев.
Цены: Тарифные планы начинаются с 49$ в месяц. Посмотреть подробности можно здесь.
TestFairy
Описание: TestFairy предоставляет видеозапись, журналы и отзывы пользователей исключительно для мобильных приложений iOS и Android. TestFairy также предлагает распространение приложений, отчёты о сбоях и страницы сообщества.
Особенности:
- Обеспечение надёжной регистрации данных (включая память, уровень сигнала и многое другое).
- Возможность запуска приложения.
Что вам нужно знать: Выпущенный в 2013 году TestFairy сравним с Instabug, поскольку он также ориентирован исключительно на мобильные устройства. Однако, в отличие от Instabug, TestFairy больше фокусируется на сообщениях об ошибках, чем на управлении ошибками.
Цены: От 79$ за месяц использования. Посмотреть цены можно здесь.
Browserling
Browserling предоставляет интерактивные сеансы в режиме реального времени для кросс-браузерного адаптивного тестирования и SSH-туннели для локального тестирования. Browserling предлагает скриншоты и видео, совместное использование экрана и поиск ошибок. Предназначен он только для веб-тестирования.
Особенности:
- Невысокая цена.
Что вам нужно знать: Основанный в 2011 году Browserling ориентирован только на веб и не поддерживает автоматическое тестирование.
Цены: Тарифные планы начинаются с 19$ за месяц. Посмотреть цены можно здесь.
BrowserStack
BrowserStack обеспечивает тестирование ряда устройств и браузеров, а также локальное тестирование для разработки и внутренних сайтов. Все тестирования проводятся на реальных устройствах и браузерах, а не на виртуальных машинах.
Особенности:
- Мобильная и веб-поддержка, а также поддержка ручного и автоматического тестирования.
- Локальная поддержка тестирования сайтов.
- Надёжные SDK для автоматизации интеграции.
Что вам нужно знать: Основанный в 2011 году BrowserStack позволяет проводить тестирование как в интернете, так и на реальных мобильных устройствах.
Цены: Тарифные планы начинаются с 29$ в год. Посмотреть цены можно здесь.
CrossBrowserTesting
CrossBrowserTesting при помощи интерактивной лаборатории тестирования обеспечивает тестирование в режиме реального времени на реальных браузерах и мобильных устройствах. Данный инструмент предлагает автоматические скриншоты и сравнение скриншотов, тесты Selenium и локальные тесты.
Особенности:
- Мобильная и веб-поддержка, а также поддержка ручного и автоматизированного тестирования.
- Развивающаяся интеграция с комплексным решением для тестирования SmartBear.
- Невысокая цена.
- Обеспечение локальной поддержки тестирования сайта.
Что вам нужно знать: SmartBear приобрёл CrossBrowserTesting в 2016 году. Сам по себе CrossBrowserTesting позволяет проводить тестирование как в интернете, так и на реальных мобильных устройствах.
Цены: От 29$ за месяц использования. Страница с ценами находится здесь.
Массовое тестирование (Краудтестинг)
Инструменты массового тестирования используют «толпу» для помощи в тестировании программного обеспечения через веб-платформы. Массовое тестирование снижает общую стоимость рабочей силы, а также стоимость доступа к специализированным устройствам, сетям и наборам навыков.
Сообщества, участвующие в массовом тестировании, могут быть управляемыми или неуправляемыми. Управляемое сообщество — сообщество, в котором взаимодействием с «толпой» управляет поставщик. Эти сообщества минимизируют усилия заказчика и предоставляют услуги гораздо более высокого качества, но стоят они дороже. Неуправляемое сообщество — это то, где взаимодействием с толпой управляет сам заказчик. Такой вариант требует больше усилий от вашего бизнеса, но обходится дешевле.
Applause
Applause обеспечивает массовое тестирование для исследовательского тестирования, тестирования доступности, безопасности, юзабилити, локализации, а также нагрузочного тестирования. Applause опирается на сеть из более 250 000 профессиональных тестировщиков по всему миру.
Особенности:
- Обширная сеть тестировщиков.
- Предлагает как управляемые, так и неуправляемые сообщества.
Тип сообщества: Управляемое и неуправляемое.
Что вам нужно знать: Applause — крупнейшая, хорошо зарекомендовавшая себя и имеющая обширную базу тестировщиков платформа для массового тестирования. В настоящее время она предлагает как управляемые, так и неуправляемые сообщества, но намечается тенденция перехода к более управляемым предложениям премиум-класса.
Цены: Узнать о расценках можно здесь.
Bugcrowd
Bugcrowd обеспечивает массовое тестирование безопасности приложений с использованием сети из более 28 000 тестировщиков. Bugcrowd использует программу «баунти», чтобы стимулировать тестировщиков находить больше ошибок.
Особенности:
- Способен обнаруживать сильные дефекты.
- Предлагает квалифицированное тестирование безопасности и проникновения.
Тип сообщества: Неуправляемое.
Что вам нужно знать: Bugcrowd специализируется на поиске небольшого количества критических ошибок безопасности с помощью системы «баунти», которая поощряет более опытных тестировщиков.
Crashalytics
Crashalytics предназначен для предоставления расширенных отчётов о сбоях для приложений iOS и Android. Это достаточно лёгкий продукт, не создающий большой нагрузки на сеть.
Особенности:
- Лёгкая интеграция с приложениями, которые требуют тестирования.
- Обновления в режиме реального времени.
- Бесплатно для большинства случаев использования.
Что вам нужно знать: Crashalytics сообщает о сбоях в мобильных приложениях в режиме реального времени. Он был приобретён Twitter в 2013 году.
Цены: Это программное обеспечение является бесплатным.
Crowdar
Crowdar предоставляет управляемые сообщества, которые предлагают функциональное тестирование и тестирование производительности, а также управление тестированием и автоматизацию тестирования.
Особенности:
- Комплексные услуги тестирования.
- Конкурентное ценообразование.
Тип сообщества: Управляемое.
Что вам нужно знать: В основном Crowdar выполняет мелкомасштабные работы, предоставляя комплексные услуги тестирования через назначенного сотрудника.
CrowdSourced Testing
CrowdSourced Testing обеспечивает функциональное тестирование, тестирование локализации и юзабилити для сайтов, мобильных приложений (iOS, Android и Windows), видеоигр и программного обеспечения. Он использует глобальную сеть из более 45 000 профессиональных тестировщиков со средним опытом работы более 6 лет.
Особенности:
- Сеть опытных тестировщиков.
- Обеспечение тестирования для широкого спектра потребностей (мобильные приложения, сайты, программное обеспечение, видеоигры).
Тип сообщества: Управляемое.
Что вам нужно знать: CrowdSourced Testing предлагает функциональное тестирование и тестирование юзабилити с упором на UX и тестирование локализации.
Цены: От 49$ за платформу. Посмотреть цены можно здесь.
Upwork
Описание: Upwork предоставляет большую сеть фрилансеров для любого количества требований к тестированию. Upwork — это не сообщество, специализирующееся на тестировании, но оно может похвастаться большой сетью фрилансеров. С помощью Upwork компании публикуют описание работы, фрилансеры подают заявки, и компании могут выбирать фрилансера на основе таких факторов, как навыки, проектное предложение и цены.
Особенности:
- Крупнейшая сеть фрилансеров, специализирующихся на тестировании, маркетинге и т.д.
Тип сообщества: Неуправляемое.
Что вам нужно знать: Upwork (ранее Elance-Odesk) обладает сетью из более 3 000 000 000 фрилансеров. Лишь небольшая часть из них специализируется на тестировании программного обеспечения. Тем не менее Upwork до сих пор входит в число крупнейших сетей фрилансеров.
LionBridge
LionBridge предлагает управляемые и традиционные QA-сервисы, а также тестирование мобильных приложений и игр. LionBridge использует как лабораторное автоматизированное тестирование, так и практическое тестирование местоположения.
Особенности:
- Обширная сеть тестировщиков.
Тип сообщества: Управляемое.
Что вам нужно знать: LionBridge предлагает сеть из более 140 000 краудсорсеров, однако только часть этих людей являются тестировщиками.
MyCrowd
Описание: MyCrowd позволяет проводить массовое функциональное и исследовательское тестирование сайтов и мобильных приложений, а также шаблонное тестирование электронной почты. MyCrowd имеет сеть из 25000 тестировщиков из 40 стран.
Особенности:
- Предлагает индивидуальные решения.
- Обеспечивает тестирование мобильных устройств и сайтов.
Тип сообщества: Неуправляемое.
Что вам нужно знать: MyCrowd предоставляет относительно небольшое сообщество тестировщиков, при этом уделяет основное внимание тестированию сайтов и мобильных приложений.
Цены: Тарифные планы начинаются с 23$ в час. Узнать подробности можно здесь.
passbrains
Passbrains обеспечивает массовое тестирование совместимости, функциональности, локализации, нагрузки, производительности, юзабилити и безопасности. Он предлагает доступ к сообществу, созданному частной компанией, или к сообществу passbrains, где тестировщики отобраны на основе многочисленных факторов, включая навыки и местоположение.
Особенности:
- Хорошо зарекомендовал себя.
- Имеет большую базу талантливых тестировщиков со всего мира.
- Предоставляет полный набор решений для управляемого тестирования.
Тип сообщества: Управляемое.
Что вам нужно знать: Passbrains даёт возможность осуществлять крауд-тесты для широкого спектра потребностей.
Цены: Тарифные планы начинаются с 990€. Узнать подробности можно здесь.
PeoplePerHour
PeoplePerHour — это сеть фрилансеров, включая тестировщиков программного обеспечения. PeoplePerHour позволяет компаниям размещать вакансии и проверять соискателей или искать фрилансеров напрямую, основываясь на навыках, ставках и т.д.
Особенности:
- Широкий выбор фрилансеров, готовых выполнить тестирование для обеспечения качественного приложения.
Тип сообщества: Неуправляемое.
Что вам нужно знать: PeoplePerHour — посредник в поиске фрилансеров. Предоставляет гарантированно хороших тестировщиков, но проектами не управляет.
Revolution IT
Revolution IT обеспечивает управляемое краудсорсинговое тестирование облачных, веб, мобильных и игровых приложений с целью проверки их функциональности, удобства использования, совместимости и безопасности. Revolution IT — австралийская компания со 100 000 штатом тестировщиков по всему миру. Она предлагает интеграцию с различными инструментами тестирования, такими как JIRA и Quality Center, а также совместную работу с HP AppPulse.
Особенности:
- Интегрируется с различными инструментами тестирования.
- Обеспечивает видимость хода выполнения теста в режиме реального времени.
Тип сообщества: Управляемое.
Что вам нужно знать: Revolution IT предоставляет множество возможностей для массового тестирования и интеграции.
TestFairy
TestFairy проводит массовое тестирование исключительно мобильных iOS- и Android-приложений с помощью видеозаписей, лог-журналов и отзывов пользователей. TestFairy также предлагает отчёты о сбоях и страницы сообщества.
Особенности:
- Интеграция с JIRA, GitHub, NetBeans и другими инструментами отслеживания ошибок.
Тип сообщества: Управляемое.
Что вам нужно знать: TestFairy предоставляет видеозахват всего тестирования, включая статистику.
Цены: Тарифные планы начинаются с 79$ за месяц. Посмотреть цены можно здесь.
Topcoder
Предоставляет краудсорсинг для проектирования и создания прототипов, разработки приложений, алгоритмов и аналитики, а также модернизации приложений. Topcoder может похвастаться сообществом из 1 000 000 000 пользователей.
Особенности:
- Хорошо налаженная и разветвлённая сеть.
- Предлагает квалифицированное тестирование безопасности и проникновения.
Тип сообщества: Управляемое.
Что вам нужно знать: Topcoder имеет большую, хорошо налаженную сеть тестировщиков, хотя тестирование — не единственное, на чём он фокусирует своё внимание.
Новые инструменты тестирования программного обеспечения
Эти инструменты пока ещё не совсем готовы к тому, чтобы попасть в наш список, но они определённо заслуживают вашего внимания.
- Froglogic (графический интерфейс и покрытие кода)
- Flood.io (тестирование производительности и нагрузки)
- API Fortress (тестирование API)
- Codified Security (тестирование безопасности)
- Browsershots (тестирование совместимости)
- Bitbar (ферма мобильных устройств)
