До сих цор речь шла о тестировании программ. Однако нередко существует и более крупная проблема — тестирование системы программного обеспечения, или системные испытания.

Тестирование системы осуществляется в направлении от простого к сложному. Обычно процесс испытания больших систем подразделяется на следующие этапы:

Тестирование элементов. Это самый нижний уровень испытаний. В первую очередь тестируются подпрограммы, находящиеся на наибольшем удалении от начала основной программы. Тестирование должно включать проверку при всех возможных правильных входах и при достаточно большом наборе неправильных входов в целях испытания всех подпрограмм обработки ошибок.

. Тестирование модулей. Модуль может представлять собой отдельную рабочую программу системы, или системную подпрограмму. Программисты должны сами тестировать создаваемые ими модули, прежде чем передать их для испытания на следующем, более высоком уровне. ,

Системные испытания. На этом этапе осуществляется сборка и групповая проверка модулей. Здесь обнаруживаются основные ошибки в согласовании функционирования элементов системы. Тесты для этого этапа должны подготавливаться теми специалистами, которые разрабатывали программные спецификации.

Приемочный контроль. Этот этап предусматривает проверку завершенного пакета программ, включая и его документацию.

Полевые испытания. На данной стадии система демонстрируется узкому кругу заказчиков и осуществляется тщательное наблюдение за ошибками. Устраняются недоработки в системной документации. Заказчикам должна быть предоставлена возможность задания системе собственных контрольных (примеров, а также (что им обычно предлагают) произвести попытку вызова аварийной ситуации в системе.

Промышленные испытания. На этом этапе система передается заказчикам в постоянную эксплуатацию. Эти заключительные испытания всегда завершает пользователь. Именно на этой стадии появляется возможность судить о том, насколько тщательно были проведены все предыдущие испытания.

Уместно сделать еще несколько полезных замечаний относительно организации рассмотренных выше этапов тестирования:

1. Выполняйте каждый раз только один этап тестирования, поддерживая постоянными возможно большее количество внешних факторов.

2. Переходите от простых тестов к сложным, постепенно увеличивая объем входных данных.

3. Если программа регулярно отказывает на некотором уровне тестирования, следует провести ее дополнительные испытания на предыдущем уровне.

4. Помните правило, что количество трудностей, возникающих на каждом этапе тестирования, находится в обратной зависимости от тщательности контроля программы на предыдущих этапах.

5. Потеря контроля над программированием и отладкой приводит лишь к отсрочке решения неизбежных проблем (их переносу на стадию тестирования).

6. Небрежное тестирование программы непременно даст о себе знать при рабочих прогонах.