Методика решения задачи планирования испытания включает в себя следующие этапы: нахождение всех путей реализации;

выделение минимального подмножества путей, обеспечивающих проверку всех участков программы; разработка тестов для про­верки выделенных путей. Необходимо отметить, что в результате решения получают не одно подмножество путей, а некоторую совокупность таких подмножеств. Анализируя эти совокупности по критериям мини­мального времени реализации их на ЭВМ, выбора наиболее ве­роятных путей, отсутствия в этих совокупностях несовместимых путей (рассмотренным методам присущ этот недостаток), выби­рают наиболее приемлемую совокупность. Для формирования входных данных тестирования для каждого выделенного пути реализации составляют специальные таблицы. В таблицах пред­ставляют только условные операторы, принадлежащие данному пути, и операторы, в которых вычисляются переменные управле­ния. В результате анализа предписаний, удовлетворяющих услов­ным операторам, вырабатывают входные данные тестирования.

Для установления потребности в машинном времени на про­ведение испытаний необходимо знать среднее значение абсолют­ной реактивности ПС. Эта характеристика должна быть задана в ТЗ. Если же она не задана, то можно принять где — минимальное значение абсолютной реактивности; — максимальное значение абсолютной реактивности.

Несмотря на то что проверка всех путей граф-схемы большой программы неосуществима, при планировании испытаний необ­ходимо при заданных ресурсах обеспечить максимальную пол­ноту проверки, особенно проверки модулей решения наиболее ответственных задач. Стремление избежать при этом неэффектив­ного простого перебора приводит к задаче выбора минимального количества путей, покрывающих граф ПС. Под покрытием по­нимают включение всех дуг графа. Минимальное покрытие, с од­ной стороны, обеспечивает минимум тестов и контрольных про­счетов, а, с другой стороны, гарантирует прохождение каждой дуги графа хотя бы по одному разу.

Рассмотренный метод планирования на этапе автономных стати­стических испытаний модулей ПИ позволяет значительно уменьшить материальные и временные затраты на испытание программ. Ориен­тация на тот или иной подход к испытаниям зависит от типа испы­тываемого ПС.

В общем случае при планировании и организации испытаний следует искать компромиссное решение, учитывающее два про­тиворечивых требования: обеспечение максимальной достовер­ности обобщенной оценки качества ПИ и выполнение испытания в ограниченное время с использованием ограниченных ресурсов. Следует выделить три стадии испытания: подготовительную; непосредственные ис­пытания; заключительную (подготовка отчетных материалов). Задачи этих стадий очевидны. Подробнее остановимся на задачах подготовительной стадии.

Эта стадия наиболее длительная и наиболее трудоемкая. Основными ее задачами являются: планирование испытаний;

разработка технологической схемы испытаний и испытательных средств; разработка программ и методик испытания; накопление предварительных статистических данных, характеризующих ПС.

Целенаправленность и четкость организации работ по накоп­лению статистических данных может существенно повысить до­стоверность оценки качества ПС, исключить дублированные (повторные) проверки и уменьшить сроки испытаний и затрачи­ваемые материальные ресурсы. Однако в некоторых случаях из-за плохой организации работы результаты тестирования на этапах отладки программ и предварительных испытаниях не реги­стрируются, поэтому не могут использоваться для окончательной. оценки качества программы.

Между выделенными стадиями испытания ПС имеются пря­мые и обратные связи, аналогичные связям между этапами жиз­ненного цикла ПС. Это означает, что при выполнении работ заключительной стадии может быть выявлена необходимость возвращения к стадии непосредственных испытаний (или даже к подготовительной стадии) для уточнения отдельных характе­ристик.

Составлению плана проведения испытаний должен предшествовать анализ Т3 на разработку ПС, структурных и функциональных схем, режимов функционирования, зависимостей между модулями програм­мы, планов-графиков разработки и отладки компонентов ПС, результатов контроля их качества на ранних стадиях разработки. В результате этого анализа необходимо разработать и обосно­вать общую стратегию испытания, а на ее основе—комплекс документов по организации испытаний, который должен содер­жать ответы на следующие вопросы: 1) задачи испытаний на каждой фазе, последовательность развития фаз; 2) используемые специальные испытательные средства; 3) количество необходи­мого машинного времени на каждой фазе испытаний; 4) конфи­гурация общего технического и программного обеспечения; 5) оцениваемые свойства, критерии оценки, способы их получе­ния; 6) процедуры контроля хода испытания; 7) процедуры реги­страции, сбора, обработки и обобщения результатов испытания; 8) условия (критерии) начала и завершения каждой фазы испы­таний. По каждому из этих вопросов необходимо определить ответственных исполнителей, сроки выполнения работ, вид конеч­ного результата.

В стандарте IEEE 829—1983 (США) большое внимание уде­лено документированию процесса испытания ПП. Перечень доку­ментов, которые разрабатываются и ведутся в соответствии с планом испытания, приведен в разделе «Документирование»,

Проанализировав содержание выделенных разделов плана испытания/тестирования, можно сделать вывод о целесообраз­ности включения сведений, содержащихся в этих разделах, в про­граммы и методики испытания ПС. Такое включение будет спо­собствовать повышению информативности этих документов и упо­рядочению самого процесса испытаний.

На проведение испытаний ПП приходится затрачивать зна­чительные трудовые и материальные ресурсы. Сроки проведения испытаний всегда ограничены. Поэтому перед испытателями все­гда стоит задача поиска путей минимизации затрат материаль­ных, трудовых и временных ресурсов для достижения цели испы­тания. Для реализации этой задачи необходимо установить критерии завершенности Испытаний, которые могут служить осно­вой для принятия решения о завершении испытаний.

При оценке уровня завершенности испытаний ПС и достоверности полученных результатов часто возникают серьезные затруднения. Отметим следующие из них:

1) большинство ПС являются уникальными и либо не имеют аналогов для сравнения характеристик, либо имеют аналоги, ха­рактеристики которых неизвестны;

2) отсутствие общепринятых показателей, а также методов расчета требуемых и фактических значений приводит к тому, что в ТЗ на разработку ПС требования к характеристикам ПС либо фактически отсутствуют (в количественном выражении), либо не претендуют на полноту.

Рассмотрим пути решения проблемы оценки завершенности испытаний ПС. Но прежде всего обратим внимание на необхо­димость тщательного документирования процесса испытания. Такое документирование следует начать с момента приобретения ПС свойства работоспособности и вести его непрерывно до мо­мента передачи ПС в промышленную эксплуатацию.