Достоверность определения качества программ при испыта­ниях.

Задача испытателей и заказчика при планировании испы­таний состоит в выделении условий и областей изменения пере­менных, которые наиболее важны для последующего использо­вания программы. При этом разработчик контролирует, чтобы планируемое тестирование не выходило из областей, заданных техническим заданием. Испытания за пределами технического задания могут квалифицироваться как его расширение или могут исключаться по требованию разработчика. Важную роль играют оценка и обеспечение близких значений методической и стати­стической достоверностей испытаний. Если высокая методическая достоверность испытаний не может быть использована вслед­ствие ограничений статистики результатов тестирования, то ресурсы на обеспечение методической достоверности оказываются затраченными нерентабельно. Возможны случаи, когда некото­рые неучтенные факторы значительно снижают методическую достоверность, в результате чего может оказаться бесполезным набор большой статистики при испытаниях.

Методическая достоверность испытаний ПС оп­ределяется следующими факторами:

— полнотой программы испытаний, корректностью методик те­стирования, степенью охвата возможных условий функциони­рования и областей изменения исходных данных программ;

— достоверностью и точностью эталонных значений, с которыми сравниваются результаты тестирования испытываемой програм­мы или которые служат опорными при расчете параметров, зафиксированных в техническом задании;

— адекватностью и точностью моделей, используемых для ими­тации внешней среды и их реакции на управляющие воздей­ствия;

— точностью и корректностью регистрации и обработки резуль­татов тестирования, а также сравнения полученных данных с требованиями технического задания.

До начала испытаний подлежат проверке и паспортизации средства, обеспечивающие получение эталонных данных, сред­ства имитации внешней среды и средства фиксирования и об­работки результатов тестирования. Например, при испытаниях программ, решающих задачи управления воздушным движением, эталонами служат координаты и параметры движения воздуш­ных объектов, получаемые специальными высокоточными радио­локационными станциями по небольшому количеству объектов. Остальная воздушная обстановка может дополняться имитато­рами тестов на базе цифровых вычислительных машин. Резуль­таты функционирования регистрируются в ходе экспериментов и накапливаются либо в управляющей ЭВМ, либо на специаль­ных носителях информации. Сопоставление результатов тестиро­вания с эталонными данными, полученными специальными изме­рителями и сформированными при моделировании, может произ­водиться после завершения экспериментов. На вычислительной машине могут производиться обработка результатов тестирова­ния и расчет параметров, подлежащих проверке на соответ­ствие техническому заданию [7].

Статистическая достоверность испытаний в значительной степени ограничена допустимым объемом и продол­жительностью испытаний. Методы теории планирования экспери­ментов позволяют упорядочение варьировать исходные данные и наиболее эффективно использовать ограниченные ресурсы тести­рования. При планировании испытаний большое значение имеют характеристики средств автоматизации, используемых для ими­тации внешней среды и обработки результатов. Противоречия между необходимой степенью достоверности тестирования и объ­емом анализируемых данных при различных видах испытаний привели к созданию системы автоматизации испытаний различ­ной сложности и глубины проверок.

Исходные и отчетные документы при испытаниях программ.

Совместные испытания проводятся комиссией заказчика, в кото­рой участвуют главный конструктор разработки и некоторые ведущие разработчики. Комиссия при испытаниях руководствует­ся следующими документами:

1. утвержденным заказчиком и согласованным с разработчиком техническим заданием на комплекс программ;

2. действующими государственными и отраслевыми стандартами на проектирование и испытания программ и на техническую документацию;

3. программой испытаний по всем требованиям технического за­дания;

4. методиками испытаний по каждому разделу требований тех­нического задания.

Программа испытаний, методики их проведения и оценки результатов разрабатываются совместно заказчиком и разработ­чиком, должны быть согласованы и утверждены. Они содержат уточнения требований технического задания для данного ПС и должны гарантировать их корректную проверку. Документация на ПС должна полностью соответствовать испытываемым про­граммам, обеспечивать познаваемость системы обслуживающим персоналом, а также обеспечивать возможность развития и мо­дернизации программ для увеличения их жизненного цикла.

Программа испытаний — это план проведения серии экспери­ментов. Он разрабатывается с позиции минимизации объема тестирования при заданной и согласованной с заказчиком до­стоверности получаемых результатов. Для этого методами фактор­ного анализа и теории планирования экспериментов определяются последовательность и объем каждого тестирования в процессе проведения испытаний для проверки выполнения требований тех­нического задания при минимальных затратах. Особенно сложно выбрать набор стрессовых ситуаций функционирования сис­темы, при которых следует провести испытания. Программа испытаний должна содержать следующие четко сформулирован­ные разделы:

— объект испытаний, его назначение и перечень основных до­кументов, определивших его разработку;

— цель испытаний с указанием основных требований техни­ческого задания, подлежащих проверке, и ограничений на прове­дение испытаний;

— собственно программу испытаний, содержащую проверку комплектности спроектированного ПС в соответствии с техни­ческим заданием и план тестирования для проверки функциони­рования программ по всем разделам технического задания и до­полнительным требованиям, формализованным отдельными ре­шениями;

— методики испытаний, однозначно определяющие все понятия проверяемых характеристик, условия тестирования, средства, ис­пользуемые для испытаний, методики обработки и оценки ре­зультатов тестирования по каждому разделу программы испыта­ний.

Большой объем разнородных данных, получаемых при испы­таниях ПС, и разнообразие возможных способов их обработки, интерпретации и оценки приводят к тому, что важнейшими факторами для обработки результатов тестирования становятся методики обработки и оценки результатов. В соответствии с методиками испытаний средства автоматизации должны обес­печивать полноту проверок характеристик по каждому разделу методик и разработку протоколов проверки по пунктам програм­мы испытаний. Сложность ПС и сильная взаимосвязь между их характеристиками приводят к необходимости тщательной форму­лировки всех условий тестирования и значений параметров, при которых должна производиться проверка.

Результаты испытаний фиксируются в протоколах, которые обычно содержат следующие разделы:

— назначение тестирования и раздел требований технического задания, по которому проводится испытание;