Лабораторная работа №7
Разработка системы показателей качества Toolbox «Расчет вероятности брака» согласно требованиям ГОСТ Р ИСО/МЭК 9126-93 «Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению»

Утвержден

Директор ПАО «Microsoft Russia»

_________________ ________________
(подпись) (Фамилия И.О)

“___” ________ 20__ г.

(МП)

Программа для ЭВМ
«Программа расчета вероятности брака»

Программа и методика испытаний

Листов —

2019
Согласовано
Главный программист ПАО
“Microsoft Russia”
Личная Расшифровка
подпись подписи

“___” _________ 20__г.

(МП) Согласовано
Ректор ВлГУ
Личная Расшифровка
подпись подписи

“___” _________ 20__г.

(МП)

Программа для ЭВМ
«Программа для расчета вероятности брака»

Программа и методика испытаний

ЛИСТ УТВЕРЖДЕНИЯ

Листов _

2019
Аннотация
В настоящем документе методика и программа испытаний программы «Расчет вероятности брака». В методике приведены: цели и объекты испытаний, требования к программе и программной документации, средства, методы и порядок проведения испытаний. В методике приведены формы протокола испытаний, заполняемые при проведении этой процедуры. Так же в методике приведено программное обеспечение для испытаний и расчет характеристик рассматриваемой программы.

Содержание

1. Объект испытаний
2. Цель испытаний
3. Требования к программе
4. Требования к программной документации
5. Средства и порядок испытаний
6. Методы испытаний
1. Объект испытаний

Объектом испытания является программа «Расчет вероятности брака» реализованная в виде дополнительного модуля Matlab на его языке программирования. Программа включает две функции.
2. Цель испытаний

Испытания проводятся для оценки качества и сертификации программы «Расчет вероятности брака» в системе сертификации «IT Сертифика».

3. Требования к программе

Требования к программе в виде системы показателей качества и допусков на них приведены в таблице 1.

Таблица 1 – показатели качества программы «Расчет вероятности брака»
№ Название параметра Единица измерения Допустимые значения
Функционлаьные показатели
1 Соответвие составу функций в ТЗ — Полное соотвествие
2 Абсолютная погрешность — 10-6

0,001%
3 Относительная погрешность Процент
4 Соотвествие корпоративным стандартам программирования Mathworks — Полное соответствие
Показатели надежности

5 Число исключительных ситуаций, неотслеживаемых программой Количество Отсуствуют
Показатели эффективности
6 Максимальное время расчета Секунды 10-5 (синтетический тест по профайлингу)
10-4 (реальный тест при многократном прогоне)

4. Требования к программной документации

№ Наименование Единицы измерения Допустимые значения
1 Наличие описания функций в виде комментариев — Присутствует
2. Наличие цели функции — Присутствует
3. Описание синтаксиса функции — Присутствует
4. Описание входных и выходных параметров — Присутствует
5. Описание входных параметров — Присутствует
6. Понятность изложения Балл >=8

5. Средства и порядок испытаний

№ Наименование Средства испытаний Примечание
1 Соответвие составу функций в ТЗ Экспертный анализ
2 Определение абсолютной погрешность Скрипт для тестирования и расчета абсолютной погрешности
3. Определение относительной погрешности Скрипт для тестирования и расчета абсолютной погрешности
4. Оценка на соответвие корпоративным стандартам программирования Mathworks Экспертный анализ
5 Оценка числа исключительных ситуаций, неотслеживаемых программой Экспертный анализ
6. Определение максимального времени расчета при синтетическом тесте Профайлер
7. Определение максимального времени расчета при реальном тесте Программа для многократного прогона и измерения время расчета функций

6. Методы испытаний

№ Наименование Метод определения Примечание
1 Соответвие составу функций в ТЗ Экспертный анализ состава, назначения функций Toolbox и требований ТЗ
2 Абсолютная погрешность Расчет абсолютной погрешности выполняется по формуле
Δ = pэт – pпо .
Расчет погрешности произоводится в интервалах.
M = 0
(Tв-Тн)/δ Є [1/1000; 1/100]
В качестве абсолютной погрешости принемается максимальное возможное значение Δ.
В качестве эталонного значения принимается вероятность найденная по формуле из выражения
Pэт= 1-(F(Tв)-F(Tн)) где F – функция распределения вероятностей нормального или равномерного закона по эталонной программе (Satatistics Toolbox). Текст программы для расчета абсолютной погрешности приведен в приложении А.
3. Относительная погрешность Расчет абсолютной погрешности выполняется по формуле
δ=(Δ/pпо) * 100%.
Расчет погрешности произоводится в интервалах.
M = 0
(Tв-Тн)/δ Є [1/1000; 1/100]
В качестве абсолютной погрешости принемается максимальное возможное значение Δ.
В качестве эталонного значения принимается вероятность найденная по формуле из выражения
Pэт= 1-(F(Tв)-F(Tн)) где F – функция распределения вероятностей нормального или равномерного закона по эталонной программе (Satatistics Toolbox). Текст программы для расчета абсолютной погрешности приведен в приложении Б.
4 Соотвествие корпоративным стандартам программирования Mathworks Экспертный анализ состава, назначения функций Toolbox на соотвествие основных разделов текстовых описанй функций.
1) Определение функций
2) Система помощи
3) Надежность кода
4) Рассчетный блок
5) Комментарии к двум предыдущим пунктам.
5 Число исключительных ситуаций, неотслеживаемых программой Экспертный анализ наличия исключительных ситуаций в блоке обеспечения надежности кода:
1) Оценка правильности задания по количеству и типам данных входных и выходных параметров функции
2) Проверка правильности задания входных и выходных аргументов
3) Проверка исключительных ситуаций типа деления на ноль, деление на малое число, возведение в большую степень.
6 Максимальное время расчета при синтетическом тесте При профилировании используются фугкции tic [программный код] toc.
В программном коде выполняется вызов функции расчета вероятности брака.
Указанный участок кода прогоняется 100 раз на 5 компьютерах с разной конфигурацией.
Результатом измерения является среднее арифиметическое t = 1/(n*m)* ∑ni=1*ti.
Δ=±tp*(m*n) * δ
где n – количество компьютеров, а m – количество прогонов
δ=√1/m*n * ∑ni=1(ti-t)2

Приложение А.
Форма протокола испытаний

Протокол испытаний __________________
Наименование программного изделия ________________________________________________________________________________________________________________________________________________________________

Дата тестирования _______________

Тестировщик __________ /__________________________ /
(подпись) (Фамилия И. О. )

Результаты испытаний программного изделия

№ Наименование испытания Единицы измерения Значение Допустимое значение

Итоговое заключение: соотвествует / не соотвествует требованиям
(не нужное зачеркнуть)

М. П.
Приложение Б.
Скрипт для синтетического теста по времени выполнения функции

Mx=0;
sx=1;
T=[-1 1];

for i = 1:10
pause(2)
tic
p = p_br (T,Mx,sx);
t(i) = toc;
end

average = mean(t);
sko = std(t);
delta = (2.26 * sko) / sqrt(10);
result1 = [average delta];

for i = 1:10
pause(2)
tic
p = pn_br (T,Mx,sx);
t(i) = toc;
end

average = mean(t);
sko = std(t);
delta = (2.26 * sko) / sqrt(10);
result2 = [average delta];

result = cat(1, result1, result2)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *