Требования к идеальному критерию тестирования

Требования к идеальному критерию были выдвинуты в работе

Критерий должен быть достаточным , т.е. показывать, когда некоторое конечное множество тестов достаточно для тестирования данной программы.

Критерий должен быть полным , т.е. в случае ошибки должен существовать тест из множества тестов, удовлетворяющих критерию, который раскрывает ошибку.

Критерий должен быть надежным , т.е. любые два множества тестов, удовлетворяющих ему, одновременно должны раскрывать или не раскрывать ошибки программы

Критерий должен быть легко проверяемым , например вычисляемым на тестах

Для нетривиальных классов программ в общем случае не существует полного и надежного критерия , зависящего от программ или спецификаций.

Поэтому мы стремимся к идеальному общему критерию через реальные частные.

Классы критериев

Структурные критерии используют информацию о структуре программы (критерии так называемого "белого ящика")

Функциональные критерии формулируются в описании требований к программному изделию (критерии так называемого "черного ящика" )

Критерии стохастического тестирования формулируются в терминах проверки наличия заданных свойств у тестируемого приложения, средствами проверки некоторой статистической гипотезы.

Мутационные критерии ориентированы на проверку свойств программного изделия на основе подхода Монте-Карло.

Структурные критерии (класс I).

Структурные критерии используют модель программы в виде "белого ящика", что предполагает знание исходного текста программы или спецификации программы в виде потокового графа управления. Структурная информация понятна и доступна разработчикам подсистем и модулей приложения, поэтому данный класс критериев часто используется на этапах модульного и интеграционного тестирования (Unit testing, Integration testing).

Структурные критерии базируются на основных элементах УГП, операторах, ветвях и путях.

Условие критерия тестирования команд (критерий С0) - набор тестов в совокупности должен обеспечить прохождение каждой команды не менее одного раза. Это слабый критерий, он, как правило, используется в больших программных системах, где другие критерии применить невозможно.

Условие критерия тестирования ветвей (критерий С1) - набор тестов в совокупности должен обеспечить прохождение каждой ветви не менее одного раза. Это достаточно сильный и при этом экономичный критерий, поскольку множество ветвей в тестируемом приложении конечно и не так уж велико. Данный критерий часто используется в системах автоматизации тестирования.

Условие критерия тестирования путей (критерий С2) - набор тестов в совокупности должен обеспечить прохождение каждого пути не менее 1 раза. Если программа содержит цикл (в особенности с неявно заданным числом итераций), то число итераций ограничивается константой (часто - 2, или числом классов выходных путей).

Рассмотрим условия тестирования в соответствии со структурными критериями.

1 public void Method (ref int x)

Пример 3.1. Пример простой программы, для тестирования по структурным критериям

1 void Method (int *x)

2 if (*x>17)

Пример 3.1.1. Пример простой программы, для тестирования по структурным критериям

Тестовый набор из одного теста, удовлетворяет критерию команд (C0):

(X,Y)={(x вх =30, x вых =0)} покрывает все операторы трассы 1-2-3-4-5-6

Тестовый набор из двух тестов, удовлетворяет критерию ветвей (C1):

(X,Y)={(30,0), (17,17)} добавляет 1 тест к множеству тестов для С0 и трассу 1-2-4-6. Трасса 1-2-3-4-5-6 проходит через все ветви достижимые в операторах if при условии true, а трасса 1-2-4-6 через все ветви, достижимые в операторах if при условии false.

Тестовый набор из четырех тестов, удовлетворяет критерию путей (C2):

(X,Y)={(30,0), (17,17), (-13,0), (21,-4)}

Набор условий для двух операторов if c метками 2 и 4 приведен в таблице

Таблица 3.1. Условия операторов if

Критерий путей С2 проверяет программу более тщательно, чем критерии - C1, однако даже если он удовлетворен, нет оснований утверждать, что программа реализована в соответствии со спецификацией.

Например, если спецификация задает условие, что|x|100, невыполнимость которого можно подтвердить на тесте (-177,-177). Действительно, операторы 3 и 4 на тесте (-177,-177) не изменят величину х=-177 и результат не будет соответствовать спецификации.

Структурные критерии не проверяют соответствие спецификации, если оно не отражено в структуре программы. Поэтому при успешном тестировании программы по критерию C2 мы можем не заметить ошибку, связанную с невыполнением некоторых условий спецификации требований.

Функциональные критерии (класс II)

Функциональный критерий - важнейший для программной индустрии критерий тестирования. Он обеспечивает, прежде всего, контроль степени выполнения требований заказчика в программном продукте. Поскольку требования формулируются к продукту в целом, они отражают взаимодействие тестируемого приложения с окружением. При функциональном тестировании преимущественно используется модель "черного ящика". Проблема функционального тестирования - это, прежде всего, трудоемкость; дело в том, что документы, фиксирующие требования к программному изделию (Software requirement specification, Functional specification и т.п.), как правило, достаточно объемны, тем не менее, соответствующая проверка должна быть всеобъемлющей.

Ниже приведены частные виды функциональных критериев.

Тестирование пунктов спецификации - набор тестов в совокупности должен обеспечить проверку каждого тестируемого пункта не менее одного раза.

Спецификация требований может содержать сотни и тысячи пунктов требований к программному продукту и каждое из этих требований при тестировании должно быть проверено в соответствии с критерием не менее чем одним тестом

Тестирование классов входных данных - набор тестов в совокупности должен обеспечить проверку представителя каждого класса входных данных не менее одного раза.

При создании тестов классы входных данных сопоставляются с режимами использования тестируемого компонента или подсистемы приложения, что заметно сокращает варианты перебора, учитываемые при разработке тестовых наборов. Следует заметить, что перебирая в соответствии с критерием величины входных переменных (например, различные файлы - источники входных данных), мы вынуждены применять мощные тестовые наборы. Действительно, наряду с ограничениями на величины входных данных, существуют ограничения на величины входных данных во всевозможных комбинациях, в том числе проверка реакций системы на появление ошибок в значениях или структурах входных данных. Учет этого многообразия - процесс трудоемкий, что создает сложности для применения критерия

Тестирование правил - набор тестов в совокупности должен обеспечить проверку каждого правила, если входные и выходные значения описываются набором правил некоторой грамматики.

Следует заметить, что грамматика должна быть достаточно простой, чтобы трудоемкость разработки соответствующего набора тестов была реальной (вписывалась в сроки и штат специалистов, выделенных для реализации фазы тестирования)

Тестирование классов выходных данных - набор тестов в совокупности должен обеспечить проверку представителя каждого выходного класса, при условии, что выходные результаты заранее расклассифицированы, причем отдельные классы результатов учитывают, в том числе, ограничения на ресурсы или на время (time out).

При создании тестов классы выходных данных сопоставляются с режимами использования тестируемого компонента или подсистемы, что заметно сокращает варианты перебора, учитываемые при разработке тестовых наборов.

Тестирование функций - набор тестов в совокупности должен обеспечить проверку каждого действия, реализуемого тестируемым модулем, не менее одного раза.

Очень популярный на практике критерий, который, однако, не обеспечивает покрытия части функциональности тестируемого компонента, связанной со структурными и поведенческими свойствами, описание которых не сосредоточено в отдельных функциях (т.е. описание рассредоточено по компоненту).

Критерий тестирования функций объединяет отчасти особенности структурных и функциональных критериев. Он базируется на модели "полупрозрачного ящика", где явно указаны не только входы и выходы тестируемого компонента, но также состав и структура используемых методов (функций, процедур) и классов.

Комбинированные критерии для программ и спецификаций - набор тестов в совокупности должен обеспечить проверку всех комбинаций непротиворечивых условий программ и спецификаций не менее одного раза.

При этом все комбинации непротиворечивых условий надо подтвердить, а условия противоречий следует обнаружить и ликвидировать.

Пример применения функциональных критериев тестирования для разработки набора тестов по критерию классов входных данных

Пусть для решения задачи тестирования системы "Система управления автоматизированным комплексом хранения подшипников" был разработан следующий фрагмент спецификации требований:

Произвести опрос статуса склада (вызвать функцию GetStoreStat). Добавить в журнал сообщений запись "СИСТЕМА: Запрошен статус СКЛАДА". В зависимости от полученного значения произвести следующие действия:

Полученный статус склада = 32. В приемную ячейку склада поступил подшипник. Система должна:

Добавить в журнал сообщений запись "СКЛАД: Статус СКЛАДА = 32".

Получить параметры поступившего подшипника с терминала подшипника (должна быть вызвана функция GetRollerPar).

Добавить в журнал сообщений запись "СИСТЕМА: Запрошены параметры подшипника".

В зависимости от возвращенного функцией GetRollerPar значения должны быть выполнены следующие действия

Таблица 3.2. Действия по результатам функции GetRollerPar
Значение, возвращенное функцией GetRollerPar	Действия системы
	Добавить на первое место команду GetR - "ПОЛУЧИТЬ ИЗ ПРИЕМНИКА В ЯЧЕЙКУ" Добавить в журнал сообщений запись "ТЕРМИНАЛ ПОДШИПНИКА: 0 - параметры возвращены <Номер_группы>"
	Добавить в журнал сообщений запись "ТЕРМИНАЛ ПОДШИПНИКА: 1 - нет данных"

Произвести опрос терминала оси (вызвать функцию получения сообщения от терминала - GetAxlePar). В журнал сообщений должно быть добавлено сообщение "СИСТЕМА: Запрошены параметры оси". В зависимости от возвращенного функцией GetAxlePar значения должны быть выполнены следующие действия

Определим классы входных данных для параметра - статус склада:

Статус склада = 0 (правильный).

Статус склада = 4 (правильный).

Статус склада = 16 (правильный).

Статус склада = 32 (правильный).

Статус склада = любое другое значение (ошибочный).

Теперь рассмотрим тестовые случаи:

Тестовый случай 1 (покрывает класс 4):

Статус склада - 32.

Система запрашивает статус склада (вызов функции GetStoreStat) и получает 32

Тестовый случай 2 (покрывает класс 5):

Состояние окружения (входные данные - X):

Статус склада - 12dfga.

Ожидаемая последовательность событий (выходные данные - Y):

Система запрашивает статус склада (вызов функции GetStoreStat) и согласно пункту спецификации при ошибочном значении статуса склада в журнал добавляется сообщение "СКЛАД: ОШИБКА: Неопределенный статус".

Стохастические критерии (класс III)

Стохастическое тестирование применяется при тестировании сложных программных комплексов - когда набор детерминированных тестов (X,Y) имеет громадную мощность. В случаях, когда подобный набор невозможно разработать и исполнить на фазе тестирования, можно применить следующую методику.

В этом случае множество Y неизвестно (его вычисление невозможно), но известен закон распределения данного множества.

Критерии стохастического тестирования

Cтатистические методы окончания тестирования - стохастические методы принятия решений о совпадении гипотез о распределении случайных величин. К ним принадлежат широко известные: метод Стьюдента (St), метод Хи-квадрат (χ 2) и т.п.

Метод оценки скорости выявления ошибок - основан на модели скорости выявления ошибок , согласно которой тестирование прекращается, если оцененный интервал времени между текущей ошибкой и следующей слишком велик для фазы тестирования приложения.

Рис. 3.1. Зависимость скорости выявления ошибок от времени выявления

При формализации модели скорости выявления ошибок использовались следующие обозначения:

N - исходное число ошибок в программном комплексе перед тестированием,

C - константа снижения скорости выявления ошибок за счет нахождения очередной ошибки,

t 1 ,t 2 ,…t n - кортеж возрастающих интервалов обнаружения последовательности из n ошибок,

T - время выявления n ошибок.

Если допустить, что за время T выявлено n ошибок, то справедливо соотношение (1), утверждающее, что произведение скорости выявления i ошибки и времени выявления i ошибки есть 1 по определению:

(1) (N-i+1)*C*t i = 1

В этом предположении справедливо соотношение (2) для n ошибок:

(2) N*C*t 1 +(N-1)*C*t 2 +…+(N-n+1)*C*t n =n

N*C*(t 1 +t 2 +…+t n) - C*Σ(i-1)t i = n

NCT - C*Σ(i-1)t i = n

Если из (1) определить t i и просуммировать от 1 до n, то придем к соотношению (3) для времени T выявления n ошибок

(3) Σ1/(N-i+1) = TC

Если из (2) выразить C, приходим к соотношению (4):

(4) C = n/(NT - Σ(i-1)t i)

Наконец, подставляя C в (3), получаем окончательное соотношение (5), удобное для оценок:

(5) Σ1/(N-i+1) = n/(N - 1/T*Σ(i-1)t i)

Если оценить величину N приблизительно, используя известные методы оценки числа ошибок в программе , или данные о плотности ошибок для проектов рассматриваемого класса из исторической базы данных проектов, и, кроме того, использовать текущие данные об интервалах между ошибками t 1 ,t 2 …t n , полученные на фазе тестирования, то, подставляя эти данные в (5), можно получить оценку t n+1 -временного интервала необходимого для нахождения и исправления очередной ошибки (будущей ошибки).

Если t n+1 >Td - допустимого времени тестирования проекта, то тестирование заканчиваем, в противном случае продолжаем поиск ошибок.

Наблюдая последовательность интервалов ошибок t 1 ,t 2 …t n , и время, потраченное на выявление n ошибок T=Σt i , можно прогнозировать интервал времени до следующей ошибки и уточнять в соответствии с (4) величину C.

Критерий Moranda очень практичен, так как опирается на информацию, традиционно собираемую в процессе тестирования.

Мутационный критерий (класс IV).

Постулируется, что профессиональные программисты пишут сразу почти правильные программы, отличающиеся от правильных мелкими ошибками или описками типа - перестановка местами максимальных значений индексов в описании массивов, ошибки в знаках арифметических операций, занижение или завышение границы цикла на 1 и т.п. Предлагается подход, позволяющий на основе мелких ошибок оценить общее число ошибок, оставшихся в программе.

Подход базируется на следующих понятиях:

Мутации - мелкие ошибки в программе.

Мутанты - программы, отличающиеся друг от друга мутациями.

Метод мутационного тестирования - в разрабатываемую программу P вносят мутации, т.е. искусственно создают программы-мутанты P1, P2... Затем программа P и ее мутанты тестируются на одном и том же наборе тестов (X,Y).

Если на наборе (X,Y) подтверждается правильность программы P и, кроме того, выявляются все внесенные в программы-мутанты ошибки, то набор тестов (X,Y) соответствует мутационному критерию, а тестируемая программа объявляется правильной .

Если некоторые мутанты не выявили всех мутаций, то надо расширять набор тестов (X,Y) и продолжать тестирование.

Пример применения мутационного критерия

Тестируемая программа P приведена на примере . Для нее создается две программы-мутанта P1 и P2.

В P1 изменено начальное значение переменной z с 1 на 2

В P2 изменено начальное значение переменной i с 1 на 0 и граничное значение индекса цикла с n на n-1

При запуске тестов (X,Y) = {(x=2,n=3,y=8),(x=999,n=1,y=999), (x=0,n=100,y=0 } выявляются все ошибки в программах-мутантах и ошибка в основной программе, где в условии цикла вместо n стоит n-1:

// степень n числа x

static public double PowerNonNeg(

double x, int n)

for (int i=1;n-1>=i;i++)

else Console.WriteLine(

быть больше 0.");

Пример 3.2. Основная программа P

double PowerNonNeg(double x, int n)

for (i=1;n-1>=i;i++)

быть больше 0.\n");

Пример 3.2.1. Основная программа P

Измененное начальное значение переменной z в мутанте Р1 помечено светлым тоном:

// Метод вычисляет неотрицательную

// степень n числа x

static public double PowerMutant1(

double x, int n)

for (int i=1;n>=i;i++)

else Console.WriteLine(

"Ошибка! Степень числа n должна

быть больше 0.");

Пример 3.3. Программа мутант P1.

double PowerMutant1(double x, int n)

for (i=1;n>=i;i++)

"Ошибка! Степень числа n должна

быть больше 0.\n");

Пример 3.3.1. Программа мутант P1.

Измененное начальное значение переменной i и границы цикла в мутанте P2 помечено светлым тоном:

// Метод вычисляет неотрицательную

// степень n числа x

static public double PowerMutant2(

double x, int n)

for (int i=0;n-1>=i;i++)

else Console.WriteLine(

"Ошибка! Степень числа n должна

быть больше 0");

Пример 3.4. Программа-мутант P2.

double PowerMutant2(double x, int n)

Как один из методов диагностики пригодности кандидатов тестирование нуждается в выявлении качества выполнения возложенных на него селективных функций. В качестве признанных для оценки тестов выступает ряд показателей, которые характеризуют как критерии качества, или добротности.

«Разложенные» по жизненному циклу тестов - конструированию, проведению и вынесению оценки, они могут дать возможность проследить, на каком этапе тест в большей степени приобретает или теряет смысл, над каким аспектом его внедрения в практику специалистам предстоит работать еще.

Определяя одинаковые для всех психологических методов диагностики пригодности критерии, Г. Шанц, например, не выделяет особо тестирование, считая, что оно по показателям качества должно вписываться в сравнимый пятиэлементный ряд других инструментов отбора: надежность, валидность, объективность, экономичность и полезность. Бертхель классификацию критериев добротности тестирования представляет как трехэлементную, выделяя объективность, надежность и валидность, раскладывая последний показатель на три составляющие. Подобной позиции придерживается А.Компа, детально характеризуя каждый из трех обозначенных критериев.

Выделяя в принципе те же показатели оценки тестов, Б.Бернд выстроил их в иерархический ряд, в котором три первых, расположенных по значимости критерия: объективность- надежность-- валидность обозначил как основные, а четыре последующих: нормируемость - сравнимость - экономичность - целесообразность как побочные.

Анализ показал, что под объективностью понимается степень, в которой результаты теста не зависят от проверяющего. «Объективность означает, что результат тестирования достигается только тестовым инструментом, т.е. согласно его намерениям и целям, независимо от руководителя теста. Тогда побуждением к ответу в тесте будет только вопрос или задача теста». В зависимости от того, в какой фазе тестирования проявляется влияние исследователя на результат, различают три аспекта объективности: проведения, подведения итогов и интерпретации (см. приложение 19).

Надежность, или независимость от случая, определяют как степень стабильности, с которой отличительная черта будет измерена точно при повторном тестировании. Одним из важных аспектов осуществления достоверного тестирования является методика эмпирического определения достоверности. Как показал анализ, наиболее часто в научной и научно-методической литературе речь идет о четырех эффективных методах: повторном тестировании, параллельном тестировании, раздвоении теста и консистентном анализе (см. приложение 20).

Валидность, или действительность теста есть гарантия, что он в самом деле измеряет то, что подлежит измерению, или что должно быть измерено. Согласно оценкам специалистов, валидность остается самой спорной и сложной проблемой для тех, кто занимается конструированием тестов. Чаще всего в литературе речь идет о следующих видах валидности: содержательной, конструктивной, критери- альнообусловленной, согласованной, конкурентной (см. приложение 21) и прогностической. Для практики отбора персонала особенно интересна и значима, как показывает анализ, прогностическая валидность, которая тем лучше, чем выше коррелируют друг с другом результаты тестирования и последующие фактические профессиональные успехи.

Трехэлементная система основных показателей оценки качества тестов дополняется побочными критериями, в число которых традиционно включаются нормируемость, сравнимость, целесообразность (измеряемые качества или способ поведения должны иметь практический интерес и не должны также хорошо исследоваться другими тестами), экономичность (для проведения теста требуется мало времени; используется мало материалов; тест прост в обращении; тест может проводиться как групповой; предполагается быстрое и удобное вынесение оценки) (см. приложение 22).

Приведенная система показателей, классически используемых как при конструировании, так и реализации тестов на практике, как показал анализ, претерпевает некоторые изменения. Например, в крупномасштабном исследовании отбора и найма кандидатов оценка тестирования и других селективных методов проводилась по трем критериям: валидности, практичности и приемлемости. Дискутируя по поводу специфики и основных видов валидности, авторы исследования фокусируют внимание на том, что для пользователя процедурами отбора главным является только вопрос, «в какой степени процедура является применимой, чтобы можно было сделать выводы о будущем профессиональном успехе претендента».

Практичность, которая не является релевантной в психологических исследованиях и отражающей их литературе, серьезную значимость приобретает на практике, при непосредственном отборе, ее оценка есть не что иное как «часть анализа производственно-экономических затрат». По Бартелю и Шулеру, «чувствительный к изменениям анализ показывает, что уже относительно небольшой рост валидности можно связывать с увеличением рентабельности». В производственной практике в оценку практичности включаются затраты на разработку или выбор метода, стоимость его реализации, в том числе затраты времени для оценки компетенции экспертов, их обучения; организационные расходы, потребности в помещении и материалах. Также сюда включаются затраты на информирование и убеждение, если это необходимо, других сотрудников предприятия. Оценка практичности, кроме того, не является независимой от ожидаемого восприятия процедуры со стороны кандидатов, как «третьей оценочной категории»».

Критика тестирования и принципов отбора со стороны общественности привели к необходимости изучения воздействия отборочных процедур на самих претендентов на рабочие места. По оценке, например, Поортинга, квоты нанимаемых на предприятия зависят от используемых им методов отбора. В соответствии с этим восприятие, или приемлемость метода со стороны кандидатов, было выбрана третьим в оценочной шкале селективных инструментов и в их числе - тестирова-

Во всех оценочных системах неизменно присутствующим является показатель валидности тестов, которую можно квалифицировать по отношению к некоторым другим методам отбора как достаточно высокую. В литературе чаще всего критерий валидности дифференцируется по основным видам тестов - интеллектуальным, производительным и личностным.

Значительная часть проведенных обследований показывает, что наиболее ценным инструментом диагностики профессиональной пригодности являются тесты на интеллект. Валидность тестов этой группы Штелле оценивает в диапазоне 0,20-0,30, авторы осуществленных мета-анализов - 0,25-0,50; ими же подчеркивается, что трудовую деятельность с параллельным обучением гшо- гнозировать легче, чем «чисто профессиональную в узком смысле». Например, крупные финансовые организации ФРГ, согласно результатам Торгово- промышленной палаты, валидность оценки интеллектуальных способностей «лиц с последующим обучением» через соответствующие тестовые батареи оценивают в 0,48.

Определяя прогностическую валидность производительных, или профессиональных тестов, Шулер и соавторы отмечают их специфичность, зависимость от 142 условий применения и на этой основе констатируют, что если тест сконструирован и применяется в соответствии с расчетными требованиями, то оценка его валидности может находиться «на высоте других хороших методов отбора». Оценка валидности у Штелле менее осторожная, ученый характеризует ее цифровым интервальным показателем 0,10-0,20.

Отмечаемая в литературе дискуссионность пригодности для отбора личностных тестов сопровождается соответствующим рядом оценочных показателей. По Штелле, валидность характеризуется достаточно широким диапазоном - 0,

20-0,40, другие исследователи дают моментные показатели, укладывающиеся в границах этого интервала: Рейли и Чао- 0,18, Шмитт и соавторы-- 0,15. Если же оценивать не общий личностный тест, а его «отдельные специфические гипотетические факторы», то, по расчетам специалистов, можно ожидать более высокой оценки. Так, средний показатель валидности для специальных личностных тестов определяется как 0,25 и 0,30 - для тестов по оценке интересов и мотиваций.

Результаты исследований дают основание для выявления рангов прогностической валидности используемых при отборе тестов: наибольшая валидность прослеживается у тестов на интеллект, затем - по убывающей - личностных тестов и замыкают ряд тесты производительности.

По результатам европейского обследования по отбору и найму (табл. 23), частота практического использования различных видов тестов в странах-респо- ндентах неодинакова. С наибольшей дистанцией от остальных, попавших в выборку (редко), внедряют психологические тесты немецкие предприятия. Некоторым исключением является отбор тех категорий кандидатов, которые с одновременной работой намерены получать на предприятии профессиональное образование (ученики). Их отбирают с использованием всех обозначенных вцдов тестов, особенно- производительных (в среднем каждого девятого) и интеллектуальных (каждого двенадцатого).

На предприятиях стран Бенилюкса и Англии центром тяжести в применении тестового метода являются ученики и стажеры, а также менеджеры всех уровней. Во Франции и Испании психологические тесты оказались влиятельным методом отбора всех профессиональных групп кандидатов. Практически во всех странах выборки преобладают над другими личностными тестами, которые можно считать в соответствии с этим начинающими ранговый ряд частотности применения тестового метода. Два других вида имеют меньшую обоснованность в получении точного ранга, поскольку единодушия в реализации у работодателей различных стран не получили. Тем не менее, усредненная оценка дает основание полагать, что несколько более часто находит использование при отборе группа производительных, чем интеллектуальных тестов.

Во избежание необъективности тестирования при найме необходимо строго соблюдать указания прилагаемой к тесту инструкции.

Важным моментом организации и проведения тестирования является создание тестовой ситуации, в комплексное понятие которой включаются такие элементы тестовой процедуры, как внешние условия, руководитель теста, взаимодействие между руководителем теста и испытуемым, установки и ожидания испытуемого, страх перед тестом. Частота использования тестирования при внешнем отборе кандидатов ФРГ Франция Испания Бенилюкс Англия лич. пр. ИНТ. лич. пр. ИНТ. лич. пр. ИНТ. лич. пр. ИНТ. лич. пр. ИНТ. Необученные рабочие 2 5 2 20 30 30 20 27 20 0 9 0 0 13 0 Квалифицированные рабочие 3 5 0 36 18 18 53 32 42 0 14 0 7 43 29 Служащие без руководящих функций 6 5 5 21 21 14 69 25 44 25 20 25 6 31 25 Обучающиеся на производстве Руководители, в т.ч. нижнего уровня среднего уровня высшего уровня 7 11 8 56 33 44 59 35 47 50 29 57 69 56 44 Объективность тестовой ситуации означает прежде всего, что условия проведения для кандидатов одинаковы и стандартизированы.

Для участников испытания подбирается соответствующее помещение, хорошо освещаемое и проветриваемое, исключающее посторонние помехи. В задачи руководителя тестирования входит ознакомление кандидатов с инструкцией теста, наблюдение за ходом процедуры, предотвращение нарушения порядка, сбор анкет по истечении времени. На первый взгляд, задачи «руководителя» достаточно «невинны». Вместе с тем это далеко не так. «Атмосфера во время тестирования может быть смягчена уже вступительным словом руководителя, - пишет Ришар, - и было бы хорошо, если бы такая ситуация сознательно провоцировалась». Пол, раса, возраст, цвет кожи, телосложение, профессиональный и социальный статус, опыт и практика «руководителя», его личные качества и внешность влияют на улучшение или ухудшение результатов теста. По результатам исследования Ра- бина (1954 г.), испытуемые мужского пола дают меньше сексуальных толкований по Роршах-тесту, если руководитель теста- женщина; по заключению Хаймана (1955 г.), тестируемые-мужчины дают «руководителям-женщинам больше «типично женских» ответов и наоборот. Согласно выводам Робинзона и Роде (1946 г.), ответы в тестовых заданиях менялись нз-за национальности, Кэнтрилпа (1946 г.) - цвета кожи, Кэмпбелла и Фидлмэна (1959 г.) - профессионального статуса «руководителя».

Замечено, что уже одно знакомство с руководителем теста может привести к значительно лучшим результатам при тестировании. На испытуемых способны повлиять «поклон или другая форма обращения, возможно, бессознательная», но ставшая им со стороны «руководителя» наградой и т.д. Вместе с тем., по оценкам оппонентов, фатальное влияние на индивидуальный результат в тестировании оказывают субъективные качества испытуемого: его установки сегодня, опыт или переживания вчера и позавчера и многое другое, которые, как серьезные помехи вряд ли могут быть «перекрыты» попыткой «стандартизации какой-нибудь детали».

Зависимость между результативностью и страхом кандидата - более сложная, чем констатация, что имеющие страх перед тестом могут иметь худшие, чем у остальных, показатели. Различают степень страха, которую уже сама личность привносит в тестовую ситуацию и которая характерна для нее, и страх, индуцированный тестом. Последний при «принципиально низком уровне ведет к повышению, а при принципиально высоком уровне страха - к снижению показателей испытуемых». Также выявлено, что, во-первых, страх влияет на результаты не в пользу пугливых; во-вторых, каждая тестовая ситуация, не носящая характера игры или исследования, вызывает страх, с которым испытуемые справляются по- разному. В-третьих, нормальная тестовая ситуация при угрозе нехватки времени усиливает чувство страха; в-четвертых, постоянный страх и страх перед тестированием являются помехами еще большими, чем остальные, так как показывают, в какой степени индивидуум привносит в тестовую ситуацию свою собственную историю и какие-либо особенности, которые неотделимы от измеряемых качеств или способностей.

Работая над созданием требуемой тестовой ситуации, менеджер по персоналу должен предварительно определить, какому контингенту претендентов предстоит пройти тестирование, какой тест задействовать, сколько времени займет процедура тестирования и оценка результатов, целесообразен ли метод с экономической точки зрения.

Практики считают, что если тестирование проводится для предварительного отбора, где встречается много кандидатов, то к «повышению вероятности попадания в точку» могут привести даже тесты с низкой валидностью.

Серьезной проблемой является актуальность тестовых норм. Согласно имеющимся данным, лучше всего тесты «дифференцируются в усредненных сферах». Если для тестирования приглашаются те кандидаты, которые достигают по опыту хороших результатов, тест в этом случае, вероятно, малопригоден для новых познаний о тестируемом.

Большинство тестов оценивается по шаблону, поэтому с этой задачей могут справиться вспомогательные работники. Часто в указаниях сообщается также о доверительных интервалах, которые при оценивании необходимо принимать во внимание. Оценка может быть вынесена в течение нескольких минут. Интерпретация результатов является задачей специалиста.

Экономический аспект тестирования заслуживает внимания в следующем. Большинство методов предполагает проведение группового тестирования и дает возможность одновременно проверить те или иные способности нескольких кандидатов. Основной инструментарий (например, шаблоны, инструкции) приобретаются только один раз, если параллельно не будет занято несколько оценщиков. Расходы на тестирование могут быть точно прокалькулированы, если известно его направление, а значит- вид теста, длительность процедуры и количество требуемого тестового материала.

Исследование тестового метода в целом и его деталях показало, что, во- первых, он представляет собой классический научный инструмент отбора, подкрепленный высокоразвитой теорией и техникой. Относится к полуконтактным психологическим методам, представляющим среди других «наибольшую ценность» для диагностики в зависимости от профиля выбранного теста, триады составляющих профессиональной пригодности: квалификационной, интеллектуальной и личностной. Специфика метода в том, что он побуждает человека к определенным высказываниям и действиям через сформированные условия стандартизации, которые распространяются также на следующую за выполнением задания его оценку.

Во-вторых, такие моменты тестирования как побуждение к действию через созданные работодателем стандартизованные условия, диагностика не только профессиональных, но и интеллектуальных и даже личностных качеств испытуемого служат одной из наиболее веских причин острой дискуссии по поводу действительности прогностических способностей метода. Согласно психологическим канонам, личность будет открыто или косвенно отвергать вторжение в ее частную жизненную сферу любых экспертов и в большей степени тех, кто предполагает ее оценивать через завуалированные «в кружках, кляксах и квадратах» методы. «Мимикрия» претендента останется нераскрытой, если противоречие между способом оценки личности и ее отношением к этому способу не будуу преодолены или сглажены.

В-третьих, поле деятельности по достижению компромисса между желаемым и возможным подвержено эволюционному изменению и расширению. Так, в настоящее время существуют по крайней мере две системы оценки тестирования как метода диагностики профессиональной пригодности. Первая, классически и традиционно применяемая, в большей степени ориентирована на оценку тестов как таковых через критерии объективности, надежности и валидности, по кото- 146 рым конкретный психологический тест экспертируют в фазе его проектирования. Ряд других критериев (экономичность, целесообразность и др.) предлагается как дополнение к основным. Вторая система, включающая синтетические показатели, полученные путем сложного «смешения» основных и дополнительных критериев классической системы, есть уже более продвинутый оценочный вариант, адаптированный к практике - как к социальным («приемлемость кандидатами»), так и экономическим притязаниям предприятия («практичность»). Следовательно, тестирование является достаточно подвижным методом, способным в условиях жесткой рыночной конкуренции быть более целесообразным для предприятия- работодателя и, выполняя роль селективного инструмента, отслеживать изменения в поведении и отношении к отбору «нового поколения» кандидатов.

В-четвергых, согласно практике тестирования, метод используется для внешнего отбора. При общем тренде фактической частотности применения: личностные -» производительные -» интеллектуальные, в каждой из стран сложилось различное отношение работодателей к тактике реализации метода при найме. Во Франции, как и Германии, психологические тесты актуальны для тех категорий кандидатов, решающим элементом в профиле пригодности которых является потенциал развития (ученики, стажеры), а также особые мыслительные способности или личностные качества (менеджеры). На предприятиях Испании при значительном влиянии результатов тестирования на решение о приеме на работу особое предпочтение отдается личностным тестам, которые используются для селекции всех видов обученных кандидатов, достигая максимума (93%) при найме руководителей. Менее значимыми оказались тесты производительности, хотя в своей «нише» - ученики в торгово-коммерческой сфере и ученики-техники - их применение характеризовалось 67% и 63% соответственно, и личностные тесты («ниша» - менеджеры, 73%). В Англии при внедрении тестов 84% опрошенных фирм показывают дифференцированное отношение к методу в зависимости от статуса вакансии: сфера личностных тестов ограничивается по существу отбором руководителей и стажеров, тестов производительности - учениками, стажерами и квалифицированными рабочими, тестов на интеллект (наименее актуальных) - сужается до одной категории - стажеров. В странах Бенилюкса при главенствующей роли тестов производительности другие применяются в меньшей мере. Это означает, что модели отбора с помощью тестовых методов помимо статуса вакансии определяются также национальными факторами.

В-пятых, специфика метода такова, что его применение возможно только в том случае, если отбором качественных тестов, организацией тестовых ситуаций, проведением тестирования и оцениванием его результатов будут заниматься на предприятии специалисты-психологи.

В-шестых, в практике деятельности ряда предприятий при отборе кандидатов используются экзаменационные методы, в некоторой степени схожие с тестами, ио ими не являющиеся (например арифметические задачи, упражнения на правописание, вопросы на общие знания и т.п. для претецдентов-учеников). Подмена метода не способствует повышению имиджа тестирования у нанимающихся, кроме того, привычная экзаменовка не гарантирует той объективности результатов, которую предполагает тест.

В-седьмых, издержки на тестирование оправдываются при большом числе кандидатов и гомогенном профиле требований к ним.

В-восьмых, поскольку тест чаще всего предполагает вхождение в искусственную ситуацию, которую оппоненты квалифицируют как «выдуманная реаль ность» (на практике такое «вхождение» тем лучше, чем выше интеллектуальный уровень кандидата), то есть основание предполагать, что наиболее значимой нишей метода являются нанимающиеся на должности менеджеров всех уровней, а также учеников: от их базового интеллекта зависит прогнозирование дальнейших успехов. «Тотальное» тестирование будет в большей степени целесообразным и эффективным, если кандидаты знакомы с этим селективным инструментом со школы, «привыкли» к его специфической «полуконтактности» и тем снизили порог страха как одной из весомых помех достижению оптимальных результатов.

Виды и правила использования

Т ест для определения беременности – это полоска или резервуар с чувствительной средой, которая реагирует на гормон, содержащийся в моче женщин (ХГЧ). Количество ХГЧ во время беременности стремительно растет с самых ранних сроков, поэтому его уровень считается неоспоримым доказательством оплодотворения. Как правило, к домашним тестам прибегают в первые дни задержки менструации, еще до посещения врача.

Критерии выбора

Покупать тесты следует только в надежных аптеках, чтобы избежать подделки.

Перед приобретением обязательно проверьте срок годности и степень чувствительности – это очень важно. Чем выше чувствительность теста на беременность (меньше число на упаковке), тем выше вероятность, что ответ будет достоверным.

Если с момента предполагаемого зачатия прошло меньше двух недель, постарайтесь купить тест с чувствительностью 10 мМЕ/мл: цифра означает концентрацию ХГЧ в моче, которую возможно определить. Соответственно, маркировка 15, 20, 25 или 30 говорит о том же: чем меньше срок, тем меньшее число должно быть на упаковке.

Многие женщины уверены, что достоверны только тесты с чувствительностью от 20 мМЕ/мл, потому что определить беременность до задержки почти невозможно, и в этом есть рациональное зерно.

Виды тестов

Сейчас в магазинах и аптеках города можно найти четыре типа теста:

• стрип-тест (традиционная и известная многим полоска),
• планшетный (кассетный),
• струйный,
• электронный.

Каждый из видов подходит для разных ситуаций и имеет свои плюсы и минусы.

Как использовать тест

Полоска – самый распространенный и недорогой тест, который продается не только в аптеках, но и в супермаркетах. Представляет собой полоску из бумаги или пластика, которую нужно опустить в емкость с мочой строго до определенной метки. Время, в течение которого нужно держать тест в моче, зависит от бренда (читайте инструкцию).

Стоит обратить внимание на то, как тот или иной тест показывает реакцию: в одних появляется вторая полоска, а в некоторых (редко) единственная полоска меняет цвет.

Планшетный тест прост в использовании и более чувствителен, чем полоска. Представляет собой пластиковый контейнер с двумя окошками: в первое с помощью пипетки помещается моча, а во втором через 5-10 минут появляется результат.

Струйный – самый прогрессивный, не требует емкости. Используется просто – тесту нужно только попасть под струю мочи (можно погрузить его в баночку с мочой на 15 секунд). Показывает результат через несколько минут.

Электронный – самый точный. Вместо полосок будет надпись «pregnancy» (беременна) или «no pregnancy» (не беременна). Некоторые тесты могут показывать не только сам факт оплодотворения, но и примерный срок беременности.

Какой тест на беременность лучше, может решить только сама женщина, исходя из собственных предпочтений, удобства применения и бюджета.

Чтобы тест правильно определил состояние, необходимо знать, когда и как его лучше делать. Все тесты имеют свои правила использования, поэтому перед применением обязательно внимательно ознакомьтесь с инструкцией.

Тесты на беременность на ранних сроках могут быть отрицательными. Как правило, их лучше использовать спустя три-четыре дня после предполагаемой задержки месячных (в некоторых случаях можно попробовать через неделю после полового акта, но точность будет низкой).

Все типы, за исключением электронного, показывают результат примерно одинаково: одна полоска – нет беременности, две полоски – есть.

Чтобы тест показал достоверные данные, нужно:

1. Дождаться вероятной даты наступления месячных: пытаться определить беременность раньше практически бессмысленно из-за низкой концентрации ХГЧ.
2. Проводить тестирование утром, до завтрака.

Топ-5 тестов на беременность

На рынке представлено большое разнообразие тестов для женщин с разными потребностями и возможностями. Как правило, основная разница между продуктами заключается в чувствительности, цене и репутации производителя.

Основные плюсы: недорогая, но эффективная тест-полоска. Можно использовать как за пару дней до задержки менструации, так и спустя несколько дней после ее предполагаемого начала. Заявленная точность на упаковке – 99%, что говорит о достоверности проверки. Результат нужно ждать от 3 до 5 минут – если беременность есть, появится 2 полоски (вторая полоска может быть бледной).

Достоинства: стоимость, точность, простота применения, доступность в магазинах.

Минусы: нужно создать бытовые условия для тестирования.

Основные плюсы: точный результат показывает в первый день задержки цикла. Заявленная точность на упаковке – 98%. Процедура тестирования такая же, как при использовании любых других полосок.

Достоинства: стоимость, неплохая достоверность, простота применения.

Минусы: нужно создать бытовые условия для тестирования; подойдет только утренняя моча.

Основные плюсы: отличный электронный тест, который покажет не только наличие беременности, но и примерный срок с момента зачатия. Результат дает уже за пять дней до предполагаемого начала месячных. Точность определения беременности выше 99%, срока – до 92%.

Достоинства: точность, чувствительность, определение срока, определение беременности до задержки.

Минусы: стоимость; обязательно соблюдение инструкции.

Основные плюсы: планшетный, намного достовернее полосок из-за ровного распределения мочи. Пипетка в комплекте – значит, процесс тестирования гигиеничен. Точность выше 99%.

Достоинства: простота применения, точность, чувствительность, доступность.

Минусы: не обнаружены.

KNOW NOW OPTIMA

Основные плюсы: кассетный, определяет беременность при любых обстоятельствах. Подходит не только для домашнего использования, но и для стационара.

Достоинства: простота применения, невысокая стоимость, показывает результат даже при заболеваниях почек.

Минусы: результат можно ждать очень долго.

Чтобы удостовериться в результате, можно использовать тесты разных видов с интервалом в несколько дней.

Если результат хотя бы одного теста положителен, обязательно посетите врача-гинеколога и сообщите об этом.

Тестирование информационных систем

1.2. Критерии тестирования.

Можно выделить требования к идеальному критерию тестирования:

· Критерий должен быть достаточным, т.е. показывать, когда некоторое конечное множество тестов достаточно для тестирования данной программы.

· Критерий должен быть полным, т.е. в случае ошибки должен существовать тест из множества тестов, удовлетворяющих критерию, который раскрывает ошибку.

· Критерий должен быть надежным, т.е. любые два множества тестов, удовлетворяющих ему, одновременно должны раскрывать или не раскрывать ошибки программы.

· Критерий должен быть легко проверяемым, например, вычисляемым на тестах.

Для нетривиальных классов программ в общем случае не существует полного и надежного критерия, зависящего от программ или спецификаций. Поэтому, как правило, стремятся к идеальному общему критерию через реальные частные.

Классы критериев:

· Структурные критерии используют информацию о структуре программы (критерии так называемого «белого ящика»).

· Функциональные критерии формулируются в описании требований к программному изделию (критерии так называемого «черного ящика»).

· Критерии стохастического тестирования формулируются в терминах проверки наличия заданных свойств у тестируемого приложения, средствами проверки некоторой статистической теории.

· Мутационные критерии ориентированы на проверку свойств программного изделия на основе подхода Монте-Карло.

Структурные критерии (класс I).

Структурные критерии используют модель программы в виде «белого ящика», что предполагает знание исходного текста программы или спецификации программы в виде потокового графа управления. Структурная информация понятна и доступна разработчикам подсистем и модулей приложения, поэтому данный класс критериев часто используется на этапах модульного и интеграционного тестирования.

Структурные критерии базируются на основных элементах УГП, операторах, ветвях и путях.

· Условие критерия тестирования команд (критерий С0) - набор тестов в совокупности должен обеспечить прохождение каждой команды не менее одного раза. Это слабый критерий, используется в больших программных системах, где другие критерии применить невозможно.

· Условие критерия тестирования ветвей (критерий С1) - набор тестов в совокупности должен обеспечить прохождение каждой ветви не менее одного раза. Это достаточно сильный и при этом экономичный критерий. Данный критерий часто используется в системах автоматизации тестирования.

· Условие критерия тестирования путей (критерий С2) - набор тестов в совокупности должен обеспечить прохождение каждого пути не менее одного раза. Если программа содержит цикл (в особенности с неявно заданным числом итераций), то число итераций ограничивается константой (часто - 2, или числом классов выходных путей).

Структурные критерии не проверяют соответствие спецификации, если

оно не отражено в структуре программы.

Функциональные критерии (класс II).

Функциональный критерий - важнейший для программной индустрии критерий тестирования. Он обеспечивает, прежде всего, контроль степени выполнения требований заказчика в программном продукте. Поскольку требования формулируются к продукту в целом, они отражают взаимодействие тестируемого приложения с окружением. При функциональном тестировании преимущественно используется модель «черного ящика». Проблема функционального тестирования - это, прежде всего, трудоемкость; дело в том, что документы, фиксирующие требования к программному изделию (Software requirement specification, Functional specification и т.п.), как правило, достаточно объемны, тем не менее, соответствующая проверка должна быть всеобъемлющей.

Ниже приведены частные виды функциональных критериев.

· Тестирование пунктов спецификации - набор тестов в совокупности должен обеспечить проверку каждого тестируемого пункта не менее одного раза. Спецификация требований может содержать сотни и тысячи пунктов требований к программному продукту и каждое из этих требований при тестировании должно быть проверено в соответствии с критерием не менее чем одним тестом.

· Тестирование классов входных данных - набор тестов в совокупности должен обеспечить проверку представителя каждого класса входных данных не менее одного раза. при создании тестов классы входных данных сопоставляются с режимами использования тестируемого компонента или подсистемы приложения, что заметно сокращает варианты перебора, учитываемые при разработке тестовых наборов. Следует заметить, что, перебирая в соответствии с критерием величины входных переменных (например, различные файлы - источники входных данных), мы вынуждены применять мощные тестовые наборы. Действительно, наряду с ограничениями на величины входных данных, существуют ограничения на величины входных данных во всевозможных комбинациях, в том числе проверка реакций системы на появление ошибок в значениях или структурах входных данных. Учет этого многообразия - процесс трудоемкий, что создает сложности для применения критерия.

· Тестирование правил - набор тестов в совокупности должен обеспечить проверку каждого правила, если входные и выходные значения описываются набором правил некоторой грамматики. Следует заметить, что грамматика должна быть достаточно простой, чтобы трудоемкость разработки соответствующего набора тестов была реальной (вписывалась в сроки и штат специалистов, выделенных для реализации фазы тестирования).

· Тестирование классов выходных данных - набор тестов в совокупности должен обеспечить проверку представителя каждого выходного класса, при условии, что выходные результаты заранее расклассифицированы, причем отдельные классы результатов указывают, в том числе ограничения на ресурсы или на время (time out).
При создании тестов классы выходных данных сопоставляются с режимами использования тестируемого компонента или подсистемы, что заметно сокращает варианты перебора, учитываемые при разработке тестовых наборов.

· Тестирование функций - набор тестов в совокупности должен обеспечить проверку каждого действия, реализуемого тестируемым модулем, не менее одного раза. Очень популярный на практике критерий, который, однако, не обеспечивает покрытия части функциональности тестируемого компонента, связанной со структурными и поведенческими свойствами, описание которых не сосредоточено в отдельных функциях (т.е. описание рассредоточено по компоненту).

Критерий тестирования функций объединяет отчасти особенности структурных и функциональных критериев. Он базируется на модели «полупрозрачного ящика», где явно указаны не только входы и выходы тестируемого компонента, но также состав и структура используемых методов (функций, процедур) и классов.

· Комбинированные критерии для программ и спецификаций - набор тестов в совокупности должен обеспечить проверку всех комбинаций непротиворечивых условий программ и спецификаций не менее одного раза. При этом все комбинации непротиворечивых условий надо подтвердить, а условия противоречий следует обнаружить и ликвидировать.

Стохастические критерии (класс III).

Стохастическое тестирование применяется при тестировании сложных программных комплексов - когда набор детерминированных тестов (X, Y) имеет громадную мощность. В случаях, когда подобный набор невозможно разработать и исполнить на фазе тестирования, можно применить следующую методику.

· Разработать программы-имитаторы случайных последовательных входных сигналов {x}.

· Вычислить независимым способом значения {y} для соответствующих входных сигналов {y} и получить тестовый набор {X,Y}.

· Протестировать приложение на тестовом наборе {X,Y}, используя два способа контроля результатов:

1. Детерминированный контроль - проверка соответствия вычисленного значения значению y, полученному в результате прогона теста на наборе {x} - случайной последовательности входных сигналов, сгенерированной имитатором.

2. Стохастический контроль - проверка соответствия множества {}, полученного в результате прогона тестов на наборе значений {x}, заранее известному распределению результатов F(Y). В этом случае множество y неизвестно (его вычисление невозможно), но известен закон распределения данного множества.

Критерии стохастического тестирования:

· Статистические методы окончания тестирования - стохастические методы принятия решений о совпадении гипотез о распределении случайных величин. К ним принадлежат широко известные: метод Стьюдента (St), метод Хи-квадрат (x 2) и т.п.

· Метод оценки скорости выявления ошибок - основан на модели скорости выявления ошибок, согласно которой тестирование прекращается, если оцененный интервал времени между текущей ошибкой и следующей слишком велик для фазы тестирования приложения.

Мутационный критерий (класс IV).

Постулируется, что профессиональные программисты пишут сразу почти правильные программы, отличающиеся от правильных мелкими ошибками или описками типа - перестановка местами максимальных значений индексов в описании массивов, ошибки в знаках арифметических операций, занижение или завышение границы цикла на 1 и т.п. Предлагается подход, позволяющий на основе мелких ошибок оценить общее число ошибок, оставшихся в программе.

Подход базируется на следующих понятиях:

Мутации - мелкие ошибки в программе.

Мутанты - программы, отличающиеся друг от друга мутациями.

Метод мутационного тестирования - в разрабатываемую программу P вносят мутации, т.е. искусственно создают программы-мутанты P1, P2…Затем программа P и ее мутанты тестируются на одном и том же наборе тестов {X,Y}.

Если на наборе {X,Y} подтверждается правильность программы P и, кроме того, выделяются все внесенные в программы-мутанты ошибки, то набор тестов (X,Y) соответствует мутационному критерию, а тестируемая программа объявляется правильной.

Если некоторые мутанты не выявили всех мутаций, то надо расширять набор тестов (X,Y) и продолжать тестирование.

Автоматизированная WEB-система тестирования студентов

Процесс тестирования данного программного продукта был разделен на 2 этапа: · тестирование пользовательской страницы представлено в таблице №11. Таблица №11...

Автоматизированная кроссплатформенная система тестирования студентов

Процесс тестирования данного программного продукта был разделен на 2 этапа: · тестирование пользовательского продукта представлено в таблице №11. Таблица №11...

Исследование алгоритмов управления ресурсами однопроцессорных серверов при оперативной обработке задач (алгоритмы SPT и RR)

Используются следующие критерии, позволяющие сравнивать алгоритмы краткосрочных планировщиков: 1. утилизация CPU (использование) CPU utilization. утилизация CPU теоретически может находиться в пределах от 0 до 100%...

Классификация автоматизированных систем управления

Классификация АСУ существенным образом зависит от критериев классификации...

Концепция построения дистрибутива

Как известно, по сей день человечество придумало лишь два способа управления программным обеспечением - сборку их непосредственно из пакетов исходных текстов и установку из перекомпилированных бинарных пакетов. В соответствие...

Обоснование выбора самого престижного ВУЗа г. Перми

Определим критерии, по которым я буду оценивать предложенные альтернативы. Я выделил 7 основных критериев: 1. Мнение общественности. Это самый важный критерий, на котором основывается имидж ВУЗа. 2. Узнаваемость. Известность ВУЗа также важна...

Проект локальной вычислительной сети второго этажа школы № 19

Основным критерием приемки является соответствие готового проекта требованиям заказчика, а также качество выполняемых работ...

Разработка web-сайта "Магазин детских игрушек"

5. Подсистема вывода на экран справочной системы для пользователя; 6. Подсистема вывода на экран сведений о программе. 2...

Разработка мультимедийного электронного учебника

Размещено на http://www.allbest...

Разработка мультимедийного электронного учебника по дисциплине "Компьютерные сети"

Одним из критериев выбора хостинга является используемая операционная система, поскольку от этого зависит программное обеспечение, которое будет поддерживать функциональность тех или иных сервисов...

Тестирование ЛВС АКБ

Для описания состояния сети был выбран метод пороговых значений суть которого заключается в сравнении каждого измеряемого значения с табличным рекомендуемым значением...

1. Критерий должен быть достаточным , т.е. показывать, когда некоторое конечное множество тестов достаточно для тестирования данной программы.
2. Критерий должен быть полным , т.е. в случае ошибки должен существовать тест из множества тестов, удовлетворяющих критерию, который раскрывает ошибку.
3. Критерий должен быть надежным , т.е. любые два множества тестов, удовлетворяющих ему, одновременно должны раскрывать или не раскрывать ошибки программы
4. Критерий должен быть легко проверяемым , например вычисляемым на тестах

Для нетривиальных классов программ в общем случае не существует полного и надежного критерия , зависящего от программ или спецификаций.

Поэтому мы стремимся к идеальному общему критерию через реальные частные.

Классы критериев

1. Структурные критерии используют информацию о структуре программы (критерии так называемого "белого ящика")
2. Функциональные критерии формулируются в описании требований к программному изделию (критерии так называемого "черного ящика" )
3. Критерии стохастического тестирования формулируются в терминах проверки наличия заданных свойств у тестируемого приложения, средствами проверки некоторой статистической гипотезы.
4. Мутационные критерии ориентированы на проверку свойств программного изделия на основе подхода Монте-Карло.

Структурные критерии (класс I).

Структурные критерии используют модель программы в виде "белого ящика", что предполагает знание исходного текста программы или спецификации программы в виде потокового графа управления. Структурная информация понятна и доступна разработчикам подсистем и модулей приложения, поэтому данный класс критериев часто используется на этапах модульного и интеграционного тестирования ( Unit testing , Integration testing ).

Структурные критерии базируются на основных элементах УГП, операторах, ветвях и путях.

• Условие критерия тестирования команд (критерий С0) - набор тестов в совокупности должен обеспечить прохождение каждой команды не менее одного раза. Это слабый критерий, он, как правило, используется в больших программных системах, где другие критерии применить невозможно.
• Условие критерия тестирования ветвей (критерий С1) - набор тестов в совокупности должен обеспечить прохождение каждой ветви не менее одного раза. Это достаточно сильный и при этом экономичный критерий, поскольку множество ветвей в тестируемом приложении конечно и не так уж велико. Данный критерий часто используется в системах автоматизации тестирования .
• Условие критерия тестирования путей (критерий С2) - набор тестов в совокупности должен обеспечить прохождение каждого пути не менее 1 раза. Если программа содержит цикл (в особенности с неявно заданным числом итераций), то число итераций ограничивается константой (часто - 2, или числом классов выходных путей).

Таблица 3.1. Условия операторов if

	(30,0)	(17,17)	(-13,0)	(21,-4)
2 if (x>17)	>			>
4 if (x==-13)			=

Критерий путей С2 проверяет программу более тщательно, чем критерии - C1, однако даже если он удовлетворен, нет оснований утверждать, что