Тестирование и отладка программ: виды тестирования, тестирование надежности, организация процесса тестирования

Актуальность работы. Тестирование программного обеспечения (ПО) играет значительную роль при его разработке, как комплекс мер для получения качественного программного продукта. Качество ПО, созданного разработчиками, в значительной степени зависит от работы тестировщиков. Соответственно, актуальным является осуществление анализа и контроля деятельности тестировщиков путем оценки эффективности тестирования.
Тестирование программного обеспечения это проверка соответствия реальной и ожидаемой поведения программы, осуществляется на конечном наборе тестов, избранные должным образом

Введение 3
1. Обзор и анализ научной литературы по тестированию и отладка программ 5
1.1 Основное определение 5
1.2 История возникновения тестирования программного обеспечения 7
1.3 Обзор литературы по тестированию программ 8
2. Тестирование и отладка программ 15
2.1. Виды тестирования 15
2.2 Тестирование надежности 19
2.3. Организация процесса тестирования 24
3. Тестирование и отладка программ на примере мультикритериального веб-приложения 26
3.1 Настройка системы непрерывного интеграции проекта 26
3.2 Программная реализация функциональных тестов веб-приложения 30
3.3 Программная реализация модульного тестирования веб-приложения 35
3.4 Программная реализация тестирования прикладного программного интерфейса веб-приложения 39
Заключение 41
Список литературы 43
Приложение 45

1.1 Основное определение

Тестированием программного обеспечения представляет собой исследование, исполненное для определения заинтересованным сторонам информации о качестве продукта или сервиса при их испытании.
Тестирование программного обеспечения также может дать объективную, независимую от программного обеспечения оценку, что позволит бизнес - сектору оценить и понять риски, связанные с реализацией тестируемого программного обеспечения.
Методы тестирования включают в себя процесс выполнения программы или приложения с целью обнаружения ошибок в программном обеспечении (ошибки или другие дефекты).
Тестирование программного обеспечения включает в себя выполнение программного компонента или компонента системы для оценки одного или нескольких необходимых свойств, представляющих интерес.
...

1.2 История возникновения тестирования программного обеспечения

Основные принципы тестирования программного обеспечения возникли в 1950-х годах. Однако было установлено, что данный вид тестирования, к сожалению, было не в состоянии обнаружить все ошибки.
В 1960-е и 1970-е годы был разработан метод, известный как «доказательство корректности», но это на его применение тратилось достаточно много времени, и при этом система тестировалась недостаточно. Следующий метод тестирования программного обеспечения был разработан в конце 1970-х годов, по этому методу пытались найти ошибки в системе, которые еще не были обнаружены. В каком-то роде, этот метод 6 являлся усовершенствованием предыдущего метода, в котором применялось последующее удаление обнаруженных ошибок.
...

1.3 Обзор литературы по тестированию программ

Рекс Блэк. «Ключевые процессы тестирования – планирование, подготовка, проведение, совершенствование»[7]. В первой части книги исследуются процессы, связанные с пониманием того, какие работы по тестированию нужно выполнить. Это самая большая по объему часть книги, поскольку на этом этапе процесса тестирования закладывается основа успеха. Сначала исследуются место работ по тестированию в проекте, затем изучаются риски, которые тестирование позволяет снизить. Заложив фундамент, исследуются еще два процесса: оценка и планирование. Разобравшись с графиками и затратами и оставив позади детали стратегии и тактики, осуществляется переход к следующей части книги – подготовке успешного тестирования. Во второй части книги изучаются процессы, относящиеся к формированию эффективной и производительной группы тестировщиков и эффективной и производительной системы тестов. Обязательно должны присутствовать как и группа тестирования, так и система тестов.
...

2.1. Виды тестирования

На данный момент существуют различные виды тестирования, а именно:
Регрессионное тестирование, которое проводится с целью проверить, не влияют ли новые функции, улучшения и исправленные дефекты на существующую функциональность продукта.
Функциональное тестирование, т.е. тестирование функций приложения на соответствие требованиям. Оценка производится в соответствии с ожидаемыми и полученными результатами, при условии, что функции отрабатывали на различных значениях [2].
Тестирование графического интерфейса пользователя предполагает проверку соответствия приложения требованиям к графическому интерфейсу.
Тестирование безопасности – оценка уязвимости программного обеспечения к различным атакам.
Компьютерные системы очень часто являются мишенью незаконного проникновения. Под проникновением понимается широкий диапазон действий: попытки хакеров проникнуть в систему из спортивного интереса, месть рассерженных служащих, взлом мошенниками для незаконной наживы.
...

2.2 Тестирование надежности

Одной из основных характеристик качества ПО является надежность. Надежность - это свойство ПО сохранять работоспособность в течение определенного периода времени, в определенных условиях эксплуатации с учетом последствий для пользователя каждого отказа. Работоспособным называется такое состояние ПО, при котором оно способно выполнять заданные функции с параметрами, установленными требованиями технического задания. С переходом программного средства в неработоспособное состояние связано событие отказа. Основным средством оценки и прогнозирования надежности являются модели надежности. Модель надежности программного средства – это математическая модель, построенная для оценки зависимости надежности ПС от заранее известных или оцененных в ходе тестирования параметров. Существует два разных типа моделей надежности: эмпирические; аналитические.
Эмпирические модели в основном базируются на анализе структурных особенностей программного средства.
...

2.3. Организация процесса тестирования

Тестирование программного продукта одновременно проводится в 3-ёх направлениях:
1. Проверка кода (review): Тестер просматривает исходный код визуально и пытается найти нём ошибки, а так же различные несоответствия кода и требований к нему. Под требованием понимается стандарт, которого придерживается разработчики данного проекта, реакция на те или иные действия со стороны среды воздействия на ПО, поведение программного продукта в различных ситуациях.
2.Тестирование высокого уровня: Здесь главная цель тестирования - выяснить, удовлетворяет ли разработка всем требованиям заказчика. Для программного продукта пишутся эмуляторы, с помощью которых тестер может наблюдать за работой системы в роли оператора. Он видит, как система осуществляет диалог с пользователем, какие сообщения она выдаёт, как реагирует на различные события, сохраняет информацию и т.д..
...

3.1 Настройка системы непрерывного интеграции проекта

Систему тестирования будем реализовывать на базе системы Vidfall. Данный веб-сервис написан на языке программирования РНР. Итак, для объединения всех видов тестирования и непрерывной развертки инепрерывного автоматического тестирования системы настроим сервер непрерывной интеграции Jenkins. Благодаря этому мы и получим сплошную систему тестирования веб-приложения. После успешной установки стартовая страница Jenkins выглядеть, как показано на рисунке 3.1 (см. Приложение).
Перейдем к созданию проекта. Для этого выбираем пункт меню «Новый Item», вводим название проекта (VF) и его тип, в данном случае - freestyle project (рис. 3.2, см. Приложение). Проект VF будет предназначен для unit тестов.
...

3.2 Программная реализация функциональных тестов веб-приложения

Для написания Selenium тестов сначала обязательно нужно подключить необходимые библиотеки. Оператор package, сообщает транслятору, в каком пакете должны определяться классы, в этом файле. Пакеты задают набор раздельных пространств имен, в которых хранятся имена классов. Если оператор package не указано, классы попадают в безымянное пространство имен, используемое по умолчанию. Поэтому указываем необходимый путь: package com.wv.vf.ui;
После оператора package, и к любому определению классов в исходном Java-файле, может присутствовать список операторов import. Пакеты являются хорошим механизмом для отделения классов друг от друга, поэтому все встроенные в Java классы хранятся в пакетах. Поэтому следующими будут команды import для всех нужных элементов [16].
WebDriver - это наименование ключевого интерфейса с использованием, которого должны писаться тесты, однако существует несколько реализаций этого интерфейса.
...

3.3 Программная реализация модульного тестирования веб-приложения

Каждый unit тест будем писать в отдельный файл. Например, возьмем файл User.php. В нем есть функция getProfilePercentage (), которая обсчитывает количество процентов заполнения профиля пользователя информацией.
...

3.4 Программная реализация тестирования прикладного программного интерфейса веб-приложения

АРI тесты будем реализовывать для каждой отдельной функции. По АРI тестам реализуется метод тестирования «черного ящика», то есть мы знаем, что подается на вход функции, и знаем каким должен быть результат. Основываясь на этом принципе реализуем АРI тест для функции userChangePassword () - изменение пароля пользователя.
На вход функции поступают три параметра: auth_token - специальный уникальный код для АРI авторизации пользователя, который открывает доступ к его данным. По умолчанию он уже передан функции; password - настоящий пароль пользователя; password_new - пароль пользователя.
На выходе мы получаем ответ сервера в формате JSON - текстовый формат обмена данными между компьютерами. В нем содержится код состояния HTTP - ответ сервера при запросе по протоколу HTTP, переменная, сообщает о успешное или неуспешно выполнения функции, а в случае ошибки - сообщение с чем возникли проблемы.
...

Заключение
В настоящем, с развитием программного обеспечения, возникает вопрос его надежности. Высокое качество функционирования программного обеспечения можно получить благодаря тестированию как процесса выявления дефектов. Не надежное программное обеспечение, не прошло процесс тестирования, может обернуться большими потерями для предприятия или компании. Поэтому и возникает необходимость развития методов тестирования программного обеспечение. Для того, чтобы повысить качество исходного продукта стоит воспользоваться не одним методом тестирования. Именно поэтому актуальным является построение целой системы тестирования программного обеспечения.
Исходя из этого, в данной работе было рассмотрено тему: "Тестирование и отладка программ: виды тестирования, тестирование надежности, организация процесса тестирования".
...

1 http://en.wikipedia.org/wiki/Software_testing.
2 Синицын С. В., Налютин Н. Ю. Верификация программного обеспечения — М.: БИНОМ, 2016. — 368 с.
3 Калбертсон Роберт, Браун Крис, Кобб Гэри Быстрое тестирование. — М.: «Вильямс», 2012. — 374 с.
4 Биндер Роберт В.. Testing Object-Oriented Systems: Objects, Patterns, and Tools. Addison-Wesley Professional. стр. 45
5 Лайза Криспин, Джанет Грегори Гибкое тестирование: практическое руководство для тестировщиков ПО и гибких команд = Agile Testing: A Practical Guide for Testers and Agile Teams — М.: «Вильямс», 2016. — 464 с.
6 Элфрид Дастин, Джефф Рэшка, Джон Пол. Автоматизированное тестирование программного обеспечения. Внедрение, управление и эксплуатация. Издательство Лори. 592 с. 2013
7 Рекс Блэк. «Ключевые процессы тестирования – планирование, подготовка, проведение, совершенствование» - Издательство Лори. 544 с. 2016
8 Святослав Куликов. «Тестирование программного обеспечения. Базовый курс». Версия книги 1.0.8 от 09.06.2016. 289 с.
9 Джеймс Уиттакер, Джейсон Арбон, Джефф Каролло. Как тестируют в Google. Издательство Питер. 320 с. 2014.
10 Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений: Пер. с англ./Сэм Канер, Джек Фолк, Енг Кек Нгуен. — К.: Издательство «ДиаСофт», 2016. — 544 с.
11 Про тестинг. Тестирование программного обеспечения основные понятия и определения [Електронний ресурс]. – Режим доступа к ресурсу: http://www. protesting.ru/testing/.
12 Википедия. Качество программного обеспечения [Электронный ресурс]. – Режим доступу до ресурсу: http://ru.wikipedia.org/wiki/Качество_программного_обеспечения.
13 Словари и энциклопедии на Академике. Дефект [Электронный ресурс] – Режим доступа к ресурсу: http://dic.academic.ru/dic.nsf/business/3512.
14 Канер С. Тестирование программного обеспечения / С. Канер, Д. Фолк, Е. Нгуен Е. – К.: ДиаСофт, 2016. – 544 с.
15 Майерс Г. Искусство тестирования программ / Г. Майерс. – М.: Финансы и статистика, 2016.
16 Программирование на языке JAVA. [Электронный ресурс]: А.В. Картузов. – 2013. – Режим доступа: http://www.mstu.edu.ru/study/materials/java/
17 Хабрахабр. Composer — менеджер зависимостей для PHP. [Электронный ресурс]: Р.И. Ружков. – 2012. – Режим доступа: https://habrahabr.ru/post/145946/
18 DevColibri. Unit тестирование с JUnit. [Электронный ресурс]: А.Р. Шуляк. – 2013. – Режим доступf : http://devcolibri.com/864
19 International Forum of Educational Technology & Society [Электронный ресурс]. – Режим доступа : http://ifets.ieee.org/.
20 International Journal of Artificial Intelligence in Education (IJAIED) [Электронный ресурс]. – Режим доступа : http://aied.inf.ed.ac.uk/
21 FreshKnowledge CMS - онтологически-ориентированная система управления контентом, разработанная соискателем [Электронный ресурс]. – Режим доступа : http://www.freshknowledge.net.