Система распознавания изображений животных в видеопотоке

Введение 8
1 Обзор существующих систем наблюдения за животными 9
1.1 Сравнение аналогов информационных наблюдения за животными 9
1.1.1 Охотничья камера Outlife HT-001 9
1.1.2 Проект с открытым исходным кодом PiBat Wildlife Camera 10
1.1.3 Проект с открытым исходным кодом Fritz Pet Monitor Trello 12
1.1.4 Результаты сравнений 13
1.2 Выбор технологий для разработки системы 15
1.3 Вывод в первый раздел 18
2 Проектирование системы распознавания образов в видеопотоке с использованием предельных вычислений 19
2.1 Цель и задачи ИС 19
2.2 Типы пользователей 21
2.3 Функциональные требования 21
2.4 Нефункциональные требования 24
2.5 Идентификация архетипа ИС 26
2.6 Пользовательский интерфейс (UI View) 26
2.7 Логическое представление о ИС (Logical View) 28
2.8 Представление развертывания ИС (Deployment View) 29
2.9 Представление слоев ИС (Design View) 30
2.10 Представление процессов ИС (Process View) 33
2.11 Представление данных ИС (Data View) 38
2.12 Представление коммуникаций ИС (Communication View) 39


2.13 Представление безопасности ИС (Security View) 41
2.14 Алгоритмическое представление ИС (Algorithm View) 42
2.15 Описание стека технологий 43
2.16 Вывод ко второму разделу 44
3 Реализация системы распознавания образов в видеопотоке с использованием предельных вычислений 46
3.1 Представление о структуре проекта ИС 46
3.2 Представление о классах ИС 48
3.3 Операционное представлений ИС (Operational View) 50
3.4 Инфраструктурное представление ИС (Infrastructure View) 51
3.5 Стратегия доставки товара (Delivery Strategy View) 52
3.6 Документация ИС 52
3.7 Управление программным кодом ИС 52
3.8 Расчет метрики программного кода ИС 53
3.9 Контрольный список по качеству реализации ИС 54
3.10 Разработка тест-плана 55
3.11 Разработка тест-кейсов для функционального тестирования 56
3.12 Протокол проведения функционального тестирования 59
3.13 Протокол проведения модульного тестирования 62
3.14 Проведение тестирования качества оптимизации нейронной сети 65
3.15 Проведение тестирования объемом 66
3.16 Выводы к третьему разделу 67
4 Охрана труда 68
4.1 Анализ условий труда на рабочем месте программиста 68
4.1.1 Организация рабочего места инженера-программиста 68
4.1.2 Микроклимат рабочей зоны инженера-программиста 70
4.1.2.1 Нормирование параметров 70
4.1.2.2 Инженерные (технические) решения по охране труда 72
4.1.3 Освещение рабочего места 74
4.1.4 Влияние шума на инженера-программиста 76
4.1.5 Производственные излучения 77
4.1.6 Электробезопасность. Статическое электричество 78
4.1.7 Тяжесть и напряженность труда 79
4.2 Разработка мероприятий по охране труда 80
4.2.1 Эргономика и организация рабочего места 80
4.2.2 Нормализация воздуха рабочей зоны 82
4.2.3 Производственное освещение 83
4.2.4 Защита от производственного шума 83
4.2.5 Защита от электромагнитных полей 84
4.2.6 Электробезопасность 84
4.3 Пожарная безопасность 85
4.3.1 Причины возникновения пожара 86
4.3.2 Профилактика пожара 87
4.4 Вывод в четвертой главы 98
Выводы 90
Перечень ссылок 92
Приложение А Листинг программного кода 94

1.1 Порівняння аналогів інформаційних спостереження за тваринами

Перед початком робочого процесу треба провести дослідження предметної області та знайти існуючи аналоги майбутньої системи. Це дозволить зрозуміти, які потреби до продукту існують на ринку, та як можна зробити здатний до конкуренції продукт.
Оскільки запланована система використовує досить сучасні принципи, такі як розпізнавання образів та граничні, треба порівняти заплановану систему як з існуючими, перевіреними часом комерційними продуктами, так і з експерементальними open-source проектами.
В результаті пошуку аналогів було знайдено три системи:
• мисливська камера Outlife HT-001;
• проект з відкритим вихідним кодом PiBat Wildlife Camera;
• проект з відкритим вихідним кодом Fritz Pet Monitor.
...

1.1.1 Мисливська камера Outlife HT-001

Outlife HT-001 – мисливська камера, метою якої є отримання фотографій диких тварин в екстремальних умовах (рис 1.1, аркуш 10) [1]. Принцип роботи пристрою заснований на використанні інфрачервоних датчиків для визначення руху в області спостереження. Максимальна дистанція розпізнавання - 20 метрів.

Рисунок 1.1 – зовнішній вигляд пристрою Outlife HT-001

Пристрій може реагувати на рух з інтервалом 1, 5, 10, 30 секунд або хвилин, та може буди сконфігурований на запис відео замість створення фотографій. На кожному вихідному зображенні нанесени мітка часу і дати та температура зовнішньої середи.
Збереження медіа-файлів відбувається на MicroSD карту або зовнішній пристрій підключений за допомогою інтерфейсу USB. Пристрій не має можливості зберігати результати спостереження у текстовому форматі або бути підключеним до бездротової мережі.

1.1.
...

1.1.2 Проект з відкритим вихідним кодом PiBat Wildlife Camera

PiBat Wildlife Camera - система стеження за тваринами на платформі Raspberry Pi Zero W (рис 1.2) [2].

Рисунок 1.2 – зовнішній вигляд пристрою PiBat Wildlife Camera

Принцип роботи пристрою заснований на використанні іншого проекту з відкритим кодом, - PiKrellCam - для визначення руху в області спостереження. Максимальна дистанція розпізнавання - 20 метрів.
PiKrellCam - програма для виявлення руху аудіо / відео з веб-інтерфейсом OSD, який виявляє рух за допомогою векторів руху Raspberry Pi (рис 1.3) [3].

Рисунок 1.3– веб-інтерфейс PiKrellcam

Завдяки PiKrellCam пристрій може отримати інформацію о потрібності зробити фотографію. Отримані зображення зберігаються на SD-карту. Зображення не містять будь-якої додаткової інформації. Також не має можливості отримати віддалений доступ до пристрою або конфігурувати режим його работи.
...

Таблиця 1.1 – Результати порівнянь аналогів
Ознаки
Назва системи

Outlife HT-001
PiBat Wildlife Camera
Fritz Pet Monitor
Дипломна робота
Платформа
Власна, закрита
Raspberry Pi
Android
Raspberry Pi
Аналіз відеопотоку в реальному часі
●
●
●
●
Можливість зберегти вихідні зображення на зовнішній носій
●
●
○
●
Можливість реагувати лише на обрані види тварин
○
○
●
●
Можливість відправити відправити зображення за допомогою бездротової мережі
●
○
○
●
Можливість змінювати бажаємий вид тварин для спостереження без затрат на створення нової моделі
○
○
○
●
Можливість використовати вимогливі до ресурсів архітектури системи розпізнавання образів
○
○
○
●

Таким чином розробляєма система э продовженням ідей кожної з приведених систем, об'єднуючи відкритість до модифікацій некомерційних і функціонал комерційних проектів, а також застосовуючи сучасні алгоритми і принципи для збільшення якості інформації на виході системи.


1.2 Вибір технологій для розробки системи

Розглянемо технології, які будуть використатися під час розробки.
В якості основого пристрою буде обрано Raspberry Pi 3B+.
Raspberry Pi — одноплатний комп'ютер, розроблений британським фондом Raspberry Pi Foundation [7]. Спочатку даний пристрій було створено в навчальних цілях, проте його комерційне використання стає все більш повсюдним.
Розпізнавання образів буде проводитися завдяки нейростіку Intel Movidius Neural Compute Stick.
Intel Movidius Neural Compute Stick - це модульний прискорювач штучного інтелекту в стандартному форм-факторі USB 3.0 [8]. Розроблений для розробників продуктів, дослідників і виробників, нейростік Intel Movidius спрямований на надання можливості використання принципів глибокого навчання на мобільних системах, завдяки зручному форм-фактору та гибкому API.
...

1.3 Висновок до першого розділу

В результати проведення порівняння аналогів були розглянуті три системи, що мають в собі cхожий функціонал. На підставі їх переваг і недоліків було розроблено бачення системи, що дозволяє забезпечити всі необхідні загальноукраїнські організації функцій, спрямованих на проведення спостереження за дикими тваринами.
Також були розглянуті основні технології, які будуть потрібні на етапі реалізації системи. Всі технології є безкоштовними та розповсюджуються за відкритими, вільними ліцензіями, а тому їх використання не накладає ніяких обмежень.
Система буде складатися з двох застосовань, одне з яких буде працювати на пристрою Raspberry Pi та відповідати за розпізнавання образів та збереження результатів, а інше – за надання користувачу зручного інтерфейсу взаємодії з системою у якості Angular веб-клієнту.
Середою розробки було обрано Microsoft Visual Studio.
...

2.1 Мета та задачі ІС

Розробляєма інформаційна система – це клієнт-серверне застосовання, основною функцією якого є надання користувачу обробленої інформації про наявність в відеопотоці шуканих образів.
Мета ІС: інформаційна система повинна збирати та аналізувати необхідну інформацію з відеопотоку в автономному режимі, а також надавати зручний веб-інтерфейс для її отримання у текстовому форматі або у виді зображень з наненсими на них обмежувальними паралелепіпедами.
Цільова аудиторія: громадські організації із захисту тварин; вчені, які досліджують популяції тварин, області їх проживання, залежність переміщення тварин від факторів навколишнього середовища.
...

2.2 Типи користувачів

В розробляємій інформаційній системі можливий лише один тип користувачів – це оператор системи.
Повний функціонал програми доступний адміністратору та авторизованим користувачам, якщо користувач не має аккаунту, йому необхідно буде зареєструватися, однак він може переглядати стрічку популярних ідей і виконувати пошук по ідеям. Інформаційна система має певні функції, які на мові UML вказуються на діаграмі варіантів використання. Найголовніші варіанти використання наведені в таблиці 2.1.

Таблиця 2.
...

2.3 Функціональні вимоги

Вимога 1 – налаштування серверного пристрою
F1.1 Функція налаштування системи розпізнавання образів
FR1.1.1 Оператор системи має можливість обрати класи об’єктів, інформація про виявлення яких повинна бути збереженаю. Назви класів повинні бути розміщені у файлі формату .txt на зовнішньому носії що підтримує інтерфейс USB мінімальної версії 2.0. Файл повинен бути розміщений у корені носія. Назва файлу має бути “Classes.txt”.
FR1.1.2 Обмеження: назви класів повинні міститися у списку підтримуваних класів, що можно знайти у документації до пристрою. Класи, що не містяться у списку підтримуваних класів, будуть проігноровані.
FR1.1.3 Обмеження: якщо зовнішній носій відсутній, розпізнавання образів проводитися не буде.
FR1.1.4 Обмеження: якщо не знайдено жодного підтримуваного класу, розпізнавання образів проводитися не буде.
F1.2 Функція управління станом пристрою
FR1.2.
...

2.4 Нефункціональні вимоги

NF1. Серверне застосовання повинно працювати незалежно від наявності підключення до мережі интернет.
NF2. Застосовання повинен мати максимально автономним, тобто здатним продовжувати роботу в разі помилок, втрати з'єднання до мережі Інтернет або закінчення місця на накопичувачі.
NF3. Застосовання має швидко працювати та мати зручний інтерфейс користувача.
NF4. Клієнтьска частина застосовання має працювати завдяки будь-якому актуальному веб-браузеру.
NF4. Нейронна мережа повинна мати точніть розпізнавання більше ніж 50%.
Вимоги визначають можливості застосування, отже на підставі списку вимог можна побудувати діаграму варіантів використання (рис 2.2, аркуш 25) ІС.
Для детальнішого розгляду процесу є можливість побудови додактові, більш детальніші диаграми використання. Наприклад, побудуємо діаграму прецедентів для блоку отримання інформації з пристрою (рис. 2.3, аркуш 25).
...

2.5 Ідентифікація архетипу ІС

Інформаційна система буде мати клієнт-серверну архітектуру. Клієнтська частина являє собою веб-застосовання, розроблений завдяки фреймворку Angular 7. Серверна частина буде розроблена завдяки фреймворку Flask та мові програмування Python. Завдяки архітектурі можна зробити висновок, що інформаційна система відноситься до архетипу Mixed Application (MA). Вона компонує у собі Service Application (SA) та Rich WEB Application (RWA).

2.6 Користувацький інтерфейс (UI View)

Для наглядної візуалізації майбутньої системи розробимо набір макетів.
При переході на URL веб-клієнту, оператор системи має можливість побачити сторінку підключення.Ця сторінка складається з інструкції щодо підключення, форми підключення та кнопки «Підключитися» (рис. 2.4).

Рисунок 2.4 – Сторінка клієнту призначена для підключення до пристрою

Для підключення до пристрою оператору системи повинно ввести IP-адресу та порт пристрою у відподвідні поля форми.
...

2.15 Опис стеку технологій

Технології, що використовуються у клієнтському застосованні:
• Мова TypeScript 3.2.2 (https://www.typescriptlang.org/) – надбудова над Javascript з підтримкою статичної перевірки типів.
• Мова розмітки HTML5 – найсучасніша версія мови розмітки веб-сторінок.
• Мова стилів SCSS – препроцсеор, що дозволяє використовувати домішки і успадкування стилів.
• Фреймворк Angular 7.3.7 (https://angular.io/) - потужний фреймворк для створення SPA-застосовань з чіткою архітектурою.
• Бібліотека Angular Material 7.3.7 (https://material.angular.io/) – набор компонентів, що відповідають стандартам Material Design.
• Бібліотека moment.js 2.24.0 9 (https://momentjs.com/) – бібліотека для роботи з датами, що робить локалізацію застосовання та форматування дат зрічнішими.
• Бібліотека RxJS 6.3.3 (https://www.npmjs.com/package/rxjs) - бібліотека для реактивного програмування, що використається для управління станом застосовання.
...

3.1 Уявлення про структуру проекту ІС

Клієнтська частина, завдяки можливостям фреймворку Angular, дозволяє розробляти модульне застосовання, поділене на окремі частини, що здатні для повторного використання.
Структура клієнтської частини зображена на рис 3.1

Рисунок 3.1 – Структура проекту, клієнтська частина
Клієнтська частина містить в собі:
• пакет assets містить у собі ресурси, що використовуються у користувацькому інтерфейсі, а саме глобальні стилі та шаблонні зображення.
• пакет app, який містить у собі код клієнтської частини проекту. Кожна діректорія внутри пакету app відповідає окремому модулю. Кожний модуль складається з компонентів, які містять у собі файл розмітки, файл стилів, файл лоігки та файл тестів.
Окремо міститься shared-модуль, тобто набір файлів, що використовуються в усіх частинах застосовання.
...

1. Outlife HT-001 [Электронный ресурс] / The Gadget Lion - статья - Режим доступа: https://thegadgetlion.com/outlife-ht-001-night-vision-trail-camera-104-p.asp.
2. PiBat Wildlife Camera [Электронный ресурс] / PetaPixel - Режим доступа: https://petapixel.com/2018/02/06/motion-detecting-wildlife-camera-made-raspberry-pi/
3. PiKrellCam [Электронный ресурс] GitHub-репозиторий - Режим доступа: https://github.com/billw2/pikrellcam.
4. Инструкция по развертыванию PiKrellCam [Электронный ресурс] / GitPages-статья - Режим доступа: http://billw2.github.io/pikrellcam/pikrellcam.html
5. Fritz SDK. [Электронный ресурс] / Fritz - Режим доступа: https://www.fritz.ai/

и еще 16 источников