РАЗРАБОТКА ЭЛЕКТРОМЕХАНИЧЕСКОГО ПРОТЕЗА КИСТИ РУКИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ НЕЙРОИНТЕРФЕЙСА И СИСТЕМЫ ОБРАТНОЙ СВЯЗИ ДЛЯ ПРИМЕНЕНИЯ В ПРОТЕЗИРОВАНИ

ВВЕДЕНИЕ

Актуальность

Несмотря на стремительное развитие технологий и научные достижения, сфера протезирования на сегодняшний день остается не настолько развитой, чтобы предоставить широкий выбор протезов как в функциональном, так и финансовом плане. Более того, спрос на протезы верхних конечностей в основном удовлетворяют либо косметические протезы, которые не позволяют восстановит какие либо функции утраченной конечности, либо тяговые, у которых вариативность движений ограничена возможностью осуществления хвата, а уже более функциональные варианты оказываются во многие разы дороже. Тем временем по всему миру существует большое количество людей, нуждающихся в протезировании, в том числе протезировании кисти руки.

Текущая работа рассчитана на то, чтобы в одном проекте решить как проблему ограниченной функциональности, так и проблему высокой стоимости посредством внедрения современных технологий, а также инновационных инженерных решений, полученных в результате исследований и испытаний.

Новизна

На сегодняшний день нельзя сказать, что предметная область функционального электромеханического протезирования сформирована полностью, так как существует лишь несколько заметных компаний, количество которых можно пересчитать по пальцам. В рассмотрение берутся лишь те компании, которые занимаются разработкой и выпуском электромеханических протезов, отвечающих современным ожиданиям. В первую очередь следует выделить компанию RSLSteeper, которая занимается протезированием уже на протяжении 90 лет. Главным ее продуктом можно считать линейку бионических рук BeBionic, чей функционал вполне отвечает сегодняшним требованиям. Также следует выделить компанию Touch Bionics, которая начала установку протезов еще в 2007 году. В 2014 году компания представила разработку i-Limb Revolution, в которой отчасти решила проблему осуществления движений с помощью

22

непосредственно запястья. Среди российских компаний, занимающихся высокотехнологичным функциональным протезированием, следует отметить компанию “Моторика” с её бионическим протезом “Страдивари”, который позволяет работать с хрупкими и мелкими предметами, управляя силой и скоростью хвата. Несмотря на все возможности, предоставляемые данными разработками, их основным недостатком остается очень высокая цена: по данным на середину 2019 года стоимость протеза BeBionic 3 в России составляла порядка 2.1 - 2.4 млн рублей. Остальные же протезы с биоэлектрическим способом управления стоят порядка 350-700 тыс. рублей. Гораздо более доступной альтернативой, например, являются протезы, большинство деталей для которых печатается на 3D-принтерах. Например, уже упомянутая выше российская компания “Моторика” сумела разработать технологию тягового протеза, стоимость которого составляет порядка 90 тысяч рублей. На данный момент компания усовершенствовала технологию производства, используя в 3D-печати корпуса и составных частей протеза “Киби” пластик и металл, при этом протез позволяет развивать здоровые мышцы, не давая им атрофироваться. Также данный протез имеет комфортный для повседневного ношения вес.

Отдельно же необходимо упомянуть о применении в протезировании технологий интерфейса мозг-компьютер или, как его очень часто называют, нейроинтерфейса, т.к. одна эта технология в перспективе способна решить сразу нескольких проблем современных функциональных протезов с электромеханическим принципом действия. Устройства такого типа позволяют осуществлять обмен информацией между мозгом человека и компьютером напрямую. Электроды, находящиеся на поверхности головы человека или же вживляемые непосредственно в кору головного мозга, могут осуществлять двунаправленный поток информации: как считывание сигналов самого мозга, так и передача таковых от компьютера. Таким образом, возможно решение проблемы управления протезом, повышение его точности и функциональности, восстановление тактильных ощущений. На сегодняшний день, разработки в этой

23

области ведутся очень активно. Так, например, все наиболее престижные российские и зарубежные вузы располагают специализированными лабораториями, занимающимися исследованиями в области когнитивных наук. Образовательные организации активно инвестируют в исследования и разработки данных лабораторий. Как пример, можно привести лабораторию НИУ ВШЭ под руководством Осадчего Алексея Евгеньевича и лабораторию НИУ МГУ под руководством Каплана Александра Яковлевича. Даже современные IT-компании в разных секторах экономики создают свои лаборатории, направленные на когнитивные исследования. Хороший пример - компания Сбербанк, со своей лабораторией нейронаук. Такой интерес и ощутимые инвестиции, направленные на исследования в этой области уже сейчас дают ощутимые результаты. Ученые уже представили исследования, позволяющие утверждать, что это перспективное направление. Например, уже возможно обеспечение как минимум хватательного движения посредством нейроинтерфейса. Также, на животных проводятся испытания по созданию двунаправленных нейроинтерфейсов, обеспечивающих сенсорные ощущения. В пример можно привести недавний проект компании Neuralink, инвазивный нейроинтерфейс, направленные на контроль внешними электромеханическими устройствами.

Лучше всего, отношение современного научного сообщества и индустриальных компаний к нейро технологиям можно описать, приведя цитату вышеупомянутого ученого и руководителя лаборатории когнитивных технологий НИУ МГУ Каплана Александра Яковлевича, сказанную им в программе ПостНаука

в серии с про нейрокоммуникаторы: “Мне кажется, что технология ‘Интерфейс мозг-компьютер’ приносит совершенно новый этап в развитии техногенных средств коммуникации между человеком и окружающей средой. Электронными и вычислительными средствами для расшифровки электрической активности мозга мы можем добиться прямого понимания намерений мозга еще до того, как мозг отдал команды мышцам.”


24

Таким образом, можно уверенно сказать, что развитие индустрии протезирования, с применением когнитивных технологий для реализации управления, являются одним из наиболее перспективных направлений современной науки и инновационного бизнеса.

Цель работы

Целью работы будет являться создание прототипа электромеханического протеза, корпус которого будет обладать максимальной вариативностью движений. Также конечный прототип должен иметь систему обратной связи, реализующую тактильные ощущения. Помимо этого протез должен управляться посредством интерфейса мозг-компьютер. Наконец главной составляющей поставленной цели будет являться задача протестировать протез на живом человеке.

Задачи

Исходя из поставленной цели были выделены следующие основные задачи:

1. Проектирование эргономичного корпуса с оптимизацией внутреннего пространства и помещением в него всей электромеханической составляющей протеза;

2. Тестирование собранного прототипа, которое включает в себя как движение отдельными пальцами, так и хватательное движение на предметах, используемых в повседневной жизни.

3. Тестирование разработанной системы обратной связи на прототипе.

4. Написание программного кода для управления сервоприводами в фалангах пальцев.

5. Создание пользовательского интерфейса для пользовательской настройки хватов.

6. Разработка и испытание блока питания, обеспечивающего подзарядку от сети 220 В и автономность до 12 часов.

7. Разработка программного кода для управления протезом на основе данных, полученных от нейроинтерфейса.


25

8. Тестирование системы управления с помощью нейроинтерфейса в


нескольких вариациях реализации обработки данных.

ОГЛАВЛЕНИЕ

ЗАДАНИЕ НА ВКР
2

АННОТАЦИЯ НА РУССКОМ ЯЗЫКЕ
17

АННОТАЦИЯ НА АНГЛИЙСКОМ ЯЗЫКЕ
18

ОГЛАВЛЕНИЕ
19

ВВЕДЕНИЕ
22

Актуальность
22

Новизна
22

Цель работы
25

Задачи
25

1. ОБЗОР И АНАЛИЗ
27

1.1. Обзор литературы
27

1.1.1. Использование интерфейса мозг-компьютер EMOTIV EPOC
27

1.1.2. Аппаратная реализация обработки данных
28

1.1.3. 3D печать
29

1.1.4. Протезирование верхних конечностей
30

1.1.5. Robotic Operating System.
31

1.1.6. Анализ различных наборов данных и методов их обработки.
32

1.1.6. Реализация обратной связи
33

1.1.7. Алгоритмы обработки ЭЭГ
34

1.1.8. DLP 3D печать
35

1.1.9. Решенчиеские дерьвья и другие алгоритмы для обработки данных при

создании протезов
36

Выводы из обзора литературы
40

1.2. Сравнительная таблица аналогов
41

2. РАЗРАБОТКА 3D-МОДЕЛИ
42

2.1. Разработка механик движений
42

2.1.1. Разработка механики движения большого пальца
42

2.1.2. Разработка механики движения других пальцев
43

2.2. Разработка корпуса
45

2.2.1. Разработка ладони
46

2.2.2. Разработка предплечья
47

2.3. Нарезка 3D-модели на детали для 3D-печати
49

2.4. Заключение
51

19

3. ИССЛЕДОВАНИЕ НЕЙРОКОМПЬЮТЕРНОГО ИНТЕРФЕЙСА ДЛЯ

УПРАВЛЕНИЯ ПРОТЕЗОМ
53

3.1.
Сбор данных
53

3.2.
Выбор способа разметки данных
53

3.3.
Классификация жестов по изображению
53

3.4.
Получение данных с нейроинтерфейса
56

3.5.
Разметка данных
58

3.5.1. Способ 1.
58

3.5.2. Способ 2.
60

3.6.
Исследование данных
61

3.7.
Преобразование данных (итоговый подход)
65

3.8.
Система управления сервоприводами
68

3.9.
Итоги работы
69


4. РАЗРАБОТКА АППАРАТНЫХ МОДУЛЕЙ
71

4.1. Модуль обратной связи
71

4.1.1. Выбор и обоснование типа обратной связи
71

4.1.2. Принцип работы системы обратной связи
72

4.1.3. Выбор электрических компонентов и их технические характеристики72

4.1.3.1 Датчик силы нажатия FSR06CE
72

4.1.3.2 Вибромотор Olimex
75

4.1.3.3 Микроконтроллер ATmega8
76

4.1.4. Описание используемых технологий микроконтроллера
79

4.1.4.1. Аналого-цифровое преобразование
79

4.1.4.2. Широтно-импульсная модуляция
80

4.1.5. Построение полной электрической схемы системы обратной связи
81

4.1.6. Написание программного кода управления микроконтроллером
84

4.1.7. Проведение моделирования работы системы обратной связи
85

4.1.8. Разработка топологии печатной платы системы обратной связи
85

4.1.9. Создание 3D-модели печатной платы системы обратной связи
87

4.1.10. Заключение
89

4.2. Модуль управления
89

4.2.1. Схемотехническое моделирование
89

4.2.1.1. Моделирование адресной передачи данных на
чип

ШИМ-контроллер PCA9685.
90

4.2.1.2. Моделирование подключения на плате.
91

4.2.2.Выбор элементной базы в соответствии с коэффициентом

электрической нагрузки.
93

20

4.2.2.3. Топология печатной платы
94

4.2.2.4. 3D-моделирование.
96

4.2.2.5. Выбор элементов питания.
97

4.2.3. Заключение
98

ЗАКЛЮЧЕНИЕ
100

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
101

ПРИЛОЖЕНИЯ
104

Приложение 1. Ссылка на GitHub
104

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «РАЗРАБОТКА ЭЛЕКТРОМЕХАНИЧЕСКОГО ПРОТЕЗА КИСТИ РУКИ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ НЕЙРОИНТЕРФЕЙСА И СИСТЕМЫ ОБРАТНОЙ СВЯЗИ ДЛЯ ПРИМЕНЕНИЯ В ПРОТЕЗИРОВАНИ»
Оригинальность работы 94%

АННОТАЦИЯ НА РУССКОМ ЯЗЫКЕ

В рамках данной работы был разработан и протестирован электромеханический протез кисти руки с использованием технологии нейро-интерфейсного управления и интеграцией программно-аппаратного комплекса обратной связи для людей с травмами верхних конечностей. Были проведены конструкторские работы по созданию конечного прототипа, а также ряд исследований, направленных на успешную реализацию управления конечным продуктом. В данной работе проводилось 3D моделирование собственного корпуса, а также производство деталей при помощи технологий 3D-печати. Также были проведены работы по созданию программно-аппаратного комплекса управления и обратной связи. Предполагалась разработка основной программы, а также дополнительного программного обеспечение, предназначенного для упрощения настройки протеза конечным пользователем. Помимо этого, было проведено исследование возможности управления посредством современного нейро-интерфейса.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

[1] D. Prince, M. Edmonds, A. Sutter, M. Cusumano, W. Lu and V. Asari, "Brain machine interface using Emotiv EPOC to control robai cyton robotic arm," 2015 National Aerospace and Electronics Conference (NAECON), Dayton, OH, 2015, pp. 263-266.

[2] Patent USA № 2013US-13903806, 28.05.2013. System and method for providing and aggregating biosignals and action data, EMOTIV.

[3] V. Mazzia, A. Khaliq, F. Salvetti and M. Chiaberge, "Real-Time Apple Detection System Using Embedded Systems With Hardware Accelerators: An Edge AI Application," in IEEE Access, vol. 8, pp. 9102-9114, 2020.

[4] K. Cui, X. Shang, C. Luo, Z. Shen, H. Gao and G. Xiong, "A Kind of Accuracy Improving Method Based on Error Analysis and Feedback for DLP 3D Printing," 2019 IEEE International Conference on Service Operations and Logistics, and Informatics (SOLI), Zhengzhou, China, 2019, pp. 5-9.

[5] A. V. Sureshbabu, D. Rass and M. Zimmermann, "A Lightweight Transradial Hand Prosthesis with a Variable Position Thumb and Thermoregulation," 2019 19th International Conference on Advanced Robotics (ICAR), Belo Horizonte, Brazil, 2019, pp. 61-68.

[6] Quigley M. et al. ROS: an open-source Robot Operating System //ICRA workshop on open source software. – 2009. – Т. 3. – №. 3.2. – С. 5.

[7] Al-dabag M. L., Ozkurt N. EEG motor movement classification based on cross-correlation with effective channel //Signal, Image and Video Processing. – 2019. – Т. 13. – №. 3. – С. 567-573.

[8] L. Osborn, R. R. Kaliki, A. B. Soares, N. V. Thakor, “Neuromimetic event-based detection for closed-loop tactile feedback control of upper limb prostheses,” IEEE Trans. on Haptics, vol. 9, no. 2, pp. 196-206, 2016.

[9] G. Hotson, D. P. McMullen, M. S. Fifer, M. S. Johannes, K. D. Katyal, M. P. Para, R. Armiger, W. S. Anderson, N. V. Thakor, B. A. Wester, N. E. Crone, “Individual


101

finger control of a modular prosthetic limb using high-density electrocorticography in a human subject,” J. of Neural Eng., vol. 13, no. 2, 2016, Art. no. 026017.

[10] Çağlar Uyulan, Turker Tekin Erguzel, K. Nevzat Tarhan, «A REVIEW ON EEG CONTROLLED BCI: DEEP LEARNING APPROACH», Human-Computer Interaction, Nova Science Publishers, Inc. 2019

[11] Jasveer, Shiwpursad, and Xue Jianbin. "Comparison of different types of 3D printing technologies." International Journal of Scientific and Research Publications (IJSRP) 8.4 (2018): 1-9.

[12] Dietterich, T.G. (2000). An experimental comparison of three methods for constructing ensembles of decision trees: Bagging, boosting, and randomization. Machine Learning.

[13] Sanjaya Vipula Bandara, Jumpei Arata, Kazuo Kiguchi,“Towards Control of a Transhumeral Prosthesis with EEG Signals”, MDPI, “Bioengineering journal” 5,26, 2018.

[14] Sanjaya Vipula Bandara, Jumpei Arata, Kazuo Kiguchi,“Towards Control of a Transhumeral Prosthesis with EEG Signals”, MDPI, “Bioengineering journal” 5,26, 2018.

[15] Barraza-Madrigal J. A., Ramírez-García A., Muñoz-Guerrero R. A virtual upper limb prosthesis as a training system //2010 7th International Conference on Electrical Engineering Computing Science and Automatic Control. – IEEE, 2010.

– С. 210-215.

[16] Autodesk gallery. Available online: https://gallery.autodesk.com/projects/ (accessed on 17 April 2020).

[17] GrabCad gallery. Available online: https://grabcad.com/library (accessed on 17 April 2020).

[18] NVIDIA Developers gallery. Available online: https://developer.nvidia.com/embedded/dlc/jetson-nano-developer-kit-3D-CAD-St ep-Model(accessed on 17 April 2020).




102

[19] Lugaresi C. et al. MediaPipe: A Framework for Building Perception Pipelines //arXiv preprint arXiv:1906.08172. – 2019.

[20] Bishop, C. M. (2006). Pattern recognition and machine learning. Springer, 204-206.

[21] Zhang, C., & Ma, Y. (Eds.). (2012). Ensemble machine learning: methods and applications. Springer Science & Business Media, 157-177.

[22] Abadi M. et al. Tensorflow: A system for large-scale machine learning //12th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI} 16). – 2016. – С. 265-283.