Автор молодец, просто работа не нужна больше
Информация о работе
Подробнее о работе
Разработка сервиса доступа к данным проекта сказкиповолжья.рф через мобильные приложения
- 39 страниц
- 2019 год
- 36 просмотров
- 0 покупок
Гарантия сервиса Автор24
Уникальность не ниже 50%
Фрагменты работ
Введение 4
Глава 1. Анализ предметной области 6
1.1 Анализ методов сбора и обработки данных с сайта 6
1.2 Обзор и анализ существующих хостингов для размещения виртуального сервера 7
1.3 Обзор языков программирования для парсинга и фреймворков для реализации серверной части 9
Глава 2. Инструменты для реализации веб-сервера 11
2.1 Используемое программное обеспечение 11
2.1.1 Интегрируемая среда разработки IDE JetBrains PyCharm 11
2.2 Используемые библиотеки и языки программирования и веб- фреймворки 12
2.2.1 Язык программирования Python 12
2.2.2 Языки HTML, CSS, JavaScript 13
2.2.3 Фреймворк Django 14
2.2.4 Используемые библиотеки 15
2.2.5 Используемые инструменты для веб-сервера 16
2.2.6 Использование базы данных 17
2.2.7 Настройка операционной системы и подключения дополнительного программного обеспечения 17
Глава 3. Реализация серверного веб-приложения 20
3.1 Концепция веб-приложения 20
3.2 База данных SQLite 21
3.3 Серверная часть 21
3.3.1 Парсинг 21
3.3.2 Преобразование данных 25
3.3.3 Автоматизация процесса 26
Заключение 29
Список литературы 30
Приложение 31
Введение
Время от времени разработчик сталкивается с работой, которая связана со сбором со сторонних источников различной информации, необходимой для проведения анализа или функционирования того или иного процесса. В случаях, когда сайт не предоставляет необходимого API, которое помогает с легкостью получать нужные данные, обычно информацию извлекают и записывают вручную, что довольно долго и неудобно. Поэтому разработка специализированного API для сбора и обработки данных с конкретного сайта является перспективным направлением работы. Если разработчику постоянно необходимо отправлять различные запросы сайту, например, при скачивании информации, вырастает потребление оперативной памяти, понижается продуктивность и скорость работы дисковой подсистемы. Вследствие всего вышеперечисленного, сайт замедляет свою работу вплоть до полной остановки. Одним из продуктивных решений этой проблемы представляется аренда виртуального сервера(VDS).
...
1.1 Анализ методов сбора и обработки данных с сайта
С развитием информационных технологий появилось множество средств и инструментов для создания методов сбора данных с сайтов.
Самый быстрый и эффективный способ сбора данных с сайтов является использование парсинга. Парсинг – автоматическое извлечение информации с одного или нескольких источников с целью ее дальнейшей обработки и преобразования. Использование парсинга позволяет находить и обрабатывать огромные объемы информации за короткое время. В большинстве случаев работа парсера заключается в работе с текстовым типом данных. Работу парсера можно разбить на три этапа:
1. Получение URL страницы, поиск нужной информации с конкретной страницы сайта в исходном коде html документа.
2. Извлечение полученной информации с помощью необходимых библиотек и использования регулярных выражений. А также преобразование полученных данных в нужный формат.
3. Сохранение полученной информации (запись в базу данных, в текстовые файлы и т.п.
...
1.2 Обзор и анализ существующих хостингов для размещения виртуального сервера
Веб-хостинг (Hosting) предоставляется различными хостинговыми компаниями бесплатно. Этот вид хостинга имеет только одно преимущество
– его бесплатность. Из-за бесплатного обслуживания в подавляющем большинстве хостинг провайдер будет размещать на сайте рекламу, также провайдер не дает гарантии защиты данных используемых сервером. В тому же скорость работы в разы меньше чем у платного хостинга.
Виртуальный хостинг (Shared web hosting service) имеет часть дискового пространства, выделенного сервером, с фиксированными ресурсами. Также предоставляет минимальной набор инструментов для работы с разработкой сервера. Таким образом, пользователю выделяется объем дискового пространства, ограниченный объем оперативной памяти. Из минусов виртуального хостинга можно выделить лимитированное количество нагрузки на сервер.
...
1.3 Обзор языков программирования для парсинга и фреймворков для реализации серверной части
Для реализации парсера существует множество языков программирования, поддерживающих регулярные выражения. Будем рассматривать наиболее популярные и используемые языки.
Python это универсальный скриптовый язык программирования.
Python является одним из самых востребованных языков программирования в мире. Существует ряд причин:
1. Python довольно в понимании синтаксиса, а также существует достаточное количество документаций
2. Наличие множества сред разработки, фреймворков Выделим из них самые используемые:
1. BeautifulSoup – самая популярная библиотека для парсинга на Python из-за простоты использования и хорошо структурированной документации на русском и английском языках.
2. lxml – библиотека для парсинга на Python. Имеет высокую производительность, безопасность и многофункциональность. Также имеет совместимость с BeautifulSoup.
...
2.1.1 Интегрируемая среда разработки IDE JetBrains PyCharm
PyCharm интегрированная среда разработки. Как и любая другая IDE, имеет проверку и подсветку кода, а также интуитивно понятную структуру навигации. Данная интегрированная среда разработки предоставляется бесплатно.
PyCharm предоставляет прекрасную поддержку для таких языков как, Python, JavaScript, TypeScript, CSS.
PyCharm имеет огромное количество встроенных инструментов для сборки проекта, отладки, терминал для выполнения команд, многообразие методов интегрирования баз данных.
PyCharm дает возможность создавать приложения на языке Python, а также веб-приложения с помощью фреймворков Django, Flask и Pyramid.
Помимо проверки синтаксиса среда обеспечивает поддержку языков HTML5, CSS, JavaScript и XML. Пример того, как выглядит интерфейс программы, продемонстрирован на рисунке 1.
Рисунок 1 – Интерфейс IDE JetBrains PyCharm
PyCharm интегрируется со многими популярными системами контроля версий, например, такими как Git.
...
2.2.2 Языки HTML, CSS, JavaScript
JavaScript – это основной на данный момент язык программирования для добавления функционала веб страницам. Основную популярность язык получил в браузерах для придания взаимодействия между пользователем и страницами. JavaScript имеет следующие плюсы: полная интеграция с HTML и CSS, все браузеры поддерживают язык JavaScript. В связи с чем JavaScript – это наиболее распространенный язык для работы с интерфейсом браузера.
Каскадные таблицы стилей (Cascading Style Sheets = CSS) — это язык, отвечающей за зрительное отображение объектов страницы.
Поддерживается подавляющим большинством браузеров. Использование CSS значительно облегчает создание сайтов, делает их более структурированными и выдержанными в определенном стиле.
HTML (язык разметки гипертекста) – язык разметки веб страниц.
Изначально создавался как язык отображения текстовых файлов на странице сайта.
...
2.2.3 Фреймворк Django
Для создания веб-серверного приложения или API для сервера выбран фреймворк Django. Django - постоянно развивающийся мощный фреймворк, с его помощью написаны множество крупных веб-сайтов. То есть, API серверной части и веб-серверного приложение содержатся в одной базе кода. Существует большое количество документаций по разработке и внедрению Django. Django содержит огромное количество библиотек и методов для разработки веб-сайта.
Фреймворк может быть использован практически на любом типе веб- сервера. Возможность передавать данные по запросу любой клиентской платформе в удобно читаемом формате как для компьютера, так и для человека (JSON, CVS и т.д.). Django использует архитектурный шаблон Model-View-Controller.
Модель(Model) представляет собой динамическую структуру данных приложения, независимая от пользовательского интерфейса. Модель напрямую управляет данными, логикой и правилами приложения.
...
1. Дронов В.А.- Django 2.1. Практика создания веб-сайтов на Python [Текст] / Владимир Дронов - Образ, 2019. — 672 с.
2. Python documentation [Электронный ресурс]. Режим доступа https://docs.python.org/3/ свободный. (Дата обращения 12.06.2019)
3. Django documentation [Электронный ресурс]. Режим доступа https://docs.djangoproject.com/en/1.1/ свободный. (Дата обращения 13.06.2019)
Форма заказа новой работы
Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям
