Разработка персонифицированного агрегатора новостей. Серверная часть

ВВЕДЕНИЕ 4
ГЛОССАРИЙ 6
1. ПОСТАНОВКА ЗАДАЧИ 10
1.1. Цель работы. 10
1.2. Задачи 10
1.3. Принцип работы приложения 11
2. УСТРОЙСТВО НОВОСТНОГО АГРЕГАТОРА 14
2.1. Принцип работы новостных агрегаторов. 14
2.2. Преимущества агрегаторов новостей 16
2.3. Агрегатор новостей как мобильное приложение 16
3. MICROSOFT AZURE ПЛАТФОРМА ДЛЯ ПОСТРОЕНИЯ СИСТЕМЫ. 18
3.1. Azure Mobile App - решение для мобильных приложений 19
3.2. Rest архитектура. 20
3.3. JSON как язык для передачи данных между сервером и клиентом.
.......................................................................................................................... 20 3.4. База данных SQL Azure. ................................................................. 22
3.4.1. Устройство базы данных в Microsoft Azure 22
3.4.2 Entity Framework - работа с базой данных. 23
4. ПАРСИНГ ДАННЫХ 27
4.1. Парсинг RSS и Atom каналов. 27
4.2. Парсинг HTML 28
5. ПРИМЕНЕНИЕ МАШИННОГО ОБУЧЕНИЯ 30
5.1. Microsoft Cognitive Services 31
6. РАЗРАБОТКА НОВОСТНОГО АГРЕГАТОРА - KZNNEWS 33
6.1. Начало разработки 33
6.2. Создание моделей и базы данных. 34
6.3 Пользовательская регистрация, аутентификация и авторизация. 35
6.4 Реализация парсера новостного контента. 37
6.5. Добавление алгоритмов машинного обучения. 39
6.6. Реализация необходимых API контроллеров. 41
6.7. Настройка концентратора Push-уведомлений 42
6.8. Проблемы, с которыми пришлось столкнуться. 43
ЗАКЛЮЧЕНИЕ 46
СПИСОК ЛИТЕРАТУРЫ. 48
ОБЗОР ЛИТЕРАТУРЫ. 50
ПРИЛОЖЕНИЕ 63
Исходный код 63

ВВЕДЕНИЕ.

В современном мире существует актуальная проблема, связанная с избыточностью информации, которую возможно решить с применением информационных технологий.
На сегодняшний день предлагается множество сервисов, которые частично решают эту проблему. Многие новостные порталы ввели каталогизацию новостей по различным категориям, имеют функцию поиска по словам и фильтрацию по геолокации. А новостные агрегаторы предлагают подбор статей, по встречающимся словам, совершают подбор по множеству порталов одновременно.
На данный момент при разработке таких сервисов упор делается на технологии поиска и фильтрации, а главными показателями являются дата и популярность статьи. Но при таком подходе очень часто поиск имеет низкую точность попадания в запрос. Не было предложено ни одного сервиса с полной автоматизацией процесса по поиску ключевых (для пользователя) новостей, которые могли бы существенно уменьшить время подбора и повысить точность совпадения с интересами пользователя.
...

ГЛОССАРИЙ.

.NET Framework — программная платформа, выпущенная компанией Microsoft в 2002 году.
ADO.NET - это технология доступа к данным из Microsoft .NET Framework, которая обеспечивает связь между реляционными и нереляционными системами через общий набор компонентов.
ASP.NET (Active Server Pages для .NET) — технология создания веб- приложений и веб-сервисов от компании Майкрософт.
Atom — общее название двух связанных веб-технологий: формата для описания ресурсов на веб-сайтах и протокола для их публикации.
Формат синдикации Atom основан на XML и позволяет описывать наборы веб-ресурсов.
Протокол публикации Atom основан на HTTP и позволяет создавать, изменять и удалять ресурсы, собранные в коллекции на веб- сайте.
C# — объектно-ориентированный язык программирования.
Entity Framework (EF) — объектно-ориентированная технология доступа к данным. Предоставляет возможность взаимодействия с объектами как посредством LINQ в виде LINQ to Entities, так и с использованием Entity SQL.
...

1.1. Цель работы.

Цель данной работы заключается в создании серверной (логической) части системы кроссплатформенного персонофицированного агрегатора новостного контента, ориентированного на мобильные платформы и "подстрающегося" под запросы и интересы пользователей. Главными критериями при разработке являются именно: возможность использования приложения на платформах мобильных устройств, которые на сегодняшний день обладают огромной популярностью по сравнению с декстопными и Web платформой, увеличение точности попадания в запросы пользователя, а также предугадывание интересов пользователя при подборе контента.
1.2. Задачи.

В рамках данной научной работы необходимо:
1. Изучить схему построения приложений в Microsoft Azure с использованием службы Azure Mobile App.
2. Спроектировать модель системы, схему серверной части системы.
3. Разработать модели объектов для хранения какой-либо необходимой информации.
4.
...

1.3. Принцип работы приложения.

Для разработки используется язык программирования C#. Серверная часть приложения развернута на облачной платформе от компании Microsoft - Microsoft Azure, и в целях более лёгкой и тесной интеграции с облачным
решением и мобильными платформами используется служба Azure Mobile
App, которая предоставляет набор решений, связанных с хранением и передачей данных, связью с мобильными устройствами, а также некоторых других возможностей необходимых при построении таких систем.
Сама серверная часть построена по принципу архитектуры Rest в целях упрощения взаимодействия, а также повышения эффективности элементов системы. Общение между клиентом и сервером реализуется с использованием стандартов HTTP и JSON, и все запросы от клиентского приложения приходят на соответствующие контроллеры в серверной части приложения, а все данные перед отправлением и приёмом проходят процедуру сериализации в JSON объекты и десериализации в соответствующие типы соответственно.
...

2.1. Принцип работы новостных агрегаторов.

Еще вчера ценилась уникальность и объемность материалов. Редакторы днями и ночами искали новые темы и решения, собирая и обрабатывая информацию. Они писали статьи, заметки, очерки. На выходе получалась большая и интересная статья. В ней широко раскрывалась тема, приводились мнения экспертов. Люди, которые могут обрабатывать и интересно подавать такие весомые материалы, ценились издательствами, редакциями интернет- ресурсов. Но на подготовку таких статей уходило много времени.
Сейчас изменился темп жизни. Крупные порталы постоянно борются за право первым опубликовать горячую новость. В последнее время количество информации растет в геометрической прогрессии. Обычные люди легко теряются в таких объемах. По статистике, одну пятую времени пользователь тратит на поиск информации и две пятых на поиски уже знакомой информации повторно. Именно для того чтобы узнавать все быстро и появились новостные агрегаторы.
...

2.2. Преимущества агрегаторов новостей.

В «Harvard Business Review» была приведена интересная статистика. За последние три года человечество создало такой объем информации, который соразмерен с объемом данных, созданных за всю прошлую историю человечества. Простой человек легко может потеряться в таком объеме информации. Использование агрегаторов новостей упрощает сбор нужной читателю информации. Почти все агрегаторы персонализированы — то есть для каждого пользователя создаются подборки материалов, которые интересны именно ему.
Наряду с этим, агрегаторы новостей позволяют:
-Экономить время на поиск материалов.
-Экономить деньги. Многие медиа-пространства делают платные подписки. Использование агрегатора выгоднее — все вопросы о покупке прав на материалы уже решены.
-Находить информацию, соответствующую интересам.
-Архивировать контент, разбивать его на категории.
-Иметь возможность просматривать персональные материалы на любом устройстве, в любом месте.
2.3.
...

2.3. Агрегатор новостей как мобильное приложение.

В мире современных технологий сложно представить жизнь без гаджетов. Компьютеры, ноутбуки, смартфоны все эти устройства созданы человеком, чтобы упростить жизнь. Сложно встретить человека, у которого нет какого – либо современного гаджета. Главным отличием от обычных телефонов является то, что основными функциями гаджетов является не только связь, но и возможность выхода в интернет. Таким образом, если раньше для доступа в интернет обязательным условием было наличие компьютера с доступом в интернет, то теперь достаточно иметь лишь какой – либо современный гаджет, то есть доступ в интернет стал мобильным, не
привязанным к дому или офису где имеются компьютеры. Такой прорыв и технологиях дает возможность изучать, просматривать информацию в сети в любой момент времени и в любом месте. В связи с этим для гаджетов были разработаны мобильные приложения.
...

3. MICROSOFT AZURE ПЛАТФОРМА ДЛЯ ПОСТРОЕНИЯ СИСТЕМЫ.
Microsoft Azure — это огромный и постоянно расширяющийся набор облачных служб, который помогает решать различные задачи, связанные с хранением данных, запуском различных веб-служб и сервисов, создание и развертывание приложений и управление ими в сети с использованием большого числа популярных инструментов и платформ.
Помимо этого, Microsoft Azure предоставляет огромное количество решний реализующих какие-либо бизнес-процессы. Благодаря чему повышается эффективность разработки, и во многом удешевляется сам процесс. Одним из таких решений и является Azure Mobile App.
Azure реализует две облачные модели — платформа-сервис (PaaS) и инфраструктура-сервис (IaaS). Обеспечивается достойная работоспособность за счёт большого количества дата-центров Microsoft.
В основе работы лежит запуск виртуальных машин для каждого отдельного решения.
...

3.1. Azure Mobile App - решение для мобильных приложений.
Azure Mobile App - служба, которая решает широкий спектр задач связанных с использованием мобильных устройств и интеграции с мобильными платформами. Компонент "Мобильные приложения" представляет собой глобально доступную платформу разработки мобильных приложений.
Среди возможностей данной службы можно выделить:
◦ Возможность использования при создании, как одиночных, так и кроссплатформенных приложений с помощью соответствующих пакетов SDK.
◦ Подключение к корпоративным системам и организация единого входа за считаные минуты.
◦ Создание приложений с возможностью синхронизацией данных и автономной работы. Данные могут автоматически синхронизироваться с данными сервера.
◦ Аутентификация и авторизация.
...

3.2. Rest архитектура.

В Azure Mobile App, структура сервиса строится по принципу Rest архитектура. Есть встроенный метод InvokeApiAsync, который позволяет удобно совершать запросы от клиента, но в некоторых случаях используется класс HttpClient, который так же как и предыдущий метод работает асинхронно, что позволяет продолжать работу приложения при выполнении запроса. Ответ принимается в виде объекта HttpResponseMessage. В нашем случае ответ принимается в виде JSON и десериализуется с помощью инструментов свободной библиотеки Newtonsoft.JSON.
REST – сам по себе стиль архитектуры, который используется для построения веб-служб. Термин REST был внедрён в 2000 году Роем Филдингом, одним из авторов HTTP-протокола. Системы, реализующие REST, называются RESTfull системами. REST является простым интерфейсом управления информацией, здесь каждая единица информации однозначно определяется глобальным идентификатором URL. URL в свою очередь имеет строго заданный формат.
...

3.3. JSON как язык для передачи данных между сервером и клиентом.
JSON (JavaScript Object Notation) - простой формат обмена данными, удобный для чтения и написания как человеком, так и компьютером. Он основан на подмножестве языка программирования JavaScript, определенного в стандарте ECMA-262 3rd Edition - December 1999. JSON - текстовый формат, полностью независимый от языка реализации, но он использует соглашения,
знакомые программистам C-подобных языков, таких как C, C++, Java, JavaScript, Perl, Python, а самое главное C#. Эти свойства делают JSON идеальным языком обмена данными.
Коллекция пар ключ/значение. В разных языках, эта концепция реализована как объект, запись, структура, словарь, хэш, именованный список или ассоциативный массив.
Упорядоченный список значений. В большинстве языков это реализовано как массив, вектор, список или последовательность.
Это универсальные структуры данных. Почти все современные языки программирования поддерживают их в какой-либо форме.
...

Исходный код.

1. Сущности для связи с базой данных. public class Activation : EntityData
{
public User User { get; set; } public string Code { get; set; }