«Разработка сервиса «Стены ВКонтакте»

Одним из самых важных элементов социальных сетей является возмож-ность объединять людей в группы по интересам, которые принято называть сообществами. Физически сообщества представлены совокупностью страниц пользователей. Для реализации бизнес–целей необходимо собирать и анали-зировать характеристики сообществ.
На сегодняшний день существуют программные продукты, реализо-ванные в виде веб–приложений, которые предоставляют широкий, но не ис-черпывающий спектр функций для сбора статистики и аналитики сообществ «ВКонтакте», умеют анализировать вовлеченность, качество контента и дру-гие показатели, есть возможность сравнения сообществ и поиска аудиторных пересечений.
Наряду с возможностями можно отметить недостатки существующих веб–приложений: невозможно собрать статистику с постов, в которых при-сутствует скопированная запись со стены или альбома. Это приводит к тому, что администратор сообщества или владелец стены не может определить по-лезность и эффективность источника скопированной записи для своей целе-вой аудитории. В этой связи становится актуальной задача разработки алго-ритма и программного продукта для сбора статистики со скопированных за-писей.
Цель исследования – разработать веб–сервис для сбора статистики со стен пользователей и сообществ социальной сети «ВКонтакте».
Задачи исследования:
 проанализировать теоретические аспекты разработки сервисов веб–аналитики;
 разработать алгоритм по извлечению информации о репосте и его источнике для социальной сети «ВКонтакте»;
 дать описание методики реализации веб–сервиса «Стены ВКонтак-те»;
 представить технологию управления сервисом «Стены ВКонтакте».
Объект исследования – социальная сеть «ВКонтакте».
Предмет исследования – совокупность взаимосвязанных показателей, позволяющих описать поведение пользователей социальной сети «ВКонтак-те».
Теоретико–методологическая и инструментальная база исследования
Для решения поставленных в исследовании задач был использован комплекс методов, включающий в себя методы системного анализа, модели-рования и анализа бизнес–процессов, проектирования информационных си-стем, процедурного проектирования и программирования.
Научная новизна исследования заключается в развитии теоретических основ разработки сервисов веб–аналитики. Конкретное приращение научно-го знания состоит в следующем:
 предложен алгоритм по извлечению информации о репосте и его ис-точнике для социальной сети «ВКонтакте»;
 разработан веб–сервис «Стены ВК», реализующий стандарты консор-циума W3C (World Wide Web Consortium) и поддерживающий архи-тектуру WSA (Web Service Architecture).
Теоретическая и практическая значимость исследования состоит в том, что сформулированы положения, раскрывающие возможности использова-ния разработанного веб–сервиса «Стены ВКонтакте» для расчёта в дополне-ние к известным статистикам статистику постов со стен сообществ и пользо-вателей, указывая связь с источником. Получены выводы об эффективности разработанной статистики, что позволяет реализовать маркетинговые меро-приятия компании более адресно, ориентируясь на потенциально потребите-ля, а также расширить потенциальный круг потребителей, увеличив долю рынка и повысить конкурентноспособность бизнеса.
Апробация и внедрение результатов исследования. Основные положе-ния и результаты исследования представлены к обсуждению на Междуна-родной научно–практической очно–заочной конференции (Екатеринбург, 2 декабря 2015 г.). По результатам диссертационного исследования опублико-ваны 2статьи, объемом 0,7 п.л.
Структура диссертации. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы, приложений. Список литературы включает 56 работ. Диссертация содержит 6 таблиц, 16 рисунков, 3 прило-жения. Объем работы составляет 115 страниц.

Список сокращений 5
Введение 7
1 Теоретические аспекты разработки сервисов веб–аналитики 10
1.1 Понятие веб–сервиса, сущность, значение 10
1.1.1 Определение и общая характеристика 10
1.1.2 Архитектура 10
1.1.3 Методы разработки 12
1.1.4 Преимущества 12
1.1.5 Недостатки 13
1.1.6 Аспекты безопасности 13
1.2 Анализ существующих веб–сервисов 13
1.2.1 Popsters.ru 13
1.2.2 Socialstats.ru 15
1.2.3 JagaJam.сom 17
1.2.4 MEDIA–VK.RU 19
1.3 Методы разработки веб–приложений 21
1.3.1 Программное обеспечение 21
1.3.2 Популярные библиотеки и фреймворки для веб–разработки 22
1.3.2.1 Yii 23
1.3.2.2 Ruby on Rails 24
1.3.2.3 Django 25
1.3.2.4 jQuery 27
1.4 Выводы по главе 1 27
2. Методика и реализация веб–сервиса «Стены ВКонтакте» 29
2.1 Специфика веб–сервиса «Стены ВКонтакте» 29
2.2 Структурно–функциональная модель 30
2.3 Инструментальные средства разработки 31
2.3.1 Определение и классификация 31
2.3.2 Используемые средства разработки 32
2.3.2.1 Денвер 32
2.3.2.2 Notepad++ 32
2.3.3 Используемые языки программирования и 33
разметки 33
2.3.3.1 JavaScript 33
2.3.3.2 PHP: Hypertext Preprocessor 34
2.3.3.3 HyperText Markup Language 35
2.3.3.4 Cascading Style Sheets 36
2.4 Выводы по главе 2 38
3 Применение веб–сервиса «Стены ВКонтакте» 39
3.1 Технология управления сервисом «Стены ВКонтакте» 39
3.1.1 Загрузка стены 39
3.1.1.1 Идентификаторы и короткие ссылки 39
3.1.1.2 Порядок использования 39
3.1.2 Общая статистика по авторам постов 40
3.1.2.1 Назначение 40
3.1.2.2 Порядок использования 40
3.1.3 Статистика по каждому автору 41
3.1.3.1 Назначение 41
3.1.3.2 Порядок использования 41
3.1.4 Общая статистика по постам 42
3.1.4.1 Назначение 42
3.1.4.2 Порядок использования 42
3.1.5 Частота употребления 43
3.1.5.1 Назначение 43
3.1.5.2 Порядок использования 43
3.1.6 Популярность слов или фраз 44
3.1.6.1 Назначение 44
3.1.6.2 Порядок использования 44
3.1.7 Статистика по постам–репостам 45
3.1.7.1 Назначение 45
3.1.7.2 Порядок использования 45
3.1.8 Общие сведения 46
3.1.8.1 Назначение 46
3.1.8.2 Порядок использования 46
3.1.9 Общие замечания 47
3.1.10 Предсказание реакции пользователя на текстовый контент 47
3.2 Сбор и интеллектуальный анализ данных 53
3.2.1 Сбор данных 53
3.2.2 Интеллектуальный анализ данных 56
3.2.2.1 Кластеризация 56
3.2.2.2 Классификация 60
3.3 Результаты анализа данных 63
3.4 Выводы по главе 3 63
Заключение 64
Список использованных источников 65
Приложение А. Модуль загрузки данных со стены 70
Приложение Б. Модуль извлечения информации 84
Приложение В. Модуль извлечения репостов 113

Актуальность работы. Ключевой компетенцией в информационной экономике считается умение собирать, обрабатывать и интерпретировать информацию и её производные из разных источников (информационные продукты, системы, сети и так далее). Одним из таких источников являются социальные сети, которые служат не только средством общения и обмена информации между пользователями, но и являются мощным инструментом для ведения бизнеса, поскольку содержат информацию, которая может быть использована для получения коммерческой выгоды.

1. Бадд, Э., Молл, К., Коллизон, С. CSS: профессиональное применение Web–стандартов. [Текст] / Э. Бадд, К. Молл, С. Коллизон М.: «Виль-ямс», 2008. — 272 с.
2. Дергачев, А. М. Проблемы эффективного использования сетевых сер-висов [Текст] / А. М. Дергачев Научно–технический вестник СПбГУ ИТМО. 2011. № 1 (71). С. 83–87
3. Лабберс, П., Олберс, Б., Салим, Ф. HTML5 для профессионалов: мощ-ные инструменты для разработки современных веб–приложений. [Текст] / П. Лабберс, Б. Олберс, Ф. Салим. М.: «Вильямс», 2011. — 272 с.
4. Мейер, Э. CSS–каскадные таблицы стилей: подробное руководство [Текст] / Э. Мейер М.: Символ, 2006. — 576 с.
5. Рейсиг Д. 4. Инструменты отладки и тестирования JavaScript. Профес-сиональные приёмы программирования Перевод Н. Вильчинский./ Д. Рейсиг [Текст] СПб.: Питер, 2008. — С. 76.
6. Руби, С., Томас, Д., Хэнссон, Д. Х. Гибкая разработка веб–приложений в среде Rails. 4–е изд. [Текст] / С. Руби, Д. Томас, Д. Х. Хэнссон. Питер, 2012. — 464 с.
7. Тейт, Б., Хиббс, К. Ruby on Rails. Быстрая веб–разработка. [Текст] / Б. Тейт, К. Хиббс СПб.: BHV–Петербург, 2008. — 224 с.
8. Титтел, Э., Ноубл, Дж. HTML, XHTML и CSS для чайников, 7–е изда-ние. [Текст] / Э. Титтел, Дж. Ноубл М.: «Диалектика», 2011. — 400 с.
9. Фернандес, О. Путь Rails. Подробное руководство по созданию при-ложений в среде Ruby on Rails. [Текст] / О. Фернандес Символ–Плюс, 2008. — 768 с.
10. Фоулер, Ч. Rails. Сборник рецептов. [Текст] / Ч. Фоулер СПб.: Питер, 2007. — 256 с.
11. Фримен, Эр., Фримен, Эл. Изучаем HTML, XHTML и CSS [Текст] / Эр. Фримен, Эл. Фримен М.: «Питер», 2010. — 656 с.
12. Хэнссон, Д. Х., Томас, Д. Гибкая разработка веб–приложений в среде Rails. [Текст] / Д. Х. Хэнссон, Д. Томас СПб.: Питер, 2008. — 720 с.
13. Шафер, С. HTML, XHTML и CSS. Библия пользователя, 5–е издание [Текст] / С. Шафер М.: «Диалектика», 2011. — 656 с.
14. Шмитт, К. CSS. Рецепты программирования [Текст] / К. Шмитт СПб.: БХВ–Петербург, 2007. — 592 с.
15. About PRADO: [Электронный ресурс]. – Режим доступа: http://www.xisc.com/about/, свободный.
16. About Yii: [Электронный ресурс]. – Режим доступа: http://www.yiiframework.com/about/, свободный.
17. Django 1.9.5 release notes [Электронный ресурс]. – Режим доступа: https://docs.djangoproject.com/en/1.9/releases/1.9.5/, свободный.
18. Django 1.9.6 release notes [Электронный ресурс]. – Режим досту-па:https://docs.djangoproject.com/en/1.9/releases/1.9.6/, свободный.
19. Django FAQ [Электронный ресурс]. – Режим доступа: http://docs.djangoproject.com/en/dev/faq/general/#django–appears–to–be–a–mvc–framework–but–you–call–the–controller–the–view–and–the–view–the–template–how–come–you–don–t–use–the–standard–names, свобод-ный.
20. Django FAQ about MVC in Django [Электронный ресурс]. – Режим до-ступа: http://docs.djangoproject.com/en/dev/faq/general/#django–appears–to–be–a–mvc–framework–but–you–call–the–controller–the–view–and–the–view–the–template–how–come–you–don–t–use–the–standard–names, свободный.
21. Django History [Электронный ресурс]. – Режим доступа: http://www.djangobook.com/en/2.0/chapter01.html#django–s–history, свободный.
22. DjangoBook. Глава 10. Расширения для шаблонной системы [Элек-тронный ресурс]. – Режим доступа: http://djbook.ru/ch10.html, свобод-ный.
23. DjangoBook. Глава 13. Кэширование [Электронный ресурс]. – Режим доступа: http://djbook.ru/ch13.html, свободный.
24. DjangoBook. Глава 18. Интернационализация [Электронный ресурс]. – Режим доступа: http://djbook.ru/ch18.html, свободный.
25. DjangoBook. Глава 3. Основы динамических страниц [Электронный ре-сурс]. – Режим доступа: http://djbook.ru/ch03.html, свободный.
26. DjangoBook. Глава 5. Работа с базой данных: Модели [Электронный ресурс]. – Режим доступа: http://djbook.ru/ch05.html, свободный.
27. DjangoBook. Глава 6. Интерфейс администратора Django [Электрон-ный ресурс]. – Режим доступа: http://djbook.ru/ch06.html, свободный.
28. ECMAScript Language Specification. http://www.ecma–international.org/publications/files/ECMA–ST/ECMA–262.pdf
29. Performance of Yii: [Электронный ресурс]. – Режим доступа: http://www.yiiframework.com/performance/, свободный.
30. PHP5 Coding Competition Winners, Google Blogoscoped: [Электронный ресурс]. – Режим доступа: http://blogoscoped.com/archive/2004_10_26_index.html, свободный.
31. PRADO, TControl source : [Электронный ресурс]. – Режим доступа: http://prado3.googlecode.com/svn/trunk/framework/Web/UI/TControl.php, свободный.
32. The MDN platform (Kuma) | MDN. [Электронный ресурс]. – Режим до-ступа: http://blog.disqus.com/post/568244555/david–cramer, свободный.
33. Welcome, David Cramer | Disqus: The Official Blog. [Электронный ре-сурс]. – Режим доступа:http://blog.disqus.com/post/568244555/david–cramer, свободный.
34. What does "Django" mean, and how do you pronounce it? [Электронный ресурс]. – Режим доступа: http://docs.djangoproject.com/en/dev/faq/general/#what–does–django–mean–and–how–do–you–pronounce–it, свободный.
35. What Powers Instagram: Hundreds of Instances, Dozens of Technologies – Instagram Engineering. [Электронный ресурс]. – Режим доступа: http://softwaremaniacs.org/blog/2005/12/08/django/, свободный.
36. Yii 1.1.9: [Электронный ресурс]. – Режим доступа: http://habrahabr.ru/blogs/yii/135595/, свободный.
37. Yii: a high–performance framework inheriting Prado: [Электронный ре-сурс]. – Режим доступа: http://www.pradosoft.com/forum/index.php?topic=11022.msg48823#msg48823, свободный.
38. Веб–служба [Электронный ресурс] ― Режим доступа: http://computer.slovaronline.com/В/761–VEB–SERVIS, свободный.
39. Веб–служба [Электронный ресурс] ― Режим доступа: http://encyclopedia2.thefreedictionary.com/Web+services, свободный.
40. Возможности проекта [Электронный ресурс]. – Режим доступа: http://www.denwer.ru/about.html, свободный.
41. Д. Котеров Apache + Perl + PHP3 + MySQL для Windows 95/98: руко-водство по установке [Электронный ресурс]. – Режим доступа: http://dklab.ru/doc/apache/, свободный.
42. Денвер – локальный сервер. [Электронный ресурс]. – Режим доступа: http://www.denwer.ru/, свободный.
43. Джентльменский набор web–разработчика («Денвер»): интервью с со-здателем // КомпьютерПресс. — 2007. — № 10. [Электронный ресурс]. – Режим доступа: http://www.compress.ru/article.aspx?id=18172&iid=842, свободный.
44. Изменения (CHANGELOG) – Denwer [Электронный ресурс]. – Режим доступа: http://www.denwer.ru/changes.html, свободный.
45. Интервью с создателем «Денвера» в журнале «КомпьютерПресс» [Электронный ресурс]. – Режим доступа: http://www.compress.ru/article.aspx?id=18172&iid=842, свободный.
46. Маниакальный Веблог (Блог Ивана Сагалаева) [Электронный ресурс]. – Режим доступа: http://softwaremaniacs.org/blog/2005/12/08/django/, свободный.
47. Меркулов Ю. Путеводитель по текстовым редакторам. Часть 4. iXBT: [Электронный ресурс]. – Режим доступа: http://www.ixbt.com/soft/texteditors–4.shtml, свободный.
48. Обзор сервисов сбора статистики для сообществ ВКонтакте [Электрон-ный ресурс]. – Режим доступа: http:// http://www.likeni.ru/analytics/Obzor–servisov–sbora–statistiki–dlya–soobshchestv–VKontakte/, свободный.
49. Официальный сайт Notepad++. SourceForge.net. [Электронный ресурс]. – Режим доступа http://notepad–plus.sourceforge.net/uk/site.htm, свобод-ный.
50. Официальный сайт Денвера [Электронный ресурс]. – Режим доступа: http://www.denwer.ru/, свободный.
51. Поддерживаемые форматы Notepad ++[Электронный ресурс] – Режим доступа: http://xetcom.com/programs/office/text/645–notepad–powerful–text–editor?info=formats, свободный.
52. Проект Notepad++ : [Электронный ресурс]. – Режим доступа: http://notepad–plus.sourceforge.net/, свободный.
53. Сравнение PHP фреймворков — Kohana Yii Symfony CodeIgniter: [Электронный ресурс]. – Режим доступа: http://www.whydrupal.ru/sravnenie–php–freimvorkov–kohana–yii–symfony–codeigniter, свободный.
54. Шпаргалка по популярным JavaScript–фреймворкам [Электронный ре-сурс]. – Режим доступа: http://internetno.net/category/shpargalki/js–framework/, свободный.