Автор молодец, просто работа не нужна больше
Информация о работе
Подробнее о работе
Система латентно-семантического анализа текста
- 85 страниц
- 2017 год
- 288 просмотров
- 0 покупок
Гарантия сервиса Автор24
Уникальность не ниже 50%
Фрагменты работ
Семантичний (смисловий) аналіз тексту – одна з ключових проблем як теорії створення систем штучного інтелекту, що відноситься до обробки природної мови (Natural Language Processing, NLP), так і комп’ютерної лінгвістики. Результати семантичного аналізу можуть застосовуватися для вирішення завдань в таких областях, як, наприклад, психіатрія (для діагностування хворих), політологія (передбачення результатів виборів), торгівля (аналіз затребуваності тих чи інших товарів на основі коментарів до даного товару), філологія (аналіз авторських текстів), пошукові системи, автоматичного перекладу.
Незважаючи на затребуваність практично у всіх сферах життя людини, семантичний аналіз є однією з найскладніших математичних задач. Для вдосконалення інформаційно-пошукових систем з розширеними функціями, які використовують запити природною мовою, актуальним завданням є розробка програмних засобів для автоматичної обробки мовної та текстової інформації. Дослідження методу латентно-семантичного аналізу (ЛСА) дозволяє автоматизувати ряд процесів обробки текстової інформації зокрема індексації документів за тематичними групами, виявленню випадків плагіату, формування баз запитів природною мовою.
Мета цієї дипломної роботи – дослідити алгоритм латентно-семантичного аналізу тексту та розробити його програмну реалізацію, тобто систему латентно-семантичного аналізу тексту.
ЗМІСТ
Перелік позначень та скорочень………...……………………………….. 4
Вступ……………………………………………………………………….. 5
1 Інформаційно-аналітичний погляд.……… ………….…………….. 6
1.1 Опис сучасних методів аналізу тексту ……………………….. 6
1.2 Опис предметної області ……………………………….…….. 19
1.3 Обґрунтування необхідності створення автоматизованої інформаційної системи ………………………………………...
21
1.4 Опис алгоритму………………………………………………… 22
1.5 Опис систем-аналогів, їх переваги та недоліки………………. 24
1.6 Постановка задачі…………………………………………….… 29
2 Дослідження процесів оброблення інформації……………………… 30
2.1 Опис прикладної галузі та бізнес-процесів……………………. 30
2.2 Контекстна діаграма і діаграма декомпозиції першого рівня в нотації IDEF0..... ……………………………………………….
32
2.3 Діаграма декомпозиції другого рівня в нотації IDEF0 «Сингулярний розклад»………….……...................................
34
2.4 Діаграма декомпозиції в нотації IDEF3 «Перетворення тексту у терми»…..……… ……………………………..……....
35
3 Моделювання та проектування функціональності………………….. 36
3.1 UML діаграми системи латентно-семантичного аналізу тексту……………………………………………………………….…..
36
3.2 Діаграми прецедентів…..………………………………………. 36
3.3 Потік подій……………………………………………………… 37
3.6 Діаграми взаємодій…………………………………………….. 38
4 Реалізація прикладення...…… ………………….................................. 40
4.1 Функціонування програми…………………………………….. 40
4.2 Вибір інструментарію…..……………………………………… 40
4.3 Вхідні дані…………………..…………………………………... 43
4.4 Склад програмного виробу…………………………………….. 43
4.5 Проведення експериментального моделюючого аналізу……. 43
5 Техніко-економічне обґрунтування розробки………………………. 53
5.1 Опис об’єкта розробки…...……………………………………. 53
5.2 Опис програмного продукту………....……............................... 53
5.3 Оцінка ринку збуту…………………………………………….. 54
5.4 Розрахунок витрат на розробку програмного продукту……... 54
5.5 Фінансовий план………...……………………............................ 60
5.6 Висновки……….………...…………........................................... 63
6 Охорона природи та навколишнього середовища ……….................. 64
6.1 Загальні положення охорони праці……………….................... 64
6.2 Характеристики виробничого приміщення……....................... 64
6.3 Виробнича санітарія……………………………………………. 65
6.4 Мікроклімат виробничого приміщення…..…………………... 68
6.5 Електробезпека ……... ………………………………………… 71
6.6 Пожежна безпека……………………………………………….. 72
6.7 Охорона навколишнього середовища………………………… 73
Висновки …………………………………………………………………… 74
Список джерел інформації………………………………………………… 75
Додаток А Тексти програми для реалізації основного функціоналу 79
Программная реализация алгоритма латентно-семантического анализа текста. С готовой программой и полной текстовкой. Обращаю ваше внимание, что текстовка на УКРАИНСКОМ (перевести не сложно), программа на РУССКОМ.
Защищена 20.06.2017, 5А, 95 баллов по болонской системе.
В папке текстовка+программа в виде проекта eclipse+ файлы, с которыми работает программа (для примера)
СПИСОК ДЖЕРЕЛ ІНФОРМАЦІЇ
1 Выготский, Л.С. Мышление и речь. Изд. 5, испр. – Издательство "Лабиринт", М., 1999. – 352 с.
2 Леонтьев, А.А. Основы психолингвистики / А.А. Леонтьев. – М.: Смысл, 1997. – 287 с.
3 Зимняя, Н.А. Лингвопсихология речевой деятельности / И.А. Зимняя. – М.: Воронеж, 2001. – 432 с.
4 Alexa, М. Text Analysis Software: Commonalities, Differences and Limitations: The Results of a Review / M. Alexa, C. Zuell // Springer Netherlands, – 2000. – 34 (3) – P. 299-321.
5 Klein, H. Classification of Text Analysis Software / H. Klein // Classification and knowledge organization: Proceedings of the 20th annual conference of the Gesellschaft fur Klassifikation / In R. Klar, O. Opitz (Eds.). -University of Freiburg, 1996, Berlin, New York: Springer, 1997. – P. 255-261.
6 Слово в действии. Интент-анализ политического дискурса / под ред. Т.Н. Ушаковой, Н.Д. Павловой. – СПб.: Алетейя, 2000. -316 с.
7 Журавлев, А.П. Фонетическое значение / А. II. Журавлев. – Л.: Изд-во Ленингр. унта, 1974. – 150 с.
8 Labov, W. Sociolinguistic patterns /W. Labov. – Pennsylvania: University of Pennsylvania Press, 1972. – 346p.
9 Психолингвистическая экспертиза ксенофобии в средствах массовой информации: методические рекомендации для работников правоохранительных органов. – М.: Смысл, 2003. – 85 с.
10 Батов, В. И. Алгоритмизация некоторых процедур автороведческой экспертизы/ В.И. Батов // Актуальные проблемы теории и практики применения математических методов и ЭВМ в деятельности органов юстиции. – М., 1975 – Вып. 4. – С. 85-88.
11 Berelson, B. Content Analyses in Communication Research / B. Berelson. -Glencoe, 1952. – 220p.
12 Чугреев, В. Л. Модель структурного представления текстовой информации и метод ее тематического анализа на основе частотно-контекстной классификации / Санкт-Петербургский гос. электротехнический ун-т "ЛЭТИ" им. В.И. Ульянова. – 2003. – C. 25 – 29.
13 Scott Deerwester, Susan T. Dumais, George W. Furnas, Thomas K. Landauer, Richard Harshman (1990). Indexing by Latent Semantic Analysis. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE. 41(6). – С. 391-407.
14 Латентно-семантический анализ [Електронний ресурс]. – Режим доступу: https://ru.wikipedia.org/wiki/Латентно-семантический_анализ
15 Факторный анализ [Електронний ресурс]. – Режим доступу: https://ru.wikipedia.org/wiki/Факторный_анализ
16 Landauer T.K., Dumais S.T. A solution to Plato's problem: The Latent Semantic Analysis theory of the acquisition, induction, and representation of knowledge. Psychological Review, 1997.
17 Landauer T.K., Foltz P. and Laham D. An Introduction to Latent Semantic Analysis. DiscourseProcesses, 1998.
18 Тараненко, Ю.К. Розробка комп’ютерної системи для генерації семантичного шаблона групи документів методом латентно-семантичного аналізу/ Ю.К. Тараненко, М.Р. Кабанова; Кафедра прикладної лінгвістики та методики навчання іноземних мов – Дніпропетровский университет ім. Альфреда Нобеля, 2016
19 Соловьев, А. Н. Использование латентно семантического анализа в исследованиях и моделировании когнитивного развития детей – Санкт-Петербургский государственный университет, Санкт-Петербург, Россия, 2014
20 Сингулярное разложение [Електронний ресурс]. – Режим доступу: https://ru.wikipedia.org/wiki/Сингулярное_разложение
21 BPwin функциональное моделирование, реинжиниринг бизнес-процессов [Електронний ресурс]. – Режим доступу: http://www.interface.ru/fset.asp/bpwin.htm.
22 TF-IDF [Електронний ресурс] – https://ru.wikipedia.org/wiki/TF-IDF
23 Терм-документная матрица [Електронний ресурс]. – Режим доступу: https://ru.wikipedia.org/wiki/Терм-документная_матрица
24 Алгоритм LSA для поиска похожих документов [Електронний ресурс]. – Режим доступу: http://netpeak.net/ru/blog/algoritm-lsa-dlya-poiska-pohozhih-dokumentov/
25 Чмир І. О. Моделювання систем в середовищі UML: посібник для ВНЗ. – Черкаси: СУЕМ, 2004. – 292 с.
26 Боггс У. UML и Rational Rose: Пер. с англ. / Уэнди. – М.: Лори, 2004. – 412c.
27 R и Python – достойные соперники? [Електронний ресурс]. – Режим доступу: https://habrahabr.ru/company/piter/blog/263457/
28 Java – Энциклопедия языков программирования [Електронний ресурс]. – Режим доступу: http://progopedia.ru/language/java/
29 Подробнее о технологии Java [Електронний ресурс]. – Режим доступу: https://www.java.com/ru/about/
30 Україна. Закони. Про охорону праці від 14.10.1992 № 2695-ХІІ: офіц. текст. – Відомості Верховної Ради (ВВР). – 1992. – № 49. – ст. 668. – (Актуальний закон). – зі змінами.
31 НПАОП 0.00-1.28-10 Нормативно-правовий акт охорони праці. Правила охорони праці під час експлуатації електронно-обчислювальних машин. Чинний з 26.03.2010.
32 ДСанПін 3.3.2-007-98. Державні санітарні правила і норми роботи з візуальними дисплейними терміналами електронно-обчислювальних машин. – К., 1998.
33 ДБН В.1.1-7-2002 Державні будівельні норми. Захист від пожежі. Пожежна безпека об’єктів будівництва. – Чинні з 01.01.2003.
34 НАПБ Б.03.002-2007 Нормативний акт пожежної безпеки. Норми визначення категорій приміщень, будинків та зовнішніх установок за вибухо-пожежною та пожежною безпекою. – Чинний з 01.01.2008.
35 ПУЕ-2014. Правила улаштування електроустановок . – Чинне з 20.11.2014
36 ДСТУ 12.1.038-2008 Система стандартов безопасности труда. Электробезопасность. Предельно допустимые уровни напряжения прикосновения и токов. – Введены 01.01.2009.
37 ДБН В.2.5-28-2006 Державні будівельні норми. Інженерне обладнання будинків і споруд. Природне та штучне освітлення. – Чинні з 01.10.2006.
38 ДСН 3.3.6.042-99 Санітарні норми мікроклімату виробничих приміщень. Затверджено постановою Головного Державного санітарного лікаря України від 01.12.1999 № 42
39 ДБН В.2.5-67-2013 Державні будівельні норми України. Опалення, вентиляція та кондиціонування. – Чинні з 01.01.2013.
40 ДСН 3.3.6.037-99 Санітарні норми виробничого шуму, ультразвуку та інфразвуку. Постанова від 01.12.1999 № 37.
41 ДСТУ Б В.1.1-36:2016 Визначення категорій приміщень, будинків та зовнішніх установок за вибухопожежною та пожежною небезпекою. Надано чинності: наказ Мінрегіон від 15.06.2016 р. № 158
42 ДСТУ Б В.2.5-38:2008 Інженерне обладнання будинків і споруд. Улаштування блискавкозахисту будівель і споруд. Затверджено: Мінрегіонбуд України, наказ від 27.06.2008р. №269
43 Закон України Про охорону навколишнього природного середовища: Із змінами від 04.10.2016 року.
Форма заказа новой работы
Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям
