Автор молодец выполнил работу раньше срока. Спасибо
Информация о работе
Подробнее о работе
Автоматизация анализа объявлений о вакансиях в ИТ-сфере
- 59 страниц
- 2021 год
- 2 просмотра
- 0 покупок
Гарантия сервиса Автор24
Уникальность не ниже 50%
Фрагменты работ
Введение
В современном мире рынок ИТ-профессий развивается очень стремительно,
и требуется все больше специалистов разных профилей. Для людей, планирующих строить карьеру в ИТ, возникает необходимость в освоении новых навыков и знаний. Но перед выбором конкретных навыков для изучения встают следующие вопросы:
1. Каким требованиям должен удовлетворять кандидат, чтобы получить работу в ИТ-сфере? Для того чтобы построить персональную траекторию образования, необходимо проанализировать большое количество объявлений, чтобы понять тренды на рынке и выбрать актуальные навыки и дисциплины для изучения.
2. Есть ли какие-то универсальные навыки, которыми необходимо владеть всем специалистам в ИТ-сфере?
3. Какие условия работы являются нормой для рынка труда ИТ-сферы? В связи с этим возникает проблема анализа:
1. Текущих требований работодателей к новым сотрудникам.
2. Обязанностей новых сотрудников на рабочих местах.
3. Условий работы сотрудников на рабочих местах.
Таким образом, тема нашей работы: Автоматизация анализа объявлений о вакансиях в ИТ-сфере.
Цель работы: провести анализ связи требований, обязанностей и условий работы в ИТ-сфере на основе данных о вакансиях в ИТ-сфере.
Для того чтобы реализовать цель работы были поставлены следующие задачи:
1. Сбор данных о вакансиях в ИТ-сфере.
2. Извлечение информации о требованиях, обязанностях и условиях вакансий из объявлений о вакансиях.
4. Подготовка формулировок, представляющих требования, обязанности
и условия работы в ИТ-сфере.
6
5. Освоение методики аннотированных суффиксных деревьев [2] для оценки релевантности строка-текст и применение ее для формирования трех таблиц релевантности, связывающих объявления о вакансиях со строками требований, обязанностей и условий работы.
6. Формирование трех-входовой таблицы связей между требованиями, обязанностями и условиями работы, адаптация методов формирования 3-кластеров и проведение расчетов по их выявлению.
7. Анализ полученных результатов и возможности подготовки рекомендаций для ИТ-специалистов.
В результате выполнения работы мы собираемся получить интерпретируемые три-кластеры, которые будут наглядно отражать типы работ ситуацию на рынке труда. Выделение этих типов позволит ИТ специалистам понять, какие условия работы рынок ИТ готов предложить и соответствующим образом адаптировать свои персональные стратегии подготовки.
Содержание
АННОТАЦИЯ 4
ABSTRACT 5
ВВЕДЕНИЕ 6
1. СУЩЕСТВУЮЩИЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ 8
1.1. АНАЛИЗ ТРЕНДОВ ИТ-ТЕХНОЛОГИЙ САЙТА MONSTER.COM В АНГЛИИ 8
1.2. АНАЛИЗ СОЧЕТАЕМОСТИ НАВЫКОВ В ИТ-ВАКАНСИЯХ 8
1.3. ТЕКСТЫ ВАКАНСИЙ КАК ИСТОЧНИК ДАННЫХ 9
2. СБОР И ИЗВЛЕЧЕНИЕ ДАННЫХ О ВАКАНСИЯХ В ИТ-СФЕРЕ 10
2.1. ВЫБОР ИСТОЧНИКОВ ДАННЫХ 10
2.2. ЗАГРУЗКА ФАЙЛОВ ВАКАНСИЙ 10
2.2.1. Описание набора данных 10
2.2.2. Структура текста вакансии 12
2.3. ИЗВЛЕЧЕНИЕ ДАННЫХ ИЗ ТЕКСТОВ ВАКАНСИЙ 14
3. ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ И АДАПТАЦИЯ
МЕТОДОВ ТРИ-КЛАСТЕР АНАЛИЗА 17
3.1. ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ НА ОСНОВЕ АННОТИРОВАННЫХ
СУФФИКСНЫХ ДЕРЕВЬЕВ 17
3.1.2. Описание метода АСД 17
3.1.3. Удаление нерелевантных фраз из списков требований, обязанностей,
условий 18
3.1.3. Построение двухвходовых матриц релевантности фраза - текст вакансии19
3.1.4. Построение трех-входовой матрицы связей ТОУ 20
3.2.МЕТОДЫ ТРИ-КЛАСТЕР АНАЛИЗА 21
3.2.1. Метод «Tricluster Box» 21
3.2.2. Метод «Overlap» 23
4. РАСЧЕТЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ 25
2
ЗАКЛЮЧЕНИЕ 36
БИБЛИОГРАФИЯ 37
ПРИЛОЖЕНИЕ 1 39
ПРИЛОЖЕНИЕ 2 40
ПРИЛОЖЕНИЕ 3 52
ПРИЛОЖЕНИЕ 4 53
Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Автоматизация анализа объявлений о вакансиях в ИТ-сфере»
Оригинальность работы 94%
Аннотация
В настоящей работе проведен анализ списков требований, обязанностей и условий работы в ИТ-сфере на основе текстов вакансий с российского портала поиска работы Head Hunter [1]. Сформированы и выделены списки требований, обязанностей, условий работы, релевантные вакансиям в ИТ-сфере, основываясь на использовании метода аннотированного суффиксного дерева (АСД) [2]. На основе этих списков рассчитана трех-входовая матрица релевантности «требование-обязанность-условие», а также выделены три-кластеры - такие совокупности подмножеств требований, обязанностей и условий работы, которые тесно связаны между собой. Полученные три-кластеры допускают разумную интерпретацию – они показывают типы работ, реально существующие на рассматриваемом рынке.
Работа содержит 59 страниц, 5 глав, 4 рисунка, 15 источников.
Ключевые слова — три-кластер, ИТ-вакансия, аннотированное суффиксное дерево, релевантность
Abstract
In this work we advance into the analysis of requirements, responsibilities and working conditions in IT-sphere, according to vacancy advertisement files, downloaded from the Russian recruitment web-site Head Hunter [1].
Lists of relevant requirements, responsibilities and working conditions are extracted and provided, based on the so-called «annotated suffix-tree” method [2]. Upon extraction of these lists, we compute a 3-dimensional relevance matrix for requirement-responsibility-working condition triplets and then apply tri-clustering methods to extract tri-clusters of strong interconnections.
Resulting tri-clusters are reasonably interpreted as types of vacancies at the labour market under investigation.
The work contains 59 pages, 5 chapters, 4 drawings, 15 references.
Keywords – tri-cluster, IT job advert, annotated suffix tree, relevance index
Библиография
1. Работа в Москве, поиск персонала и публикация вакансий. // Head Hunter [сайт] URL: https://hh.ru/ (дата обращения 02.11.2019).
2. Миркин Б.Г. Черняк Е.Д., Чугунова О.Н.. Метод аннотированного суффиксного дерева для оценки степени вхождения строк в текстовые документы. [Электронный ресурс] URL: https://publications.hse.ru/articles/72365116 (дата обращения 03.02.2020).
3. Capiluppi A. Baravalle A. Matching Demand and Offer in On-line
Provision: a Longitudinal Study of Monster.com. [Электронный ресурс] URL: дата обращения 03.01.2020).
4. Monster.com [caйт] URL: https://www.monster.com/ (дата обращения
03.01.2020)
5. HeadHunter API [Электронный ресурс] URL: https://dev.hh.ru/ (дата обращения 14.01.2020).
6. Sibarani E., Scerri S., Auer S., Collarana S.. Ontology guided Job Market Demand Analysis: A Cross-Sectional Study for the Data Science field. [Электронный ресурс] URL: https://www.researchgate.net/publication/318393376_Ontology-guided_Job_Market_Demand_Analysis_A_Cross-Sectional_Study_for_the_Data_Science_field (дата обращения 03.01.2020).
7. Kurekova L., Thum-Thysen A., Beblavy M.. Online job vacancy data as a source for micro-level analysis of employers preferences. A methodological enquiry. [Электронный ресурс] URL: https://www.researchgate.net/publication/311453863_Online_job_vacancy_data_as_a_s ource_for_micro-level_analysis_of_employers'_preferences_A_methodological_enquiry (дата обращения 03.01.2020).
8. Pandas documentation [Электронный ресурс] URL: https://pandas.pydata.org/docs/ (дата обращения 14.01.2020).
37
9. Statistical Natural Language Processing with Annotated Suffix Trees [Электронный ресурс] URL: https://github.com/dmitsf/AST-text-analysis (дата обращения 14.03.2020).
10. Newman MEJ.. Modularity and community structure in networks. Proc Natl Acad Sci USA 103: 8577-8582 [Электронынй ресурс] URL: https://www.researchgate.net/publication/7060226_Newman_MEJ_Modularity_and_co mmunity_structure_in_networks_Proc_Natl_Acad_Sci_USA_103_8577-8582 (дата обращения 01.05.2020).
11. Mirkin B., Kramarenko A.. Approximate Bicluster and Tricluster Boxes in the Analysis of Binary Data [Электронный ресурс] URL: https://publications.hse.ru/mirror/pubs/share/folder/1o0uwsshf3/direct/74663630 (дата обращения 01.03.2020).
12. Ignativ D., Gnatyshak D, Kuznetsov S., Mirkin B.. Triadic formal concept analysis and triclustering: searching for optimal patterns [Электронный ресурс] URL: https://www.researchgate.net/publication/277659428_Triadic_Formal_Concept_Analys is_and_triclustering_searching_for_optimal_patterns (дата обращения 01.03.2020).
13. Jaccard Index // Wikipedia [Электронный ресурс] URL: https://en.wikipedia.org/wiki/Jaccard_index (дата обращения 01.05.2020).
14. IT_jobs_analysis [Электронный ресурс] URL: https://github.com/alenaAG/IT_jobs_analysis (дата обращения 17.05.2020).
15. Github [Электронный ресурс] URL: https://github.com/ (дата обращения 17.05.2020).
Форма заказа новой работы
Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям
