Спасибо.
Информация о работе
Подробнее о работе
Доклад на тему: «Принцип максимума энтропии»
- 5 страниц
- 2020 год
- 7 просмотров
- 0 покупок
Гарантия сервиса Автор24
Уникальность не ниже 50%
Фрагменты работ
Принцип максимальной энтропии - это понятие теории вероятности, представляющее собой утверждение, что распределение вероятностей, которое наилучшим образом отражает текущее состояние данных - это распределение с наибольшей информационной энтропией.
В анализе данных этот принцип используется для построения статистических классификаторов.
С практической точки зрения, чем выше энтропия как мера неопределённости, тем сложнее делать предсказания класса. Поэтому можно предположить, что для улучшения качества классификации энтропию множества нужно уменьшать. В пределе мы получим единственный класс, предсказание которого будет полностью достоверным.
Противоположной будет ситуация, когда классы равновероятны и неопределённость классификации максимальна, как и энтропия.
Классификаторы на основе критерия максимума энтропии похожи на логистическую регрессию. Только минимизируется в этом случае не логарифмическое правдоподобие, а энтропия. Принцип был впервые изложен Э. Т. Джейнсом в 1957 г.
Существует две трактовки принципа максимума энтропии. В первой трактовке этот принцип гласит, что система самопроизвольно приходит к такому распределению параметров, в котором шенноновская энтропия распределения максимальна. При этом распределение дополнительно должно соответствовать условиям, накладываемым структурой и правилами системы. На основании этой трактовки можно, например, найти форму распределения молекул газа по их энергии - если допустить, что молекулы содержатся в замкнутом и изолированном от внешнего мира сосуде
-
Работа сделана мною лично, зачтено на 5
-
Форма заказа новой работы
Не подошла эта работа?
Закажи новую работу, сделанную по твоим требованиям
