СТОХАСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ КОЛЛЕКТОРА С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ, ОБУЧЕННЫХ НА ДАННЫХ ОБНАЖЕНИЙ

ВВЕДЕНИЕ 3
СХЕМА МЕТОДА 5
УСЛОВНОЕ МОДЕЛИРОВАНИЕ С ЦЕПЯМИ МАРКОВА 9
Последовательное моделирование 9
Выборка Метрополиса 9
Учет мировой статистики с помощью выборки Метрополиса-Гастингса 11
Подход с несколькими сетками 12
СЕТЕВАЯ АРХИТЕКТУРА ДЛЯ ПОСТРОЕНИЯ ЛОКАЛЬНЫХ УСЛОВНЫХ РАСПРЕДЕЛЕНИЙ 13
Однослойная сеть 13
Двухслойная сеть 15
Понимание параметров сети 17
ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ НЕЙРОННОЙ СЕТИ 18
ПОЛУЧЕНИЕ ОСНОВНЫХ ХАРАКТЕРИСТИК ИЗОБРАЖЕНИЯ 20
ПРИМЕР ПОДГОТОВКИ ИЗОБРАЖЕНИЙ 21
Песчаные дюны 22
Набор данных озера Уокер 23
Каналы 25
ЗАКЛЮЧЕНИЕ 27
ИСТОЧНИК 27

СХЕМА МЕТОДА
Эта работа призвана продемонстрировать, что нейронные сети, применяемые для стохастического моделирования, могут преодолеть многие из ранее упомянутых проблем. Нейронная сеть - это, по сути, многопараметрическая модель нелинейной регрессии, которая определяет общее нелинейное отображение из любого пространства в любое другое пространство произвольного измерения. В нашем случае нейронную сеть обучают определять условные распределения из обучающего образа, затем она продолжает моделирование с использованием этих распределений. Условные распределения связывают значение в любом месте с соседними значениями данных в шаблоне, центрированном в этом месте (рис. 1). Шаблон может быть анизотропным (его анизотропия может быть связана с диапазонами вариограммы), и могут существовать различные шаблоны разных размеров, если используется многоточечный подход. Ограничение конечной окрестности аналогично предположению об эффекте экранирования; это обычно используется в кригинге.
...

Последовательное моделирование
Последовательные методы условного моделирования основаны на условном распределении значения в каждом узле, которое должно быть смоделировано с учетом исходных данных согласования и ранее смоделированных значений. Точки на регулярной сетке посещаются по некоторому случайному пути, и их значения выводятся. В случае гауссовского последовательного моделирования параметры нормальных условных распределений отождествляются со средними и дисперсиями кригинга. Размерность системы кригинга быстро становится громоздкой, если все ранее смоделированные параметры сохраняются. Аппроксимация получается путем сохранения только тех значений обработки, которые являются наиболее «косвенными». В большинстве случаев сохраняются только «самые близкие» данные, где самые близкие определяются относительно некоторой меры расстояния вариограммы.
...

Выборка Метрополиса
Предположим теперь, что с помощью некоторого алгоритма мы получили распределение вероятностей значения атрибута в любом конкретном месте, которое должно быть смоделировано условно для L соседних значений данных; это распределение, как правило, негауссово. Мы также предполагаем марковское свойство, т. е. обработка ограничена L соседними значениями. Затем мы могли бы реализовать метод последовательного моделирования с такими условными распределениями.
Мощным, но простым методом обеспечения таких условных распределений является выборка Метрополиса. Обозначим множество местоположений в сетке моделирования через S = {1 ... N}. Моделируемые значения по этой сетке - это массив y = {y1…yN}. Обозначим данные окрестности узла сетки i через вектор xi, то есть значения, в некотором смысле наиболее близкие к yi. Обозначим через f(y) объединенную многомерную плотность всех значений N пикселей.
...

Учет мировой статистики с помощью выборки Метрополиса-Гастингса
Многие методы статистического моделирования используют глобальную статистику, такую как гистограмма и глобальная вариограмма. Выборка Метрополис-Гастингса, более общая форма выборки Метрополиса, подразумевает возможность явного соблюдения глобальной гистограммы. Общая форма вероятности Метрополис-Гастингс записывается следующим образом:

где мы сейчас ввели новую, но совершенно произвольную вероятность перехода t. t описывает переход значения одного пикселя в значение другого пикселя независимо от соседних значений в i. Мы возвращаем исходный критерий Метрополиса (1), когда t симметрично, т.е. . Для соблюдения определенной гистограммы мы определим целевую функцию, которая измеряет разницу между целевой гистограммой и гистограммой на текущей итерации в цепочке Маркова.
...

Подход с несколькими сетками
Многие изображения имеют крупномасштабные функции, которые не могут быть представлены с шаблоном ограниченного размера. Могут присутствовать крупномасштабные тренды или некоторые структуры, такие как каналы, которые могут проходить по всему изображению. В таком случае мы можем определить несколько сеток (рис. 4): моделирование начинается на более грубой сетке, позволяющей захватить крупномасштабную структуру, затем переходит к более мелким сеткам для отображения деталей меньшего масштаба. Значения, смоделированные на грубой сетке, замораживаются как данные обработки в последующих более тонких сетках. В нашем подходе нам нужен набор интегралов для каждой вложенной сетки, что означает, что мы должны обучать разные нейронные сети для разных сеток с отсканированными данными с использованием шаблонов разных размеров (рис. 4).
...

Однослойная сеть
Нейронная сеть используется для моделирования всех локальных условных распределений, необходимых на этапе обобщения метода условного моделирования. Алгоритмы цепей Маркова запрашивают условное распределение в посещенной ячейке сетки, учитывая текущую реализацию x соседних данных. Нейронная сеть использует общую негауссовскую модель интегралов, которые «подогнаны» или «обучены» на тренировочном наборе. Не существует математического представления в близкой форме для соответствующей модели многомерного распределения, сеть предоставляет таблицу всех необходимых условных распределений, как только их параметры установлены. Прежде чем описывать алгоритм подбора параметров, мы должны определить архитектуру сети. Сначала мы рассмотрим сеть с одним скрытым слоем.
Рассмотрим снова значения в сетке, которые принимают непрерывные результаты, y на рисунке 2. Мы предполагаем, что скрининг Маркова выполняется в двух- или трехмерном пространстве.
...

Двухслойная сеть
Тот факт, что условное среднее в уравнении (5) линейно зависит от значений данных обработки, является ограничением возможностей гибкой аппроксимации нейронной сети. Чтобы снять это ограничение, мы добавим второй скрытый слой нейронных узлов. Первый скрытый слой, содержащий узлы K1, вставляется между входом и исходным скрытым слоем с помощью K2 (рис. 6). Предварительное нелинейное преобразование S данных x применяется до применения преобразования T. Таким образом, первый скрытый слой, содержащий нейронные узлы K1, вставляется между входным и исходным скрытым слоями с нейронными узлами K2. Это приводит к следующему условному распределению:

где uk,l – веса, связанные с первым слоем, S - любая неубывающая функция. Основываясь на тех же обозначениях для однослойной нейронной сети, мы можем упростить уравнение (7):

где мы заменяем линейную регрессию mk(x) выражения (5) на комбинацию K1 нелинейных функций типа S:

Рис. 6.
...

Понимание параметров сети
Для реализации нейронной сети с быстрым обучением важно лучше понять возможности аппроксимации сети и значение каждого параметра сети. Мы действуем следующим образом. Из совокупного условного распределения в выражении 7 условная плотность рассчитывается как производная:

где T’- производная от T по аргументу. Если ввести функцию h как:

тогда:

Параметр vk2 является параметром формы. Выражение (10) можно интерпретировать как разложение выходной плотности на различные «плотности ядра» или «узловые плотности» h. Нейронная сеть, выводящая условную плотность, показана на рисунке 7.

Рис. 7.
...

ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ НЕЙРОННОЙ СЕТИ
Для определения значений различных параметров θ = {ok2, vk2, w, u, k2=1…K2} сеть должна быть извлечена из обучающих данных. Тренировочные данные могут быть получены путем сканирования тренировочного образа для всех доступных комбинаций {y, x}. Краевые эффекты игнорируются. Классический метод обучения нейронных сетей, где некоторое среднеквадратичное отклонение существующего и желаемого результата итеративно минимизируется, не может быть использован, так как результат здесь является условной вероятностью, которая не известна. Тем не менее, мы можем использовать принцип максимального правдоподобия для получения оптимальных параметров θ. В парадигме максимального правдоподобия используется объединенная плотность всех значений узлов сетки обучающего образа, заданных параметрами сети, в качестве условного правдоподобия для данного обучающего образа. модель.
...

ПОЛУЧЕНИЕ ОСНОВНЫХ ХАРАКТЕРИСТИК ИЗОБРАЖЕНИЯ
Архитектура нейронной сети определяется числами (Kl, K2) внутренних узлов, входом, выходом и тем, как все они связаны. Обучение на изображении выполняется посредством максимизации функции ошибки (14) посредством итерационных шагов. Однако нельзя просто подогнать данные, извлеченные из изображения с использованием алгоритма, поскольку ошибка подбора будет постепенно уменьшаться, и нейронная сеть может в конечном итоге подогнать данные за пределы их существенных и экспортируемых пространственных особенностей. Действительно, используя достаточное количество узлов (Kl, K2 большое), можно было бы вписаться точно во все модели обучения. Способ преодолеть эту проблему - остановить тренировку на ранней стадии, также обозначаемой в нейронном языке как ранняя остановка. Однако, когда стоит остановиться, пока не ясно.
...

Песчаные дюны
Первое изображение (рис. 10) представляет собой оцифрованный участок эолийских изображений песчаника с черно-белыми пикселями. Черные пиксели соответствуют мелким осадкам с хорошей горизонтальной связью. Белые пиксели соответствуют более грубым осадкам с более высокой проницаемостью. Наиболее важной особенностью этого изображения является криволинейная форма мелких отложений, которые будут действовать как вертикальные барьеры потока. Такие изогнутые формы трудно воспроизвести с использованием традиционных двухточечных алгоритмов моделирования. Изображение сканируется с помощью шаблона, показанного на рисунке 1 (слева). Из-за небольшого размера изображения ранняя остановка (после 60 итераций алгоритма) была предпочтительнее перекрестной проверки. Обученная нейронная сеть содержит 20 узлов в первом и 10 узлов во втором скрытом слое. На рисунке 10 показаны три условных моделирования: связь черных пикселей с их криволинейной характеристикой разумно воспроизводится.

Рис. 10.
...

Набор данных озера Уокер
Набор данных озера Уокер представляет собой набор из 78000 (260 x 300) топографических измерений (высоты в футах) горного хребта у озера Уокер. На рисунке 11 приведен исчерпывающий набор данных, в котором представлены горные хребты и плоские соляные озера в долинах. Было выполнено нормальное преобразование оценки данных. Чтобы получить набор для обучения и перекрестной проверки, мы разделим изображение на две половины (снизу и сверху). Целью данного исследования является создание безусловного моделирования на небольшой сетке 130x150 и условного моделирования на более крупной сетке 260x300. Чтобы иметь возможность воспроизвести структуру на большие расстояния вдоль направления с севера на юг, мы использовали подход с несколькими сетками. Для условного моделирования были сохранены три последовательные сетки размером 65 x 75, 130 x 150 и 260 x 300. Для каждой сетки была обучена нейронная сеть с 20 узлами в первом и 10 узлами во втором скрытом слое.
...

ЗАКЛЮЧЕНИЕ
В этой статье мы предлагаем метод стохастического моделирования, основанный на последовательном моделировании локальных условных распределений с использованием нейронных сетей. Условное распределение набора неизвестных переменных с учетом набора известных переменных лежит в основе многих алгоритмов статистического прогнозирования, и разработанная здесь методология переносится на другие задачи оценки, не обязательно пространственные. Ключевой аспект предлагаемой методологии состоит в том, чтобы с самого начала интегрировать в распределения основные текстуры, считываемые с обучающих изображений. Этот подход заметно отличается от большинства геостатистических методов, в которых текстура встроена в модель случайных функций (например, модели с несколькими гауссиунами или модели с несколькими индикаторами), которая заимствует из реальности только двухточечную статистику.
...