<<
>>

4. Описательные модели: аксиоматика и интуиция

Под описательными мы будем понимать модели итеративного научения, в которых явно не проводятся аналогии с принципами устройства и функционирования тех или иных систем, а экспоненциальный вид КН получается в результате введения достаточно абстрактных и не обосновываемых предположений относительно законов и правил взаимодействия элементов обучаемой системы (в аксиоматических моделях иногда постулируется непосредственно, что кривая научения описывается экспонентой - выражением (2.1)).

В большинстве случаев в описательных моделях вводимые предположения опираются на интуицию и апеллируют к здравому смыслу, а выводы из анализа динамики КН зачастую лежат в основе моделей более высокого уровня [14, 31].

Модель 4.1.

О. Изменение рассогласования системы во времени.

Г(В,Ф). Скорость изменения рассогласования пропорциональ-на его текущему значению, причем коэффициент пропорциональности не зависит от времени. То есть

(4.1) = _ гт

dt

Вывод очевиден - решением этого дифференциального уравнения является экспонента - выражение (2.1).

А. Значительная часть аксиоматических моделей так или иначе предполагает пропорциональность между изменением рассогласования в единицу времени и его текущим значением. Понятно, что при постоянном коэффициенте пропорциональности такое предположение сразу приводит к экспоненциальному виду КН, причем для увеличения скорости научения необходимо увеличивать величину коэффициента g, который в дальнейшем в различных моделях будет интерпретироваться как количество информации, перерабатываемой обучаемой системой в единицу времени, пропускная способность канала связи, объективно существующее ограничение на скорость изменения параметров элементов и т.д.

Аналогичные построения (правда, при несколько более искусственных исходных гипотезах) приведены в [75]. В модели с дискретным временем, если: xn - xn1 = - a xn, то

xn = (1 - a)n x0k n = 1, 2, ...

, и скорость научения убывает с ростом a (а є (0; 1)). Если же xn = Ь xn-1, то xn = bn x0h n = 1, 2, ... , и скорость научения возрастает с ростом Ь (Ь є (0; 1)). •

Модель 4.2. (Р. Буш, Ф. Мостеллер, У. Эстес [23, 43, 99, 106]).

О. Рассогласование - вероятность правильной реакции (например, в известном эксперименте "крыса в лабиринте") [13, 23, 79 и др.]. Исследуется зависимость рассогласования от числа повторений. Если вероятность правильной реакции равна p (вероятность неправильной реакции равна, соответственно, (1 - p)), то она может увеличиться не более, чем на (1 - p), и стать равной единице, и уменьшиться не более, чем на p, и стать равной нулю.

Г. На каждом шаге прирост рассогласования пропорционален возможному приращению, а уменьшение пропорционально возможному уменьшению. Разностное уравнение для вероятности правильной реакции имеет вид: (4.2) xn = xn_i + an (1 - xn) - bn xn-1, n = 1, 2, ... , где an, bn > 0.

Ф(В). При начальной точке x0 и постоянных коэффициентах а (an = a), и b (bn = b) получаем

xn = xo (1 - а - b)n + (1 - a - b) .

к=0

Непрерывный "аналог" этого решения имеет вид x(t) = x~ + (x0 - x~) e - (a + b) t,

где x? = a / (a + b).

А. По сравнению с предыдущей моделью, в рассматриваемой здесь модели введено усложнение - возможность как увеличения, так и уменьшения рассогласования (ср. (4.1) и(4.2)), хотя, по сути, рассматриваемая модель является "вероятностной" модификацией модели 4.1. Постоянство коэффициентов приводит к экспоненци- альности решения, а скорость научения g = a + b, по-прежнему, определяется величиной коэффициентов a и b.

Статистическим моделям научения посвящено значительное число работ, особенно зарубежных авторов. В большинстве из них ИН понимается именно как "... систематическое изменение вероят-

ности реакции" [99, с. 395]. Приведем один из наборов требований к статистическим моделям:

"Динамика усредненного показателя научения описывается кривой, имеющей отрицательное ускорение в своей конечной фазе и стремящейся к некоторой постоянной асимптоте" (отметим, что в этом пункте требуется замедленная асимптотичность только в конечной фазе, то есть допускается, например, наличие начального плато - Д.Н.).

"Гладкая кривая среднего является результатом усреднения ..., а асимптота наблюдаемой КН представляет лишь точку статистического равновесия" [99, с. 397].

Следует отметить, что полученному решению уравнения (4.2) вполне соответствуют результаты экспериментов со многими животными (в большинстве случаев - с крысами) [23, 67], людьми [4, 100 и др.] и вероятностными автоматами [24 и др.].

Экспоненциальный вид КН обусловлен линейностью зависи-мостей (4.1) и (4.2) и постоянством (стационарностью) коэффициентов a и р.

В следующей модели эта зависимость берется уже нелинейной. •

Модель 4.3. (Р. Буш, Ф. Мостеллер и др. [23]). О. Изменение рассогласования (например, зависимость вероятности правильной реакции от числа повторений) системы во времени.

Г. На каждом шаге изменение рассогласования пропорционально текущему значению рассогласования и разности между некоторым конечным рассогласованием a и текущим. Динамика рассогласования удовлетворяет дифференциальному уравнению Бернулли

(4.3) dx(t) = р x(t) (a- x(t)), dt

где a и р - некоторые константы.

Ф(В). При начальной точке x решением является логистическая кривая:

x(t) = ax0 / (x0 + (a- x0) e " a рt). А. Наличие "тормозящего довеска" в (4.3) по сравнению с(4.1) и (4.2) приводит к тому, что КН получается не экспоненциальной,

а логистической - появляется точка перегиба. Скорость научения, в отличие от предыдущих моделей, зависит не только от коэффициента пропорциональности между скоростью изменения рассогласования и текущим значением рассогласования, но и от величины конечного рассогласования. •

Модель 4.4. (К. Халл [36, 104, 105]).

О. Классической аксиоматической моделью итеративного научения является известная система постулатов К. Халла (C. Hull) для бихевиористской модели S-R-S (основой обучения является упрочение связей стимул-реакция).

Г(А, В). Закон формирования навыка (IV постулат) гласит, что, если подкрепления равномерно (равномерность проб - важная характеристика итеративного научения) следуют одно за другим, а все остальное (внешние условия и цели обучения) не меняется, то в результате прочность навыка x(n) будет увеличиваться с ростом числа испытаний согласно равенству:

xn = 1 - 10 -g n.

А. Отметим, что кривая забывания согласно VIII постулату также является экспоненциальной кривой [105]. •

Модель 4.5. (Ю.Г. Антомонов [9, 11]).

О. "Обобщенная модель обучения" (например, обучение человека-оператора). Переменной является x - вероятность того, что у обучаемой системы сформировалась адекватная модель внешней среды.

Г.

Из аналога принципа наименьшего действия (см. также модели раздела 5 настоящей работы) следует, что изменение вероятности удовлетворяет дифференциальному уравнению [11]:

(4.4) ^ + a x(t) = b. dt

Отметим, что иногда уравнения типа (4.4) называются "законом подкрепления статистической теории обучения". В [92] этот закон записывается в виде

xn xn-1 + a (1 xn-1)

что соответствует b = a (или (4.2) с b = 0, при этом если x0 = 0, то

x? = 1 [9]).

Ф(В, А) - см. модель 4.2. •

Многие исследователи изначально постулируют замедленно- асимптотический вид КН и используют его в дальнейшем при количественном анализе, выработке различных рекомендаций и т.д. [75, 109, 115 и др.].

Практически во всех моделях настоящего раздела предполагается, что рассогласование системы удовлетворяет линейному дифференциальному уравнению с постоянными коэффициентами. При этом линейность и стационарность коэффициентов являются достаточными (но не необходимыми) условиями экспоненциаль- ности решения.

<< | >>
Источник: Новиков Д. А.. Закономерности итеративного научения. М.: Институт проблем управления РАН,1998. - 77 с.. 1998

Еще по теме 4. Описательные модели: аксиоматика и интуиция:

  1. 4. Описательные модели: аксиоматика и интуиция
  2. C. Автономов ПОИСК НОВЫХ РЕШЕНИЙ (МОДЕЛЬ ЧЕЛОВЕКА В ЗАПАДНОЙ ЭКОНОМИЧЕСКОЙ ТЕОРИИ 1900- 1920-х ГОДОВ) 1. ПСИХОЛОГИЯ И ЭКОНОМИЧЕСКАЯ ТЕОРИЯ: КОНФЛИКТ И ЕГО ПОСЛЕДСТВИЯ