Нейронные сети и компактные волны

Аппроксимация и нейронная сеть прямого распространения

Аппроксимационные свойства W-преобразований сближают их с методами нейронных сетей [Kreinovich92, Hornik91, Gorban98]. Одним из строгих математических результатов в области аппроксимации функций является доказательство [Hornik91] возможности аппроксимации произвольной непрерывной функции нейронной сетью с одним скрытым слоем (Рис.7) с наперед заданной точностью.


Сеть прямого распространения.

Сеть каскадной архитектуры.


Рис.7. Нейронные сети со скрытым слоем, выполняющие аппроксимацию функции F(x).

Вычисления, проводимые нейросетью, описываются формулой:

Здесь H - число нейронов скрытого слоя, f - нелинейная функция преобразования входного сигнала нейрона в выходной, W и V - весовые коэффициенты связей от входа к скрытому слою и от скрытого слоя к выходу, соответственно, - аддитивная составляющая входного сигнала (порог возбуждения нейрона). Иногда используются также и латеральные связи между нейронами слоя, как, например, в каскадной сети на Рис.7.

Аналогичным соотношением может быть представлена и функция нескольких переменных, в этом случае вектор W рассматривается, как матрица, и по индексам входных независимых переменных производится суммирование:

Представленное выше выражение формально соответствует оптимальной форме выражения функций многих переменных через суперпозицию функций одного переменного, задолго до нейронных сетей8 предложенной А.Н.Колмогоровым [Kolmogorov57].

Выбор нелинейных функций в приведенном разложении произволен, и вплоть до недавнего времени вопрос об оптимальном нейросетевом базисе оставался открытым. В работе [Kreinovich92] для практически важного класса функций (p раз непрерывно дифференцируемых на отрезке) было показано, что асимптотически (при малых уклонениях аппроксимации от функции) число требуемых базисных функций в нейросетевом разложении минимально, если эти функции являются компактными волнами (специального вида).

Данный фундаментальный результат дает принципиально новый взгляд на совместное использование преимуществ нейронных сетей (высокая параллельность вычислений, замена алгоритмического программирования обучением на примерах, простота аппаратного ускорения вычислений) и компактно-волновых преобразований (высокая информативность, слабая чувствительность к шуму, возможность глубокого сжатия информации). Это направление продолжает бурно развиваться.

Анализ финансовых временных рядов и значимость факторов при нейросетевом моделировании

Обсудим пользу совместного использования вейвлетов и нейронных сетей для анализа финансовых временных рядов. В качестве примера остановимся на фондовом индексе "РБК-композит" от РосБизнесКонсалтинг. Методика расчета индекса, а также обоснование соответствующих критериев, приведены на Интернет-сайте РБК (URL: http://www.rbc.ru/rbccomp_method.shtml).


Рис. A1. Фондовый индекс "РБК-композит" (ежедневные котировки при закрытии торгов) - вверху. Ниже - лог-дифференциальное представление ряда (log(p(t)/p(t-1)). Внизу - непрерывное W-преобразование лог-дифференциального ряда.

Даже поверхностный анализ вейвлет-картинки показывает, что на разных этапах истории ряда (с момента его основания 1 сентября 1997) существенными оказывались разные по масштабу тенденции его изменения - от однодневных до двухмесячных.

Для построения компьютерной системы прогноза котировки закрытия на следующий день необходимо выделить факторы в истории ряда, наибольшим образом влияющие на прогнозируемого значение. При этом хотелось бы уменьшить число таких факторов (без существенного ухудшения точности прогноза), так как это приводит к снижению чувствительности предсказания к шуму. С этой целью проведем следующую программу исследований:

В данной работе сравнивались несколько вариантов прогноза - линейная авторегрессия по всему набору из 64 переменных, линейная авторегрессия по 8 наиболее значимым переменным, и, наконец прогноз на основе нейронной сети со скрытым слоем из 8 нейронов и 8-ю входами. В нейросетевом прогнозе использовались те же восемь переменных, наиболее значимых с точки зрения линейных корреляций, что очевидно, является не самым оптимальным выбором для нелинейной нейросети. Общий масштаб ошибки обычно задается ошибкой "наивного" предсказания ("завтра будет так же, как и сегодня").

Поскольку данная работа посвящена, в основном, методам вейвлет-анализа, мы сознательно используем простейшие нейросетевые методики и модели. Собственно нейросетевым методам посвящена обширнейшая литература. Автору ближе всего книга [Bishop95], хотя это дело вкуса.

В простейшем традиционном варианте весь набор доступных данных разбивается на две выборки - обучающую и тестовую. Обучающая выборка используется для определения параметров прогностической системы (коэффициентов регрессии, весов нейросети и т.п.), тестовые примеры служат для оценки точности полученного прогноза. В качестве меры ошибки использовалось стандартное значение SSE (sum squared error - суммарная квадратичная ошибка), отнесенное к числу примеров.

Результаты выполнения предложенной программы исследований приведены ниже в таблице:

Таблица 1. Ошибка прогнозирования ряда "РБС-композит" различными методиками.

МетодВходные параметрыОшибка SSE% к наивному прогнозу
"Наивный"-0.00237100%
Линейная авторегрессиявсе 640.0020084.4%
Линейная авторегрессия8 линейно значимых0.0021992.4%
Нейронная сеть8 линейно значимых0.0013054.8%

Анализируя результаты, нужно отметить следующие факты. Использование линейной регрессии лишь незначительно улучшает прогноз по сравнению с "наивным" оракулом. При этом использование небольшого числа легко выявляемых наиболее значимых вейвлет коэффициентов (в нашем случае всего 8 чисел) практически так же эффективно, как и использование полного набора параметров. Это говорит о серьезной информационной избыточности ряда. И, наконец, применение нелинейной нейронной сети вместо линейной регрессии существенно улучшает качество прогноза. Этот результат не представляется особенно неожиданным, аналогичные данные приводятся в литературе (для других рядов).

Отметим, что в наши цели не входила оптимизация нейросетевой архитектуры, анализ нелинейной значимости признаков, а также использование совместно с прогнозируемым индексом других показателей (например, FOREX и данных по объемам торгов и др.). Это - предмет специальных профессиональных исследований.



Главная страница   |   Наверх   |   Содержание   |   Литература

Hosted by uCoz