Методы оценки качества моделей прогнозирования

6 сообщений / 0 новых
Последнее сообщение
Методы оценки качества моделей прогнозирования

Коллеги приветствую!Подскажите пожалуйста, какие существуют действенные методы оценки качества прогнозных моделей.

Есть ли какие-либо источники литературы или ссылки по этому вопросу.

Анатолий, спасибо за вопрос!

Анатолий, спасибо за вопрос!

Говоря о моделях прогнозирования нужно сказать, что два главных показателя их эффективности моделей прогнозирования:

  1. ошибка прогноза;
  2. время вычисления прогноза.

Мне кажется, что не совсем корректно говорить о методах оценки качества моделей прогнозирования. Качество чаще всего оценивается значениями показателей, а не методами.

Ошибка прогноза измеряется чаще всего в значениях MAPE и MAE. Данный подход я сама повсеместно пропагандирую, так как вижу его эффективность: можно сравнить собственные модели, можно сравнить свои результаты с чужими. В научных статьях чаще всего используются именно эти показатели.

Время вычисления прогноза является показательным и даже критичным, когда прогноз нужно делать быстро. Например, прогнозировать вперед на 5 минут каждые 5 минут. В таком случае, если модель работает 6 минут, ее нельзя применять, то есть она неэффективна. В остальных случаях этот показатель больше отражает удобство использования модели. Если каждый раз нужно ждать по 2 часа, когда модель посчитает прогноз на 5 минут, то математик от такого ожидания просто устанет.

На русском вы эти вещи навряд ли сможете найти где-то кроме моей диссертации. Можете брать ее за основу и ссылаться на нее. О ошибках модели прогнозирования см главу 2.1.2 и о времени вычисления прогноза см главу 3.2.

Другие оценки качества моделей (например, R2) были разработаны и систематизированы для регрессионных моделей Дрейпером. Английский вариант книги Draper N., Smith H. Applied regression analysis. Она имеется на русском языке, авторы Норман Р. Дрейпер, Гарри Смит Прикладной регрессионный анализ. Книга очень хорошая, написана простым и понятным языком со множеством примеров. Надо понимать, что тема прогнозирования в этой книге не освещена и предложенные авторами показатели оценки эффективности регрессионных моделей мало применимы к моделям прогнозирования.

Анатолий, если вы желаете найти книгу, где написано на русском про прогнозирование временных рядов, то вас в самом скором времени ждет глубокое разочарование: приличной, современной и качественной литературы на русском по этой теме просто нет. Наверное, самое широкое освещение данной темы дает сайт Математического бюро, а также несколько аналогичных информационных ресурсов, большинство из которых не имеют претензии на научность, так что на них и сослаться нельзя. Так же как нельзя сослаться, например, на записи в нашем блоге.

----------------------
Ирина Чучуева,
команда Математического бюро

Ирина спасибо за развернутый

Ирина спасибо за развернутый ответ!Что вы можете сказать про такие инструменты анализа качества моделей прогнозирвоания, как анализ остатков?

Анатолий, добрый день!

Анатолий, добрый день!

Уточните, пожалуйста, каких анализ каких именно остатков вы имеете в виду?

----------------------
Ирина Чучуева,
команда Математического бюро

Например, точечная диаграмма

Например, точечная диаграмма рассеяния и гистограмма распределения остатков.

 

Не поняла. Точечная диаграмма

Не поняла. Точечная диаграмма рассеяния чего? Приведите, пожалуйста, ссылку, откуда это взято. Гистограмма распределения остатков чего?

Вообще, гистограммы — вещь полезная для общего анализа. Я делаю анализ гистограмм ошибок экстраполяции и аппроксимации в своей диссертации при определении доверительного интервала. Но я не скажу, что по средствам такого рода анализа можно сделать вывод о качестве модели прогнозирования.

----------------------
Ирина Чучуева,
команда Математического бюро

2010 - 2018 © Математическое бюро

Все права защищены в соответствии с законодательством РФ

При полном или частичном использовании материалов ссылка на сайт обязательна