Основные характеристики регрессионного анализа. Корреляционно-регрессионный анализ в Excel: инструкция выполнения

Что такое регрессия?

Рассмотрим две непрерывные переменные x=(x 1 , x 2 , .., x n), y=(y 1 , y 2 , ..., y n).

Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение , если данные аппроксимируются прямой линией.

Если мы полагаем, что y зависит от x , причём изменения в y вызываются именно изменениями в x , мы можем определить линию регрессии (регрессия y на x ), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными.

Статистическое использование слова "регрессия" исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).

Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей "регрессировал" и "двигался вспять" к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).

Линия регрессии

Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:

x называется независимой переменной или предиктором.

Y - зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x , т.е. это «предсказанное значение y »

• a - свободный член (пересечение) линии оценки; это значение Y , когда x=0 (Рис.1).
• b - угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую Y увеличивается в среднем, если мы увеличиваем x на одну единицу.
• a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b .

Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия .

Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)

Метод наименьших квадратов

Мы выполняем регрессионный анализ, используя выборку наблюдений, где a и b - выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).

Наиболее простым методом определения коэффициентов a и b является метод наименьших квадратов (МНК).

Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y - предсказанный y , Рис. 2).

Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной.

Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.

Предположения линейной регрессии

Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.

Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии:

• Остатки нормально распределены с нулевым средним значением;

Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.).

Аномальные значения (выбросы) и точки влияния

"Влиятельное" наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член).

Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть "влиятельным" наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.

И для выбросов, и для "влиятельных" наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии).

При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их.

Гипотеза линейной регрессии

При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю.

Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на

Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:

Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента

,

- оценка дисперсии остатков.

Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.

где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия

Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%.

Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)

Оценка качества линейной регрессии: коэффициент детерминации R 2

Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется , и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.

Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным.

Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации , обычно выражают через процентное соотношение и обозначают R 2 (в парной линейной регрессии это величина r 2 , квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии.

Разность представляет собой процент дисперсии который нельзя объяснить регрессией.

Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии.

Применение линии регрессии для прогноза

Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).

Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.

Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.

Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.

Простые регрессионные планы

Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P , например, 7, 4 и 9, а план включает эффект первого порядка P , то матрица плана X будет иметь вид

а регрессионное уравнение с использованием P для X1 выглядит как

Y = b0 + b1 P

Если простой регрессионный план содержит эффект высшего порядка для P , например квадратичный эффект, то значения в столбце X1 в матрице плана будут возведены во вторую степень:

а уравнение примет вид

Y = b0 + b1 P2

Сигма -ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X . При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X , а работать только с регрессионным уравнением.

Пример: простой регрессионный анализ

Этот пример использует данные, представленные в таблице:

Рис. 3. Таблица исходных данных.

Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже:

Рис. 4. Таблица спецификаций переменных.

Задача исследования

Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 (Pt_Poor ) как зависимую переменную.

Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 (Pop_Chng ) как переменную-предиктор.

Просмотр результатов

Коэффициенты регрессии

Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.

На пересечении строки Pop_Chng и столбца Парам. не стандартизованный коэффициент для регрессии Pt_Poor на Pop_Chng равен -0.40374 . Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на.40374. Верхний и нижний (по умолчанию) 95% доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p<.05 . Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на.65.

Распределение переменных

Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor по округам. Для этого построим гистограмму переменной Pt_Poor .

Рис. 6. Гистограмма переменной Pt_Poor.

Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся "внутри диапазона."

Рис. 7. Гистограмма переменной Pt_Poor.

Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности.

Диаграмма рассеяния

Если одна из гипотез априори о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния.

Рис. 8. Диаграмма рассеяния.

Диаграмма рассеяния показывает явную отрицательную корреляцию (-.65 ) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми.

Критерии значимости

Рис. 9. Таблица, содержащая критерии значимости.

Критерий для коэффициента регрессии Pop_Chng подтверждает, что Pop_Chng сильно связано с Pt_Poor , p<.001 .

Итог

На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной.

А) Графический анализ простой линейной регрессии.

Простое линейное уравнение регрессии y=a+bx. Если между случайными величинами У и X существует корреляционная связь, то значение у = ý + ,

где ý – теоретическое значение у, полученное из уравнения ý = f(x),

 – погрешность отклонения теоретического уравнения ý от фактических (экспериментальных) данных.

Уравнение зависимости средней величины ý от х, то есть ý = f(x) называют уравнением регрессии. Регрессионный анализ состоит из четырёх зтапов:

1) постановка задачи и установление причин связи.

2) ограничение объекта исследований, сбор статастической информации.

3) выбор уравнения связи на основе анализа и характера собранных данных.

4) расчёт числовых значений, характеристик корреляционной связи.

Если две переменные связаны таким образом, что изменение одной переменной соответствует систематическому изменению другой переменной, то для оценки и выбора уравнения связи между ними применяют регрессионный анализ в том случае, если эти переменные известны. В отличие от регрессионного анализа, корреляционный анализ применяют для анализа тесноты связи между X и У.

Рассмотрим нахождение прямой при регрессионном анализе:

Теоретическое уравнение регрессии.

Термин «простая регрессия» указывает на то, что величина одной переменной оценивается на основе знаний о другой переменной. В отличие от простой многофакторная регрессия применяется для оценки переменной на основе знания двух, трёх и более переменных. Рассмотрим графический анализ простой линейной регрессии.

Предположим, имеются результаты отборочных испытании по предварительному найму на работу и производительности труда.

	Результаты отбора (100 баллов), x	Производительность (20 баллов), y

Нанеся точки на график, получим диаграмму (поле) рассеяния. Используем её для анализа результатов отборочных испытаний и производительности труда.

По диаграмме рассеяния проанализируем линию регрессии. В регрессионном анализе всегда указываются хотя бы две переменные. Систематическое изменение одной переменной связано с изменением другой. Основная цель регрессионного анализа заключается в оценке величины одной переменной, если величина другой переменной известна. Для полной задачи важна оценка производительности труда.

Независимой переменной в регрессионном анализе называется величина, которая используется в качестве основы для анализа другой переменной. В данном случае – это результаты отборочных испытаний (по оси X).

Зависимой переменной называется оцениваемая величина (по оси У). В регрессионном анализе может быть только одна зависимая переменная и несколько независимых переменных.

Для простого регрессионного анализа зависимость можно представить в двухкоординатной системе (х и у), по оси X – независимая переменная, по оси У – зависимая. Наносим точки пересечения таким образом, чтобы на графике была представлена пара величин. График называют диаграммой рассеяния . Ее построение – это второй этап регрессионного анализа, поскольку первый – это выбор анализируемых величин и сбор данных выборки. Таким образом, регрессионный анализ применяется для статистического анализа. Связь между выборочными данными диаграммы линейная.

Для оценки величины переменной у на основе переменной х необходимо определить положение линии, которая наилучшим образом представляет связь между х и у на основе расположения точек диаграммы рассеяния. В нашем примере это анализ производительности. Линия, проведенная через точки рассеяния – линия регрессии . Одним из способов построения линии регрессии, основанном на визуальном опыте, является способ построения от руки. По нашей линии регрессии можно определить производительность труда. При нахождении уравнения линии регрессии

часто применяют критерий наименьших квадратов. Наиболее подходящей является та линия, где сумма квадратов отклонений минимальна

Математическое уравнение линии роста представляет закон роста в арифметической прогрессии:

у = а – b х .

Y = а + b х – приведённое уравнение с одним параметром является простейшим видом уравнения связи. Оно приемлемо для средних величин. Чтобы точнее выразить связь между х и у , вводится дополнительный коэффициент пропорциональности b , который указывает наклон линии регрессии.

Б) Построение теоретической линии регрессии.

Процесс её нахождения заключается в выборе и обосновании типа кривой и расчётов параметров а , b , с и т.д. Процесс построения называют выравниванием, и запас кривых, предлагаемых мат. анализом, разнообразен. Чаще всего в экономических задачах используют семейство кривых, уравнения которые выражаются многочленами целых положительных степеней.

1)
– уравнение прямой,

2)
– уравнение гиперболы,

3)
– уравнение параболы,

где ý – ординаты теоретической линии регрессии.

Выбрав тип уравнения, необходимо найти параметры, от которых зависит это уравнение. Например, характер расположения точек в поле рассеяния показал, что теоретическая линия регрессии является прямой.

Диаграмма рассеяния позволяет представить производительность труда с помощью регрессионного анализа. В экономике с помощью регрессионного анализа предсказываются многие характеристики, влияющие на конечный продукт (с учётом ценообразования).

В) Критерий наименьших кадратов для нахождения прямой линии.

Один из критериев, которые мы могли бы применить для подходящей линии регрессии на диаграмме рассеяния, основан на выборе линии, для которой сумма квадратов погрешностей будет минимальна.

Близость точек рассеяния к прямой измеряется ординатами отрезков. Отклонения этих точек могут быть положительными и отрицательными, но сумма квадратов отклонений теоретической прямой от экспериментальной всегда положительна и должна быть минимальна. Факт несовпадения всех точек рассеяния с положением линии регрессии указывает на существование расхождения между экспериментальными и теоретическими данными. Таким образом, можно сказать, что никакая другая линия регрессии, кроме той, которую нашли, не может дать меньшую сумму отклонений между экспериментальными и опытными данными. Следовательно, найдя теоретическое уравнение ý и линию регрессии, мы удовлетворяем требованию наименьших квадратов.

Это делается с помощью уравнения связи
, используя формулы для нахождения параметров а и b . Взяв теоретическое значение
и обозначив левую часть уравнения черезf , получим функцию
от неизвестных параметрова и b . Значения а и b будут удовлетворять минимуму функции f и находятся из уравнений частных производных
и
. Этонеобходимое условие , однако для положительной квадратической функции это является и достаточным условием для нахождения а и b .

Выведем из уравнений частных производных формулы параметров а и b :

получим систему уравнений:

где
– среднеарифметические погрешности.

Подставив числовые значения, найдем параметры а и b .

Существует понятие
. Это коэффициент аппроксимации.

Если е < 33%, то модель приемлема для дальнейшего анализа;

Если е > 33%, то берём гиперболу, параболу и т.д. Это даёт право для анализа в различных ситуациях.

Вывод: по критерию коэффициента аппроксимации наиболее подходящей является та линия, для которых

, и никакая другая линия регрессии для нашей задачи не даёт минимум отклонений.

Г) Квадратическая ошибка оценки, проверка их типичности.

Применительно к совокупности, у которой число параметров исследования меньше 30 (n < 30), для проверки типичности параметров уравнения регрессии используется t -критерий Стьюдента. При этом вычисляется фактическое значение t -критерия:

Отсюда

где – остаточная среднеквадратическая погрешность. Полученныеt a и t b сравнивают с критическим t k из таблицы Стьюдента с учётом принятого уровня значимости ( = 0,01 = 99% или  = 0,05 = 95%). P = f = k 1 = m – число параметров исследуемого уравнения (степень свободы). Например, если y = a + bx ; m = 2, k 2 = f 2 = p 2 = n – (m + 1), где n – количество исследуемых признаков.

t a < t k < t b .

Вывод : по проверенным на типичность параметрам уравнения регрессии производится построение математической модели связи
. При этом параметры примененной в анализе математической функции (линейная, гипербола, парабола) получают соответствующие количественные значения. Смысловое содержание полученных таким образом моделей состоит в том, что они характеризуют среднюю величину результативного признака
от факторного признака X .

Д) Криволинейная регрессия.

Довольно часто встречается криволинейная зависимость, когда между переменными устанавливается меняющееся соотношение. Интенсивность возрастания (убывания) зависит от уровня нахождения X. Криволинейная зависимость бывает разных видов. Например, рассмотрим зависимость между урожаем и осадками. С увеличением осадков при равных природных условиях интенсивное увеличение урожая, но до определенного предела. После критической точки осадки оказываются излишними, и урожайность катастрофически падает. Из примера видно, что вначале связь была положительной, а потом отрицательной. Критическая точка - оптимальный уровень признака X, которому соответствует максимальное или минимальное значение признака У.

В экономике такая связь наблюдается между ценой и потреблением, производительностью и стажем.

Параболическая зависимость.

Если данные показывают, что увеличение факторного признака приводит к росту результативного признака, то в качестве уравнения регрессии берется уравнение второго порядка (парабола).

. Коэффициенты a,b,c находятся из уравнений частных производных:

Получаем систему уравнений:

Виды криволинейных уравнений:

,

,

Вправе предполагать, что между производительностью труда и баллами отборочных испытаний существует криволинейная зависимость. Это означает, что с ростом бальной системы производительность начнёт на каком-то уровне уменьшаться, поэтому прямая модель может оказаться криволинейной.

Третьей моделью будет гипербола, и во всех уравнениях вместо переменной х будет стоять выражение .

Понятия корреляции и регрессии непосредственно связаны меж­ду собой. В корреляционном и регрессионном анализе много общих вычислительных приемов. Они используются для выявления причин­но-следственных соотношений между явлениями и процессами. Одна­ко, если корреляционный анализ позволяет оценить силу и направ­ление стохастической связи, то регрессионный анализ - еще и фор­му зависимости.

Регрессия может быть:

а) в зависимости от числа явлений (переменных):

Простой (регрессия между двумя переменными);

Множественной (регрессия между зависимой переменной (y) и несколькими объясняющими ее переменными (х1, х2...хn);

б) в зависимости от формы:

Линейной (отображается линейной функцией, а между изучае­мыми переменными существуют линейные соотношения);

Нелинейной (отображается нелинейной функцией, между изу­чаемыми переменными связь носит нелинейный характер);

в) по характеру связи между включенными в рассмотрение пе­ременными:

Положительной (увеличение значения объясняющей переменной приводит к увеличению значения зависимой переменной и наоборот);

Отрицательной (с увеличением значения объясняющей переменной значение объясняемой переменной уменьшается);

г) по типу:

Непосредственной (в этом случае причина оказывает прямое воздействие на следствие, т.е. зависимая и объясняющая перемен­ные связаны непосредственно друг с другом);

Косвенной (объясняющая переменная оказывает опосредован­ное действие через третью или ряд других переменных на зависимую переменную);

Ложной (нонсенс регрессия) - может возникнуть при поверх­ностном и формальном подходе к исследуемым процессам и явлениям. Примером бессмысленных является регрессия, устанавливающая связь между уменьшением количества потребляемого алкоголя в нашей стране и уменьшением продажи стирального порошка.

При проведении регрессионного анализа решаются следующие основные задачи:

1. Определение формы зависимости.

2. Определение функции регрессии. Для этого используют ма­тематическое уравнение того или иного типа, позволяющее, во-пер­вых, установить общую тенденцию изменения зависимой перемен­ной, а, во-вторых, вычислить влияние объясняющей переменной (или нескольких переменных) на зависимую переменную.

3. Оценка неизвестных значений зависимой переменной. Полу­ченная математическая зависимость (уравнение регрессии) позволя­ет определять значение зависимой переменной как в пределах ин­тервала заданных значений объясняющих переменных, так и за его пределами. В последнем случае регрессионный анализ выступает в качестве полезного инструмента при прогнозировании изменений со­циально-экономических процессов и явлений (при условии сохране­ния существующих тенденций и взаимосвязей). Обычно длина вре­менного отрезка, на который осуществляется прогнозирование, выбирается не более половины интервала времени, на котором прове­дены наблюдения исходных показателей. Можно осуществить как пас­сивный прогноз, решая задачу экстраполяции, так и активный, ведя рассуждения по известной схеме "если..., то" и подставляя раз­личные значения в одну или несколько объясняющих переменных рег­рессии.

Для построения регрессии используется специальный метод, получивший название метода наименьших квадратов . Этот метод име­ет преимущества перед другими методами сглаживания: сравнительно простое математическое определение искомых параметров и хорошее теоретическое обоснование с вероятностной точки зрения.

При выборе модели регрессии одним из существенных требова­ний к ней является обеспечение наибольшей возможной простоты, позволяющей получить решение с достаточной точностью. Поэтому для установления статистических связей вначале, как правило, рассматривают модель из класса линейных функций (как наиболее простейшего из всех возможных классов функций):

где bi, b2...bj - коэффициенты, определяющие влияние независимых переменных хij на величину yi; аi - свободный член; ei - слу­чайное отклонение, которое отражает влияние неучтенных факторов на зависимую переменную; n - число независимых переменных; N ­число наблюдений, причем должно соблюдаться условие (N . n+1).

Линейная модель может описывать весьма широкий класс различных задач. Однако на практике, в частности в социально-эконо­мических системах, подчас затруднительно применение линейных мо­делей из-за больших ошибок аппроксимации. Поэтому нередко ис­пользуются функции нелинейной множественной регрессии, допускающие линеаризацию. К их числу, например, относится производст­венная функция (степенная функция Кобба-Дугласа), нашедшая при­менение в различных социально-экономических исследованиях. Она имеет вид:

где b 0 - нормировочный множитель, b 1 ...b j - неизвестные коэффи­циенты, e i - случайное отклонение.

Используя натуральные логарифмы, можно преобразовать это уравнение в линейную форму:

Полученная модель позволяет использовать стандартные проце­дуры линейной регрессии, описанные выше. Построив модели двух видов (аддитивные и мультипликативные), можно выбрать наилучшие и провести дальнейшие исследования с меньшими ошибками аппрокси­мации.

Существует хорошо развитая система подбора аппроксимирующих функций - методика группового учета аргументов (МГУА) .

О правильности подобранной модели можно судить по результа­там исследования остатков, являющихся разностями между наблю­даемыми величинами y i и соответствующими прогнозируемыми с по­мощью регрессионного уравнения величинами y i . В этом случае для проверки адекватности модели рассчитывается средняя ошибка ап­проксимации:

Модель считается адекватной, если e находится в пределах не более 15%.

Особо подчеркнем, что применительно к социально-экономичес­ким системам далеко не всегда выполняются основные условия адек­ватности классической регрессионной модели.

Не останавливаясь на всех причинах возникающей неадекват­ности, назовем лишь мультиколлинеарность - самую сложную пробле­му эффективного применения процедур регрессионного анализа при изучении статистических зависимостей. Под мультиколлинеарностью понимается наличие линейной связи между объясняющими переменны­ми.

Это явление:

а) искажает смысл коэффициентов регрессии при их содержа­тельной интерпретации;

б) снижает точность оценивания (возрастает дисперсия оце­нок);

в) усиливает чувствительность оценок коэффициентов к выбо­рочным данным (увеличение объема выборки может сильно повлиять на значения оценок).

Существуют различные приемы снижения мультиколлинеарности. Наиболее доступный способ - устранение одной из двух переменных, если коэффициент корреляции между ними превышает значение, рав­ное по абсолютной величине 0,8. Какую из переменных оставить ре­шают, исходя из содержательных соображений. Затем вновь прово­дится расчет коэффициентов регрессии.

Использование алгоритма пошаговой регрессии позволяет пос­ледовательно включать в модель по одной независимой переменной и анализировать значимость коэффициентов регрессии и мультиколли­неарность переменных. Окончательно в исследуемой зависимости ос­таются только те переменные, которые обеспечивают необходимую значимость коэффициентов регрессии и минимальное влияние мульти­коллинеарности.

Регрессионный анализ является одним из самых востребованных методов статистического исследования. С его помощью можно установить степень влияния независимых величин на зависимую переменную. В функционале Microsoft Excel имеются инструменты, предназначенные для проведения подобного вида анализа. Давайте разберем, что они собой представляют и как ими пользоваться.

Но, для того, чтобы использовать функцию, позволяющую провести регрессионный анализ, прежде всего, нужно активировать Пакет анализа. Только тогда необходимые для этой процедуры инструменты появятся на ленте Эксель.

Теперь, когда мы перейдем во вкладку «Данные» , на ленте в блоке инструментов «Анализ» мы увидим новую кнопку – «Анализ данных» .

Виды регрессионного анализа

Существует несколько видов регрессий:

• параболическая;
• степенная;
• логарифмическая;
• экспоненциальная;
• показательная;
• гиперболическая;
• линейная регрессия.

О выполнении последнего вида регрессионного анализа в Экселе мы подробнее поговорим далее.

Линейная регрессия в программе Excel

Внизу, в качестве примера, представлена таблица, в которой указана среднесуточная температура воздуха на улице, и количество покупателей магазина за соответствующий рабочий день. Давайте выясним при помощи регрессионного анализа, как именно погодные условия в виде температуры воздуха могут повлиять на посещаемость торгового заведения.

Общее уравнение регрессии линейного вида выглядит следующим образом: У = а0 + а1х1 +…+акхк. В этой формуле Y означает переменную, влияние факторов на которую мы пытаемся изучить. В нашем случае, это количество покупателей. Значение x – это различные факторы, влияющие на переменную. Параметры a являются коэффициентами регрессии. То есть, именно они определяют значимость того или иного фактора. Индекс k обозначает общее количество этих самых факторов.

Разбор результатов анализа

Результаты регрессионного анализа выводятся в виде таблицы в том месте, которое указано в настройках.

Одним из основных показателей является R-квадрат . В нем указывается качество модели. В нашем случае данный коэффициент равен 0,705 или около 70,5%. Это приемлемый уровень качества. Зависимость менее 0,5 является плохой.

Ещё один важный показатель расположен в ячейке на пересечении строки «Y-пересечение» и столбца «Коэффициенты» . Тут указывается какое значение будет у Y, а в нашем случае, это количество покупателей, при всех остальных факторах равных нулю. В этой таблице данное значение равно 58,04.

Значение на пересечении граф «Переменная X1» и «Коэффициенты» показывает уровень зависимости Y от X. В нашем случае — это уровень зависимости количества клиентов магазина от температуры. Коэффициент 1,31 считается довольно высоким показателем влияния.

Как видим, с помощью программы Microsoft Excel довольно просто составить таблицу регрессионного анализа. Но, работать с полученными на выходе данными, и понимать их суть, сможет только подготовленный человек.

После того как с помощью корреляционного анализа выявлено наличие статистических связей между переменными и оценена степень их тесноты, обычно переходят к математическому описанию конкретного вида зависимостей с использованием регрессионного анализа. С этой целью подбирают класс функций, связывающий результативный показатель у и аргументы х 1, х 2,…, х к отбирают наиболее информативные аргументы, вычисляют оценки неизвестных значений параметров уравнения связи и анализируют свойства полученного уравнения.

Функция f(х 1, х 2,…, х к) описывающая зависимость среднего значения результативного признака у от заданных значений аргументов, называется функцией (уравнением) регрессии. Термин «регрессия» (лат. -regression- отступление, возврат к чему-либо) введен английским психологом и антропологом Ф.Гальтоном и связан исключительно со спецификой одного из первых конкретных примеров, в котором это понятие было использовано. Так, обрабатывая статистические данные в связи с анализом наследственности роста, Ф. Гальтон нашел, что если отцы отклоняются от среднего роста всех отцов на x дюймов, то их сыновья отклоняются от среднего роста всех сыновей меньше, чем на x дюймов. Выявленная тенденция была названа «регрессией к среднему состоянию». С тех пор термин «регрессия» широко используется в статистической литературе, хотя во многих случаях он недостаточно точно характеризует понятие статистической зависимости.

Для точного описания уравнения регрессии необходимо знать закон распределения результативного показателя у. В статистической практике обычно приходится ограничиваться поиском подходящих аппроксимаций для неизвестной истинной функции регрессии, так как исследователь не располагает точным знанем условного закона распределения вероятностей анализируемого результатирующего показателя у при заданных значениях аргумента х.

Рассмотрим взаимоотношение между истинной f(х) = М(у1х), мо дельной регрессией? и оценкой y регрессии. Пусть результативный показатель у связан с аргументом х соотношением:

где - е случайная величина, имеющая нормальный закон распределения, причем Ме = 0 и D е = у 2 . Истинная функция регрессии в этом случае имеет вид: f (х) = М(у/х) = 2х 1.5 .

Предположим, что точный вид истинного уравнения регрессии нам не известен, но мы располагаем девятью наблюдениями над двумерной случайной величиной, связанной соотношением уi= 2х1,5+е, и представленной на рис. 1

Рисунок 1 - Взаимное расположение истиной f (х) и теоретической? модели регрессии

Расположение точек на рис. 1 позволяет ограничиться классом линейных зависимостей вида? = в 0 +в 1 x. С помощью метода наименьших квадратов найдем оценку уравнения регрессии у = b 0 +b 1 x. Для сравнения на рис. 1 приводятся графики истинной функции регрессии у=2х 1,5 , теоретической аппроксимирующей функции регрессии? = в 0 +в 1 x .

Поскольку мы ошиблись в выборе класса функции регрессии, а это достаточно часто встречается в практике статистических исследований, то наши статистические выводы и оценки окажутся ошибочными. И как бы мы ни увеличивали объем наблюдений, наша выборочная оценка у не будет близка к истинной функции регрессии f (х). Если бы мы правильно выбрали класс функций регрессии, то неточность в описании f(х) с помощью? объяснялась бы только ограниченностью выборки.

С целью наилучшего восстановления по исходным статистическим данным условного значения результативного показателя у(х) и неизвестной функции регрессии f(х) = М(у/х) наиболее часто используют следующие критерии адекватности (функции потерь).

Метод наименьших квадратов. Согласно ему минимизируется квадрат отклонения наблюдаемых значений результативного показателя у, (i = 1,2,..., п) от модельных значений,? = f(х i), где, х i - значение вектора аргументов в i-м наблюдении: ?(y i - f(х i) 2 > min. Получаемая регрессия называется среднеквадратической.

Метод наименьших модулей. Согласно ему минимизируется сумма абсолютных отклонений наблюдаемых значений результативного показателя от модульных значений. И получаем,? = f(х i), среднеабсолютную медианную регрессию? |y i - f(х i)| >min.

Регрессионным анализом называется метод статистического анализа зависимости случайной величины у от переменных х j = (j=1,2,..., к), рассматриваемых в регрессионном анализе как неслучайные величины, независимо от истинного закона распределения х j.

Обычно предполагается, что случайная величина у имеет нормальный закон распределения с условным математическим ожиданием у, являющимся функцией от аргументов х/ (/= 1, 2,..., к) и постоянной, не зависящей от аргументов, дисперсией у 2 .

В общем линейная модель регрессионного анализа имеет вид:

Y = Уk j=0 вj цj (x1 , x2 . . .. ,xk )+Э

где ц j - некоторая функция его переменных - x 1 , x 2 . . .. ,x k , Э - случайная величина с нулевым математическим ожиданием и дисперсией у 2 .

В регрессионном анализе вид уравнения регрессии выбирают исходя из физической сущности изучаемого явления и результатов наблюдения.

Оценки неизвестных параметров уравнения регрессии находят обычно методом наименьших квадратов. Ниже остановимся более подробно на этой проблеме.

Двумерное линейное уравнение регрессии. Пусть на основании анализа исследуемого явления предполагается, что в «среднем» у есть линейная функция от х, т. е. имеется уравнение регрессии

у=М(у/х)=в 0 + в 1 х)

где М(у1х) - условное математическое ожидание случайной величины у при заданном х; в 0 и в 1 - неизвестные параметры генеральной совокупности, которые надлежит оценить по результатам выборочных наблюдений.

Предположим, что для оценки параметров в 0 и в 1 из двухмерной генеральной совокупности (х, у) взята выборка объемом n, где (х, у,) результат i-го наблюдения (i = 1, 2,..., n). В этом случае модель регрессионного анализа имеет вид:

y j = в 0 + в 1 x+е j .

где е j .- независимые нормально распределенные случайные величины с нулевым математическим ожиданием и дисперсией у 2 , т. е. М е j . = 0;

D е j .= у 2 для всех i = 1, 2,..., n.

Согласно методу наименьших квадратов в качестве оценок неизвестных параметров в 0 и в 1 следует брать такие значения выборочных характеристик b 0 и b 1 , которые минимизируют сумму квадратов отклонений значений результативного признака у i от условного математического ожидания? i

Методику определения влияния характеристик маркетинга на прибыль предприятия рассмотрим на примере семнадцати типичных предприятий, имеющих средние размеры и показатели хозяйственной деятельности.

При решении задачи учитывались следующие характеристики, выявленные в результате анкетного опроса как наиболее значимые (важные):

* инновационная деятельность предприятия;

* планирование ассортимента производимой продукции;

* формирование ценовой политики;

* взаимоотношения с общественностью;

* система сбыта;

* система стимулирования работников.

На основе системы сравнений по факторам были построены квадратные матрицы смежности, в которых вычислялись значения относительных приоритетов по каждому фактору: инновационная деятельность предприятия, планирование ассортимента производимой продукции, формирование ценовой политики, реклама, взаимоотношения с общественностью, система сбыта, система стимулирования работников.

Оценки приоритетов по фактору «взаимоотношения с общественностью» получены в результате анкетирования специалистов предприятия. Приняты следующие обозначения: > (лучше), > (лучше или одинаково), = (одинаково), < (хуже или одинаково), <

Далее решалась задача комплексной оценки уровня маркетинга предприятия. При расчете показателя была определена значимость (вес) рассмотренных частных признаков и решалась задача линейного свертывания частных показателей. Обработка данных производилась по специально разработанным программам.

Далее рассчитывается комплексная оценка уровня маркетинга предприятия -- коэффициент маркетинга, который вносится в таблице 1. Кроме того, в названую таблицу включены показатели, характеризующие предприятие в целом. Данные в таблице будут использованы для проведения регрессионного анализа. Результативным признаком является прибыль. В качестве факторных признаков наряду с коэффициентом маркетинга использованы следующие показатели: объем валовой продукции, стоимость основных фондов, численность работников, коэффициент специализации.

Таблица 1 - Исходные данные для регрессионного анализа

По данным таблицы и на основе факторов с наиболее существенными значениями коэффициентов корреляции были построены регрессионные функции зависимости прибыли от факторов.

Уравнение регрессии в нашем случае примет вид:

О количественном влиянии рассмотренных выше факторов на величину прибыли говорят коэффициенты уравнения регрессии. Они показывают, на сколько тысяч рублей изменяется ее величина при изменении факторного признака на одну единицу. Как следует из уравнения, увеличение коэффициента комплекса маркетинга на одну единицу дает прирост прибыли на 1547,7 тыс. руб. Это говорит о том, что в совершенствовании маркетинговой деятельности кроется огромный потенциал улучшения экономических показателей предприятий.

При исследовании эффективности маркетинга наиболее интересным и самым важным факторным признаком является фактор Х5 -- коэффициент маркетинга. В соответствии с теорией статистики достоинство имеющегося уравнения множественной регрессии является возможность оценивать изолированное влияние каждого фактора, в том числе фактора маркетинга.

Результаты проведенного регрессионного анализа имеют и более широкое применение, чем для расчета параметров уравнения. Критерий отнесения (КЭф,) предприятий к относительно лучшим или относительно худшим основан на относительном показателе результата:

где Y фактi - фактическая величина i-го предприятия, тыс. руб.;

Y расчi -величина прибыли i-го предприятия, полученная расчетным путем по уравнению регрессии

В терминах решаемой задачи величина носит название «коэффициент эффективности». Деятельность предприятия можно признать эффективной в тех случаях, когда величина коэффициента больше единицы. Это означает, что фактическая прибыль больше прибыли, усредненной по выборке.

Фактические и расчетные значения прибыли представлены в табл. 2.

Таблица 2 - Анализ результативного признака в регрессионной модели

Анализ таблицы показывает, что в нашем случае деятельность предприятий 3, 5, 7, 9, 12, 14, 15, 17 за рассматриваемый период можно признать успешной.