Статистическая значимость

Что такое статистическая значимость?

Статистическая значимость относится к утверждению, что набор наблюдаемых данных не является результатом случайности, а вместо этого может быть приписан конкретной причине. Статистическая значимость важна для академических дисциплин или практиков, которые в значительной степени полагаются на анализ данных и исследований, таких как экономика, финансы,. инвестиции,. медицина, физика и биология.

Статистическую значимость можно считать сильной или слабой. При анализе набора данных и выполнении необходимых тестов, чтобы определить, влияют ли одна или несколько переменных на результат, сильная статистическая значимость помогает подтвердить тот факт, что результаты реальны, а не вызваны удачей или случайностью. Проще говоря, если p-значение мало, то результат считается более надежным.

Проблемы возникают в тестах статистической значимости, потому что исследователи обычно работают с выборками из более крупных популяций, а не с самими популяциями. В результате выборки должны быть репрезентативными для генеральной совокупности, поэтому данные, содержащиеся в выборке, не должны быть никоим образом предвзятыми. В большинстве наук, включая экономику, результат может считаться статистически значимым, если он имеет уровень достоверности 95% (или иногда 99%).

Понимание статистической значимости

Расчет статистической значимости (проверка значимости) подвержен определенной степени погрешности. Даже если кажется, что данные имеют сильную взаимосвязь, исследователи должны учитывать возможность того, что очевидная корреляция возникла из-за случайного случая или ошибки выборки.

Размер выборки является важным компонентом статистической значимости, поскольку выборки большего размера менее подвержены случайным совпадениям. Только случайным образом выбранные репрезентативные образцы должны использоваться для тестирования значимости. Уровень, на котором можно принять, является ли событие статистически значимым,. известен как уровень значимости.

Исследователи используют измерение, известное как p-значение,. для определения статистической значимости: если p-значение падает ниже уровня значимости, то результат является статистически значимым. Значение p является функцией средних значений и стандартных отклонений выборок данных.

Значение p указывает вероятность, при которой произошел данный статистический результат, при условии, что за результат отвечает только случайность. Если эта вероятность мала, то исследователь может сделать вывод, что за наблюдаемые данные может быть ответственен какой-то другой фактор.

Противоположностью уровня значимости, вычисляемого как 1 минус уровень значимости, является уровень достоверности. Он показывает степень уверенности в том, что статистический результат не был получен случайно или в результате ошибки выборки. Обычный уровень достоверности во многих статистических тестах составляет 95%, что приводит к обычному уровню значимости или p-значению 5%.

«П-взлом» — это практика исчерпывающего сравнения множества различных наборов данных в поисках статистически значимого результата. Это может привести к предвзятости в отчетах, потому что исследователи сообщают только о положительных результатах, а не об отрицательных.

Особые соображения

Статистическая значимость не всегда указывает на практическую значимость, то есть результаты нельзя применить к реальным деловым ситуациям. Кроме того, статистическая значимость может быть неправильно истолкована, если исследователи не используют язык осторожно при сообщении своих результатов. Тот факт, что результат является статистически значимым, не означает, что он не результат случайности, просто это менее вероятно.

Тот факт, что два ряда данных имеют сильную корреляцию друг с другом, не означает наличие причинно-следственной связи. Например, количество фильмов, в которых снялся актер Николас Кейдж в данном году, очень сильно коррелирует с количеством случайных утоплений в плавательных бассейнах. Но эта корреляция ложна , так как нет никакого теоретического причинного утверждения, которое можно было бы сделать.

Другая проблема, которая может возникнуть со статистической значимостью, заключается в том, что прошлые данные и результаты этих данных, независимо от того, являются ли они статистически значимыми или нет, могут не отражать текущие или будущие условия. В инвестировании это может проявляться в разрушении модели ценообразования во время финансового кризиса, поскольку корреляции меняются, а переменные не взаимодействуют, как обычно. Статистическая значимость также может помочь инвестору определить, лучше ли одна модель ценообразования активов, чем другая.

Типы тестов статистической значимости

В зависимости от проводимого исследования используются несколько типов тестов значимости. Например, тесты могут применяться для одной, двух или более выборок данных различного размера для средних значений, дисперсий, пропорций, парных или непарных данных или различных распределений данных.

Существуют также различные подходы к тестированию значимости в зависимости от типа доступных данных. Рональду Фишеру приписывают формулировку одного из самых гибких подходов, а также установление нормы значимости на уровне p < 0,05. Поскольку большую часть работы можно выполнить после того, как данные уже собраны, этот метод остается популярным для краткосрочных или специальных исследовательских проектов.

Стремясь развить метод Фишера, Ежи Нейман и Эгон Пирсон разработали альтернативный подход. Этот метод требует дополнительной работы, прежде чем данные будут собраны, но он позволяет исследователям спланировать свое исследование таким образом, чтобы контролировать вероятность получения ложных выводов.

Проверка нулевой гипотезы

Статистическая значимость используется при проверке нулевой гипотезы, когда исследователи пытаются поддержать свои теории, отвергая другие объяснения. Хотя этот метод иногда неправильно понимают, он остается самым популярным методом проверки данных в медицине, психологии и других областях.

Наиболее распространенная нулевая гипотеза состоит в том, что рассматриваемый параметр равен нулю (обычно это указывает на то, что переменная не оказывает никакого влияния на интересующий результат). Если исследователи отвергают нулевую гипотезу с достоверностью 95% или лучше, они могут заявить, что наблюдаемая взаимосвязь является статистически значимой. Нулевые гипотезы также можно проверить на равенство эффектов двух или более альтернативных методов лечения.

Вопреки распространенному заблуждению, высокий уровень статистической значимости не может доказать, является ли гипотеза истинной или ложной. На самом деле статистическая значимость измеряет вероятность того, что наблюдаемый результат имел бы место, если предположить, что нулевая гипотеза верна.

Отказ от нулевой гипотезы, даже если очень высокая степень статистической значимости никогда не может доказать что-то, может только добавить поддержку существующей гипотезе. С другой стороны, неспособность отвергнуть нулевую гипотезу часто является основанием для отклонения гипотезы.

Кроме того, эффект может быть статистически значимым, но иметь очень небольшое влияние. Например, может быть статистически значимым тот факт, что компании, которые используют двухслойную туалетную бумагу в своих ванных комнатах, имеют более производительных сотрудников, но повышение абсолютной производительности каждого работника, вероятно, будет незначительным.

Исправление от 15 мая 2022 г. Эта статья была отредактирована, чтобы подчеркнуть возможные ошибки при тестировании значимости.

Особенности

• Статистическая значимость относится к утверждению о том, что результат данных, полученных в результате тестирования или экспериментирования, может быть связан с определенной причиной.

• Расчет статистической значимости подвержен определенной степени погрешности.

• Высокая степень статистической значимости указывает на то, что наблюдаемая взаимосвязь вряд ли обусловлена случайностью.

• В зависимости от проводимого исследования используются несколько типов тестов значимости.

• Статистическая значимость может быть неправильно истолкована, если исследователи не используют формулировки осторожно при сообщении своих результатов.