Учебники по программированию - страница 18
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Проверка согласия
Проверка согласия
Привет всем, сегодня мы собираемся обсудить проверку согласия с использованием распределения хи-квадрат. Предположим, у нас есть категориальная переменная, например год обучения студентов колледжа на занятиях по статистике в большом университете, и нам говорят, что она следует определенному распределению: 50% первокурсников, 30% второкурсников, 10% младших и 10% старшеклассников. Как мы можем проверить, соответствует ли это распределение нашим выборочным данным?
Для начала давайте установим нулевую и альтернативную гипотезы. Нулевая гипотеза утверждает, что совокупность всех учащихся классов статистики соответствует заявленному распределению (50% первокурсников, 30% второкурсников и т. д.), в то время как альтернативная гипотеза предполагает другое распределение. Чтобы проверить между этими гипотезами, мы сравним наблюдаемые количества в наших выборочных данных с ожидаемыми значениями при нулевой гипотезе.
Обозначим наблюдаемые количества как «о», а ожидаемые значения как «е». Мы рассчитаем тестовую статистику, называемую хи-квадрат, которая представляет собой сумму (o - e) ^ 2 / e. Если нулевая гипотеза верна, эта тестовая статистика следует распределению хи-квадрат с k - 1 степенями свободы, где k - количество категорий.
В нашем случае у нас есть четыре категории, поэтому мы будем использовать распределение хи-квадрат с тремя степенями свободы. Более крупная тестовая статистика указывает на то, что данные нашей выборки менее совместимы с нулевой гипотезой, что предполагает более плохое соответствие.
Чтобы выполнить тест значимости и вычислить хи-квадрат, нам нужно рассчитать ожидаемое количество при нулевой гипотезе. Для размера выборки 65 мы умножаем проценты на 65, чтобы получить ожидаемое количество 32,5, 19,5, 6,5 и 6,5.
Затем мы вычисляем статистику теста хи-квадрат, вычитая ожидаемое количество из наблюдаемого количества для каждой ячейки, возводя результат в квадрат, деля на ожидаемое количество и суммируя эти значения по всем категориям. В нашем случае тестовая статистика равна 3,58.
Чтобы найти вероятность получения значения, большего или равного нашей наблюдаемой статистике хи-квадрат, мы используем кумулятивную функцию распределения в R, представленную командой p хи-квадрат. Вычитание результата из единицы дает нам p-значение. В этом примере p-значение составляет приблизительно 0,31, что указывает на то, что данные не дают веских доказательств против нулевой гипотезы.
Важно отметить, что большое значение p не подтверждает нулевую гипотезу; это просто предполагает отсутствие доказательств против него. Наконец, мы должны рассмотреть, когда уместно использовать критерий согласия хи-квадрат. Во-первых, это относится к категориальным переменным. Если у вас есть количественные переменные, вы можете преобразовать их в категориальные переменные, объединив их. Кроме того, данные должны быть получены с помощью простой случайной выборки, а ожидаемое количество клеток обычно должно быть не менее пяти. Если многие корзины почти пусты, могут оказаться более подходящими альтернативные методы, такие как точный критерий Фишера в определенных ситуациях.
Помимо соображений, которые мы упоминали ранее, есть еще несколько моментов, которые следует учитывать при принятии решения о том, следует ли использовать критерий согласия хи-квадрат. К ним относятся:
Независимость: наблюдения в каждой категории должны быть независимыми друг от друга. Это предположение важно для достоверности теста. Если наблюдения не являются независимыми, альтернативные статистические тесты могут быть более подходящими.
Размер выборки: хотя фиксированного правила нет, выборки большего размера, как правило, дают более надежные результаты. При больших выборках даже небольшие отклонения от ожидаемого распределения могут давать статистически значимые результаты. Однако очень большие размеры выборки могут иногда приводить к значительным результатам даже при незначительных отклонениях от ожидаемого распределения, поэтому важно также учитывать практическую значимость.
Оценка параметров: в некоторых случаях ожидаемое количество для каждой категории точно неизвестно, но оценивается на основе данных. При оценке параметров на основе тех же данных, которые используются для проверки гипотез, это может привести к необъективным результатам. В таких ситуациях следует рассмотреть корректировки или альтернативные методы.
Категориальные переменные с несколькими уровнями: критерий согласия хи-квадрат, который мы обсуждали до сих пор, подходит для проверки соответствия одной категориальной переменной заданному распределению. Однако, если у вас есть несколько категориальных переменных и вы хотите изучить их совместное распределение, другие тесты, такие как критерий независимости хи-квадрат или логарифмически-линейные модели, могут быть более подходящими.
Стоит отметить, что критерий согласия хи-квадрат является полезным инструментом для проверки того, соответствуют ли наблюдаемые данные ожидаемому распределению. Однако он не предоставляет информации о причинах каких-либо расхождений и не определяет, какие конкретные категории вносят наибольший вклад в различия.
Как и в случае любого статистического теста, интерпретация результатов должна учитывать контекст, базовые знания и конкретные цели анализа. Крайне важно понимать ограничения и допущения теста и использовать его как часть комплексного анализа, а не полагаться исключительно на его результат.
Таким образом, критерий согласия хи-квадрат является ценным методом для оценки соответствия между наблюдаемыми данными и ожидаемым распределением категориальных переменных. Сравнивая наблюдаемые и ожидаемые подсчеты, вычисляя статистику теста и определяя p-значение, мы можем оценить совместимость данных с нулевой гипотезой. Однако важно учитывать допущения, размер выборки и другие факторы, чтобы обеспечить достоверность и актуальность теста в данном контексте.
Проверка согласия хи-квадрат в R
Проверка согласия хи-квадрат в R
Всем привет, на сегодняшнем занятии мы углубимся в тестирование на соответствие с использованием R. Мы поработаем над парой задач, чтобы лучше понять концепцию. Если вы не знакомы с тестированием на пригодность, я рекомендую сначала посмотреть мое вводное видео по теме (ссылка приведена выше).
Начнем с первой проблемы. Колледж утверждает, что 50 % студентов его классов статистики — первокурсники, 30 % — второкурсники, 10 % — младшие и 10 % — старшеклассники. Мы получили простую случайную выборку из 65 студентов, и распределение в нашей выборке несколько отличается от заявленных пропорций. Мы хотим определить, являются ли эти различия убедительными доказательствами против утверждения колледжа или они могут быть вызваны случайной изменчивостью.
Чтобы выполнить тест согласия в R, мы будем использовать тест хи-квадрат. Я вытащил файл справки для функции chi-square.test, но пока мы сосредоточимся исключительно на проверке согласия.
Во-первых, давайте введем наши данные. Мы создадим вектор, называемый годами, для хранения наблюдаемых значений: 28 первокурсников, 24 второкурсника, 9 младших и 4 старшеклассников.
Далее нам нужно создать вектор ожидаемых пропорций при нулевой гипотезе. В этом случае нулевая гипотеза предполагает, что заявленные пропорции верны. Назовем этот вектор props и назначим пропорции: 0,5 для первокурсников, 0,3 для второкурсников, 0,1 для юниоров и 0,1 для старшекурсников.
Теперь мы можем выполнить тест хи-квадрат, используя функцию хи-квадрат.тест. Базовый синтаксис прост: chi.square.test(данные, p = ожидаемые_пропорции). Не забудьте включить p = props, чтобы указать ожидаемые пропорции.
Тест выводит степени свободы, статистику теста хи-квадрат и значение p. Для этой задачи у нас есть три степени свободы, статистика критерия хи-квадрат 3,58 и значение p 0,31. Эти результаты соответствуют тому, что мы получили во вступительном видео.
При p-значении 0,31 у нас недостаточно доказательств, чтобы отвергнуть нулевую гипотезу. Поэтому мы не можем сделать вывод, что различия между нашим выборочным распределением и заявленными пропорциями являются статистически значимыми. Данные совместимы с заявлением колледжа.
Теперь давайте перейдем ко второй проблеме. Мы произвели 200 бросков игральной кости, и в результате получилось следующее распределение: 28 единиц, 32 двойки и так далее. Мы хотим определить, свидетельствует ли это распределение о том, что кость нечестна.
Мы будем следовать тому же процессу, что и раньше. Давайте создадим вектор counts для хранения наблюдаемых счетчиков: 28 единиц, 30 двоек, 22 тройки, 31 четверка, 38 пятерок и 51 шестерка.
Теперь мы можем напрямую применить критерий хи-квадрат к этим подсчетам.
Тест выводит степени свободы, статистику теста хи-квадрат и значение p. В этом случае у нас есть пять степеней свободы, статистика критерия хи-квадрат 15,22 и значение p 0,009463.
При очень маленьком p-значении 0,009463 у нас есть достаточно доказательств, чтобы отклонить нулевую гипотезу. Таким образом, мы можем заключить, что кость кажется взвешенной и несправедливой, основываясь на наблюдаемом распределении.
На этом мы завершаем обсуждение и применение критерия согласия хи-квадрат с использованием R. Помните, что этот тест позволяет нам оценить совместимость наблюдаемых данных с ожидаемым распределением и сделать статистические выводы на основе p-значения.
Тестирование хи-квадрат на независимость в R
Тестирование хи-квадрат на независимость в R
Всем привет, в сегодняшнем видео мы будем использовать R для проверки независимости категориальных переменных методом хи-квадрат. Для этой цели мы будем использовать функцию chi-squared.test. Обратите внимание, что в этом видео мы не будем рассматривать проверку согласия, которая также использует ту же базовую функцию в R. Если вам интересно узнать о проверке согласия, у меня есть отдельное видео на этой теме (ссылка приведена выше).
Давайте решим задачу, взятую из учебника OpenStax по вводной статистике. Проблема связана с группой волонтеров, в которой взрослые в возрасте от 21 года и старше добровольно от одного до девяти часов в неделю проводят время с пожилым гражданином с ограниченными возможностями. Программа набирает добровольцев из трех категорий: студенты муниципальных колледжей, студенты четырехгодичного колледжа и неучащиеся. У нас есть таблица непредвиденных обстоятельств, или двусторонняя таблица, которая отображает распределение добровольцев на основе двух категориальных переменных: типа добровольца и количества часов добровольной работы, классифицированных как один-три часа, четыре-шесть часов и семь часов. до девяти часов.
Теперь давайте переключимся на R, введем данные и запустим тест хи-квадрат, чтобы определить, связаны ли эти категориальные переменные друг с другом или нет.
Для ввода данных мы создадим матрицу волонтеров, используя матричную функцию. Мы будем вводить данные построчно, слева направо, сверху вниз.
Далее давайте добавим имена строк и имена столбцов, чтобы сделать матрицу более понятной.
colnames ( volunteers ) <- c ( "1-3 hours" , "4-6 hours" , "7-9 hours" )
Теперь у нас есть визуально привлекательная таблица, показывающая распределение волонтеров по разным категориям.
Чтобы выполнить тест хи-квадрат, мы будем использовать функцию хи.квадрат.тест. Присвоение результата переменной, такой как модель, позволяет нам получить доступ к дополнительной информации, если это необходимо.
Чтобы просмотреть результаты теста, просто введите имя переменной, модель.
Выходные данные теста будут включать статистику теста хи-квадрат, степени свободы и значение p. Для этого примера мы получаем тестовую статистику хи-квадрат 12,991, 2 степени свободы и значение p, которое обычно очень мало.
Важно отметить, что объект модели содержит дополнительную информацию, такую как ожидаемое количество ячеек и остатки. При необходимости к ним можно получить доступ для дальнейшего анализа.
Другой способ выполнить тест хи-квадрат — преобразовать матрицу в таблицу и использовать функцию суммирования.
Этот подход также предоставит статистику критерия хи-квадрат, степени свободы и значение p.
Это охватывает процесс выполнения теста хи-квадрат на независимость категориальных переменных с использованием R. Помните, тест хи-квадрат помогает нам определить, существует ли значительная связь между двумя категориальными переменными на основе наблюдаемых и ожидаемых частот.
Проверка качества согласия с помощью R: пример
Проверка качества согласия с помощью R: пример
Сегодня мы будем использовать R для решения типичной проблемы проверки согласия. Вот:
В случайной выборке из 10 трехдетных семей девочки распределились следующим образом:
Возникает вопрос: правдоподобно ли, что число девочек в таких семьях подчиняется биномиальному распределению с параметрами n=3 и p=0,5?
Перейдем к R, где я уже ввел наблюдаемые значения. Чтобы продолжить, нам нужно рассчитать ожидаемые значения и сравнить их с наблюдаемыми значениями. Начнем с ожидаемых пропорций, которые можно получить с помощью функции dbinom в R.
Вот ожидаемые пропорции для 0, 1, 2 или 3 девочек в семье:
Далее мы рассчитаем ожидаемое количество, умножив ожидаемые пропорции на 100 (так как всего у нас 100 семей).
Теперь давайте приступим к двум различным подходам к решению этой проблемы. Во-первых, мы будем использовать функцию chisq.test в R, которая дает прямой ответ, вычисляя тестовую статистику и p-значение. Затем мы шаг за шагом пройдем расчеты, чтобы лучше понять процесс.
Использование chisq.test:
expected_proportions <- dbinom ( 0 : 3 , size = 3 , prob = 0.5 )
expected_counts <- expected_proportions * 100 result <- chisq.test ( observed_counts , p = expected_proportions )
p_value <- result $ p.value
print ( p_value )
Полученное p-значение указывает на вероятность получения данных столь же экстремальных, как то, что мы наблюдали, при условии, что нулевая гипотеза верна. В этом случае p-значение составляет примерно 0,07232.
Поскольку наш уровень значимости был установлен на уровне 0,05, а p-значение выше, у нас нет достаточных доказательств, чтобы отвергнуть нулевую гипотезу. Можно сделать вывод, что данные согласуются с гипотезой о том, что количество девочек в этих семьях подчиняется биномиальному распределению с параметрами n=3 и p=0,5.
Теперь давайте вычислим статистику теста хи-квадрат вручную, чтобы лучше понять процесс:
degrees_of_freedom <- length ( observed_counts ) - 1
p_value_manual <- 1 - pchisq ( chi_stat , df = degrees_of_freedom )
print ( p_value_manual )
Вычисленное вручную p-значение соответствует результату, полученному с помощью chisq.test, что подтверждает наш более ранний результат приблизительно 0,07232.
Таким образом, оба подхода приводят к одному и тому же выводу: данные согласуются с нулевой гипотезой о том, что количество девочек в этих семьях подчиняется биномиальному распределению с параметрами n=3 и p=0,5.
Проверка корреляций в R
Проверка корреляций в R
Всем привет! Сегодня мы собираемся обсудить корреляционное тестирование. Я буду использовать R для этой демонстрации, но концепции, которые мы рассмотрим, применимы повсеместно, независимо от вашей рабочей среды. Так что оставайтесь, даже если вы используете другое программное обеспечение.
В этом примере я буду использовать набор данных колледжа из пакета islr2. Я уже загрузил набор данных и установил минимальную тему с помощью пакета titiverse. Если вас интересует подробный анализ набора данных колледжа, у меня есть ссылка на видео в описании.
Набор данных колледжа состоит из 777 наблюдений, каждое из которых представляет колледж с 1995 года. Он содержит различные переменные, такие как государственное или частное назначение, зачисление в бакалавриат дневной формы обучения и количество выпускников.
Наше внимание будет сосредоточено на определении того, существует ли статистически значимая корреляция между логарифмом зачисления в бакалавриат дневной формы обучения и процентом выпускников в государственных университетах. Мы хотим знать, вызвана ли эта очевидная взаимосвязь случайностью или это значимая тенденция, на которую следует обратить внимание.
Для начала я создал точечную диаграмму, используя ggplot, с процентом выпускников по оси y и логарифмом зачисления в бакалавриат на очную форму обучения по оси x. Я также отфильтровал частные школы, поэтому мы анализируем только государственные колледжи.
Теперь займемся логарифмом. Не пугайтесь этого; это просто помогает нам интерпретировать масштаб данных. В этом случае мы используем логарифм по основанию 10, который сообщает нам количество нулей в конце значения. Например, 3,0 в логарифмическом масштабе — это 10^3, то есть 1000. Логарифмируя, мы получаем более равномерный разброс и примерно линейную зависимость между переменными.
Корреляция измеряет силу обычно линейной зависимости между двумя количественными переменными. В этом случае у нас есть положительная корреляция примерно 0,22, что указывает на то, что по мере увеличения числа студентов, обучающихся на дневном отделении, количество выпускников также имеет тенденцию к увеличению. Эта положительная взаимосвязь между размером колледжа и количеством выпускников может показаться удивительной, но ее стоит изучить подробнее.
Корреляция относительно слабая, поскольку корреляции варьируются от -1 до 1. Корреляция -1 представляет собой идеальную отрицательную связь, а корреляция 1 представляет собой идеальную положительную связь.
Теперь давайте проведем корреляционный тест в R, чтобы определить, является ли эта корреляция статистически значимой. Синтаксис запуска корреляционного теста аналогичен вычислению корреляции. Используя функцию cor.test с двумя интересующими переменными, мы получаем корреляцию и дополнительную информацию.
В этом случае результаты теста дают значение p, равное 0,001, что предполагает, что если бы не было корреляции между этими переменными в популяции, наблюдаемая корреляция происходила бы случайно только примерно в 0,1% времени. Такая низкая вероятность указывает на то, что наблюдаемая нами корреляция является статистически значимой, и мы можем заключить, что существует корреляция между логарифмом зачисления в бакалавриат дневной формы обучения и процентом выпускников в государственных университетах.
Теперь давайте углубимся в сам тест. Он проверяет, можно ли разумно объяснить наблюдаемую корреляцию в выборочных данных случайностью. Тест предполагает линейную зависимость между переменными и независимость наблюдений, что делает его непригодным для данных временных рядов. Кроме того, предполагается, что данные следуют двумерному нормальному распределению, но отклонения от идеальной нормальности обычно допустимы.
Важно отметить, что этот корреляционный тест специально проверяет нулевую гипотезу о том, что корреляция населения равна нулю. Его нельзя использовать для проверки корреляций, отличных от нуля.
Под капотом тест использует тестовую статистику, называемую R, рассчитанную как наблюдаемая корреляция выборки. Эта статистика соответствует t-распределению Стьюдента с n-2 степенями свободы, предполагая, что предполагается нулевая гипотеза о нулевой корреляции. Степени свободы, обозначаемые как n-2, зависят от размера выборки (n) и определяются количеством независимых наблюдений, доступных для оценки.
Тест также обеспечивает доверительный интервал для корреляции населения. В этом случае 95% доверительный интервал колеблется от 0,087 до 0,354. Этот интервал дает нам диапазон правдоподобных значений для корреляции населения на основе наших выборочных данных. Поскольку интервал не включает ноль, мы можем сделать вывод, что корреляция населения, вероятно, будет положительной.
Стоит отметить, что корреляция не подразумевает причинно-следственной связи. Тот факт, что мы наблюдаем корреляцию между двумя переменными, не означает, что одна переменная вызывает изменение другой. Корреляция просто указывает на взаимосвязь между переменными, но для установления причинно-следственной связи необходимы дополнительные исследования и анализ.
Чтобы визуализировать корреляцию, мы можем добавить линию регрессии к нашему точечному графику. Линия регрессии представляет собой линию наилучшего соответствия через точки данных, указывая на общую тенденцию взаимосвязи. Используя функцию geom_smooth в ggplot с аргументом method = «lm», мы можем добавить на наш график линию регрессии.
Теперь мы можем видеть линию регрессии, соответствующую точкам данных. Он дает наглядное представление о положительной взаимосвязи между логарифмом зачисления в бакалавриат дневной формы обучения и процентом выпускников в государственных университетах.
Таким образом, мы провели корреляционный тест, чтобы определить, существует ли статистически значимая связь между логарифмом зачисления в бакалавриат дневной формы обучения и процентом выпускников в государственных университетах. Результаты теста показали положительную корреляцию с p-значением 0,001, что свидетельствует о значительной взаимосвязи. Однако помните, что корреляция не подразумевает причинно-следственную связь, и для установления причинно-следственных связей необходим дальнейший анализ.
Корреляционное тестирование является ценным инструментом статистического анализа, позволяющим нам исследовать отношения между переменными и выявлять потенциальные тенденции или ассоциации. Это помогает нам принимать обоснованные решения и делать осмысленные выводы на основе данных.
Всё очень здо́рово, но видео в русскоязычной части форума на английском, это слишком.
Может быть я один такой ……… не знающий английского совсем, но наверняка есть ещё и такие которые немножко зная не понимают в достаточной мере текст видео.
Жаль, что всё это, для меня и не только для меня, совсем бесполезно.
Всё очень здо́рово, но видео в русскоязычной части форума на английском, это слишком.
Может быть я один такой ……… не знающий английского совсем, но наверняка есть ещё и такие которые немножко зная не понимают в достаточной мере текст видео.
Жаль, что всё это, для меня и не только для меня, совсем бесполезно.
Описание к данным видео представлено на русском языке, можно быстро понять о чем там идет речь и насколько материал может быть полезен.
В youtube есть возможность просмотра видео с русскими субтитрами:
Описание к данным видео представлено на русском языке, можно быстро понять о чем там идет речь и насколько материал может быть полезен.
В youtube есть возможность просмотра видео с русскими субтитрами:
Всем доброго вечера и хорошего настроения!
Конечно же нужно сказать спасибо тому, кто создает эту подборку. НО!
Для новичков в программировании, незнающих английского языка, вся предоставленная информация бесполезна от слова совсем. Ради интереса попытался по одному видео параллельно писать советника. Жуть несусветная! Пялиться в субтитры и одновременно на код, а при этом ещё и понять о чём идёт речь - дело для настоящих мазохистов.
Это посмотрел и попробовал подучиться только по одному видео! Согласен на 100500% с Алексеем Викторовым - если действительно хотите помочь, то лучше разместите видео с русскоговорящими учителями.
Выразил только свое мнение, которое не претендует на истину в последней инстанции!
С уважением, Владимир.
P.S. Код советника, написанного по этому видео прилагаю.Всё очень здо́рово, но видео в русскоязычной части форума на английском, это слишком.
Может быть я один такой ……… не знающий английского совсем, но наверняка есть ещё и такие которые немножко зная не понимают в достаточной мере текст видео.
Жаль, что всё это, для меня и не только для меня, совсем бесполезно.
Всё очень здо́рово, но видео в русскоязычной части форума на английском, это слишком.
Может быть я один такой ……… не знающий английского совсем, но наверняка есть ещё и такие которые немножко зная не понимают в достаточной мере текст видео.
Жаль, что всё это, для меня и не только для меня, совсем бесполезно.
можно использовать яндекс браузер, в нем встроен ютуб переводчик, переводить очень хорошо, соблюдает интонации и скорость, так же переключается на женские голоса, легко и просто определить, что разные участники видео говорят
хоть где-то искусственный интеллект реально стал полезен)
так же есть плагины для других браузеров этой системы, у меня в opera стоит
в другие браузеры надо ставить TamperMonkey, это известный скрипт алгоритм, реальное вырезание рекламы того же яндекса только через него возможно