Повышение точности ваших моделей машинного обучения | от Prashant Gupta

Устали от низкой точности моделей машинного обучения? Повышение здесь, чтобы помочь. Boosting - это популярный алгоритм машинного обучения, который повышает точность вашей модели, - то же самое, когда гонщики используют закись азота для увеличения скорости своего автомобиля.

Повышение использует алгоритм базового машинного обучения для подгонки данных. Это может быть любой алгоритм, но дерево решений используется наиболее широко.Для ответа на вопрос, почему так, просто продолжайте читать. Кроме того, алгоритм повышения легко объяснить с помощью деревьев решений, и это будет темой этой статьи. Он основан на подходах, отличных от бустинга, которые повышают точность деревьев решений. Для введения в древовидные методы, прочитайте мою другую статью здесь .

Bootstrapping

Я хотел бы начать с объяснения важного базового метода Bootstrapping .Предположим, что нам нужно изучить дерево решений, чтобы предсказать цену дома на основе 100 входных данных. Точность прогнозирования такого дерева решений будет низкой, учитывая проблему дисперсии , от которой оно страдает. Это означает, что если мы разделим обучающие данные на две части случайным образом и подгоним дерево решений по обеим половинкам, результаты, которые мы можем получить, могут быть совершенно разными. То, что мы действительно хотим, это результат, который имеет низкую дисперсию, если применяется неоднократно к отдельным наборам данных.

Мы можем улучшить точность прогнозирования деревьев решений с помощью начальной загрузки

1. Создать много (например, 100) случайных подвыборок нашего набора данных с заменой (то есть мы можем выбрать одно и то же значение несколько раз).
2. Изучите (обучите) дерево решений по каждому образцу.
3. Для нового набора данных рассчитайте прогноз для каждой подвыборки.
4. Рассчитайте среднее значение всех наших собранных прогнозов (также называемых оценками начальной загрузки) и используйте его в качестве нашего расчетного прогноза для данных.

Процедура может использоваться аналогичным образом для деревьев классификации . Например, если бы у нас было 5 деревьев решений, которые делали следующие предсказания класса для входной выборки: синий, синий, красный, синий и красный, мы бы выбрали наиболее частый класс и предсказали синий.

При таком подходе деревья глубоко растут и не обрезаются . Таким образом, каждое отдельное дерево имеет высокую дисперсию, но низкое смещение. Усреднение этих деревьев значительно уменьшает дисперсию.

Самозагрузка - это мощный статистический метод оценки количества из выборки данных . Количество может быть описательной статистикой, такой как среднее значение или стандартное отклонение. Применение процедуры начальной загрузки к алгоритму машинного обучения с высокой дисперсией, обычно деревьям решений, как показано в приведенном выше примере, известно как пакетирование (или агрегация начальной загрузки).

Оценка ошибок

Простой способ оценки ошибки тестирования модели в пакетах без необходимости перекрестной проверки - Оценка ошибок вне пакета .Наблюдения, которые не использовались для подгонки к данному дереву в мешках, называются наблюдениями за пределами сумки (OOB). Мы можем просто предсказать ответ для и -го наблюдения, используя каждое из деревьев, в которых это наблюдение было OOB. Мы усредняем эти предсказанные ответы или принимаем большинство голосов в зависимости от того, является ли ответ количественным или качественным. Можно рассчитать общий OOB MSE (среднеквадратическая ошибка) или коэффициент ошибки классификации. Это приемлемый коэффициент ошибок при тестировании, потому что прогнозы основаны только на деревьях, которые не были подобраны с использованием этого наблюдения.

Случайные леса

Деревья решений стремятся минимизировать затраты, а это означает, что они используют самые сильные предикторы / классификаторы для разделения ветвей. Итак, большинство деревьев, созданных из загруженных выборок, будут использовать один и тот же сильный предиктор в разных расщеплениях. Это относится к деревьям и приводит к дисперсии .

Мы можем повысить точность прогнозирования деревьев в мешках, используя случайные леса.

. При разделении ветвей любого дерева в качестве кандидатов-кандидатов выбирается случайная выборка из м предикторов из полного набора p предикторов.Разделение затем разрешается использовать только один из этих м предикторов. Свежая выборка из м предикторов берется при каждом разделении. Вы можете попробовать разные значения и настроить их с помощью перекрестной проверки.

• Для классификации хорошим значением по умолчанию является: m = sqrt (p)
• Для регрессии хорошим значением по умолчанию является: m = p / 3

Таким образом, в среднем ( p - m ) / p расколов даже не будут считать сильным предиктором. Это известно как декоррелирование деревьев, поскольку мы решаем проблему каждого дерева, используя один и тот же сильный предиктор.

Если м = р , то случайные леса равны сумке.

Важность функции

Одна из проблем при вычислении полностью выращенных деревьев состоит в том, что мы не можем легко интерпретировать результаты. И уже не ясно, какие переменные важны для отношений. Расчет падения функции ошибки для переменной в каждой точке разделения дает нам представление о важности функции . Это означает, что мы записываем общую сумму, на которую ошибка уменьшается из-за разбиений по данному предиктору, усредненная по всем деревьям в мешках.Большое значение тогда указывает на важный предиктор. В задачах регрессии это может быть уменьшение остаточной суммы квадратов, а в классификации это может быть оценка Джини.

Повышение

Точность прогнозирования деревьев решений может быть дополнительно улучшена с помощью алгоритмов повышения.

Основная идея повышения - преобразовать многих слабых учеников в одного сильного ученика. Что мы подразумеваем под слабыми учениками?

Слабый ученик - это ученик, который всегда будет лучше, чем случайный, когда он пытается маркировать данные, независимо от того, как распределены данные обучения.Успех лучше, чем случайность, означает, что у нас всегда будет уровень ошибок менее 1/2. Это означает, что алгоритм ученика всегда собирается что-то изучать и не всегда будет полностью точным, то есть он слабый и плохой, когда речь идет об изучении взаимосвязей между входными данными и целью. Это также означает, что правило, сформированное с использованием одного предиктора / классификатора, не является мощным по отдельности.

Мы начинаем находить слабых учеников в наборе данных, делая некоторые распределения и формируя из них небольшие деревья решений.Размер дерева настраивается с использованием количества расщеплений, которые оно имеет. Часто хорошо работает 1, где каждое дерево состоит из одного разбиения. Такие деревья известны как пней решений.

Другим повышением параметра является число итераций или количество деревьев в этом случае. Кроме того, он присваивает входные значения на основе того, были ли они правильно спрогнозированы / классифицированы или нет. Давайте посмотрим на алгоритм.

1. Сначала входы инициализируются равными весами .Для этого используется первый базовый алгоритм обучения, который обычно является пнем решения. Это означает, что на первом этапе это будет слабый ученик, который подберет подвыборку данных и сделает прогнозы для всех данных.
2. Теперь мы делаем следующие до тех пор, пока не будет достигнуто максимальное количество деревьев :

• Обновите веса входных данных на основе предыдущего прогона, и весовые коэффициенты будут выше для ошибочно предсказанных / классифицированных входных данных
• Примите другое правило (решение о этот случай) и подгонять его под подвыборку данных.Обратите внимание, что это правило времени будет сформировано с учетом неправильно классифицированных входных данных (имеющих больший вес).
• Наконец, мы прогнозируем / классифицируем все входные данные, используя это правило.

3. После завершения итераций мы объединяем слабые правила в единое строгое правило , которое затем будет использоваться в качестве нашей модели.

Приведенный выше алгоритм лучше объясняется с помощью диаграммы. Предположим, у нас есть 10 входных наблюдений, которые мы хотим классифицировать как «+» или «-».

Источник изображения: Analytics Vidhya

• Алгоритм повышения начинается с поля 1, как показано выше. Он назначает равные веса (обозначенные размером знаков) для всех входных данных и прогнозирует «+» для входных данных в синей области и «-» для входных данных в красноватой области, используя пень решения D1.
• На следующей итерации, вставке 2, вы увидите, что веса неправильно классифицированных знаков плюс больше, чем другие входные данные. Таким образом, пень решения D2 выбран так, что эти наблюдения теперь классифицируются правильно.
• В заключительной итерации, вставке 3, в ней есть 3 неправильно классифицированных негатива из предыдущего прогона. Таким образом, пень решения D3 выбран, чтобы исправить это.
• Наконец, сильный ученик или вставка 3 имеют строгое правило, объединяющее отдельные слабые решения. Вы можете увидеть, как мы увеличили классификацию нашей модели.

При настройке регрессии ошибка прогнозирования (обычно рассчитывается с использованием метода наименьших квадратов) используется для корректировки весов входных данных, и учащиеся в результате этого больше внимания уделяют входным данным с большой ошибкой.

Этот тип метода повышения известен как адаптивное повышение или AdaBoost. Как и в случае с деревьями, метод повышения также минимизирует функцию потерь. В случае Adaboost это функция экспоненциальной потери .

Другой популярной версией повышения является алгоритм повышения градиента . Основная концепция остается той же: , за исключением того, что здесь мы не играем с весами, но соответствуют модели по остаткам (измерение разницы в прогнозировании и исходном результате), а не в исходных результатах. Adaboost реализован с использованием итеративно уточненных весов выборки, в то время как в Gradient Boosting используется модель внутренней регрессии, итеративно обученная по остаткам. Это означает, что новые слабые ученики формируются с учетом входных данных, которые имеют высокие остатки.

В обоих алгоритмах параметр настройки лямбда или усадка еще больше замедляет процессы, позволяя большему количеству деревьев разной формы атаковать остатки.Это также известно как скорость обучения , поскольку она контролирует величину, с которой каждое дерево вносит вклад в модель. Как видите, Boosting также не включает в себя загрузку , вместо этого каждое дерево помещается в измененную версию исходных данных. Вместо подбора единого большого дерева решений, что приводит к жесткому подгонке данных и, возможно, к переобучению. Подход повышения учится медленно.

Как вы можете видеть, алгоритм четко объясняется с помощью деревьев решений, но есть и другие причины, по которым он в основном используется с деревьями.

1. Деревья решений являются нелинейными. Увеличение с помощью линейных моделей просто не работает хорошо.
2. Слабый ученик должен быть неизменно лучше случайных догадок. Обычно вам не нужно настраивать параметры для дерева решений, чтобы получить такое поведение. Например, для обучения SVM действительно необходим поиск параметров. Поскольку данные повторно взвешиваются на каждой итерации, вам, вероятно, потребуется выполнить поиск другого параметра на каждой итерации.Таким образом, вы увеличиваете объем работы, которую вы должны сделать с большим отрывом.
3. Деревья решений достаточно быстро обучаются. Так как мы собираемся построить 100 или 1000 из них, это хорошая собственность. Их также можно быстро классифицировать, что опять-таки важно, когда вам нужно запустить 100 или 1000, прежде чем вы сможете вывести свое решение.
4. Изменяя глубину , вы получаете простой и легкий контроль над компромиссом смещения / дисперсии, , зная, что повышение может уменьшить смещение, но также значительно уменьшает дисперсию.

Это чрезвычайно упрощенное (возможно, наивное) объяснение повышения, но оно поможет вам понять самые основы. Популярная библиотека для реализации этого алгоритма - Scikit-Learn . Он имеет прекрасный API, который может запустить вашу модель с всего несколькими строками кода в Python .

GPS.gov: точность GPS

Насколько точен GPS?

Это зависит. Спутники GPS передают свои сигналы в космосе с определенной точностью, но то, что вы получаете, зависит от дополнительных факторов, включая геометрию спутника, блокировку сигнала, атмосферные условия и особенности / качество конструкции приемника.

Например, смартфоны с поддержкой GPS обычно имеют точность в радиусе 4,9 м (16 футов) под открытым небом (просмотр источника на ION.орг). Однако их точность ухудшается вблизи зданий, мостов и деревьев.

Высококлассные пользователи повышают точность GPS с помощью двухчастотных приемников и / или систем расширения. Они могут обеспечить позиционирование в режиме реального времени в пределах нескольких сантиметров и проведение долгосрочных измерений на уровне миллиметра.

Почему GPS иногда показывает меня не в том месте?

Многие вещи могут ухудшить точность позиционирования GPS. Общие причины включают в себя:

• Блокировка спутникового сигнала зданиями, мостами, деревьями и т. Д.
• Внутреннее или подземное использование
• Сигналы, отраженные от зданий или стен ("многолучевое распространение")

Гораздо менее распространенные причины могут включать в себя:

• Радио помех или помех
• Основные солнечные бури
• Обслуживание / маневры спутников, создающие временные пробелы в покрытии
• Неправильно спроектированные устройства, не соответствующие спецификациям интерфейса GPS

Во многих случаях оборудование GPS устройства работает нормально, но его программное обеспечение для картографирования неисправно.Например, пользователи часто вводят в заблуждение:

• Неправильно нарисованные карты
• маркированных предприятий и другие достопримечательности
• Отсутствующие дороги, здания, сообщества и т. Д.
• Неверно оценены адреса улиц

Правительство США не может исправить ошибки отображения в пользовательских устройствах. Пожалуйста, сообщите о них ответственным сторонам, используя ссылки в разделе «Адрес, маршрут и карта».Иди туда

Чтобы получить справку о проблемах с GPS, которые не являются ошибками сопоставления, посетите страницу с отчетами о перерывах в работе и состоянии GPS. Иди туда

Каковы обязательства правительства по точности GPS?

Правительство обязуется предоставлять GPS с уровнями точности, указанными в Стандарте производительности Службы определения местоположения GPS (SPS). Посмотреть документ

Обязательства по точности применяются не к устройствам GPS, а скорее к сигналам, передаваемым в космосе.Например, правительство обязуется транслировать сигнал GPS в космосе с глобальной ошибкой среднего пользовательского диапазона (URE) ≤7,8 м (25,6 фута) с вероятностью 95%. Фактическая производительность превышает спецификацию. 11 мая 2016 г. глобальное среднее значение URE составляло ≤0,715 м (2,3 фута) в 95% случаев.

Чтобы быть понятным, URE не является точностью пользователя. Точность пользователя зависит от комбинации геометрии спутника, URE и локальных факторов, таких как блокировка сигнала, атмосферные условия и конструктивные особенности / качество приемника.

Текущая программа модернизации GPS будет способствовать дальнейшему повышению точности для гражданских и военных пользователей. Выучить больше

Насколько точен GPS для измерения скорости?

Как и в случае с позиционированием, точность скорости GPS зависит от многих факторов.

Правительство предоставляет сигнал GPS в космосе с глобальной ошибкой среднего диапазона частот пользователя (URRE), равной ≤0,006 м / с в течение любого 3-секундного интервала с вероятностью 95%.

Эта мера должна сочетаться с другими факторами, не зависящими от правительства, включая геометрию спутника, блокировку сигнала, атмосферные условия и конструктивные особенности / качество приемника, для расчета точности скорости конкретного приемника.

Насколько точен GPS для синхронизации?

Передача времени по GPS является распространенным методом синхронизации часов и сетей с всемирным координированным временем (UTC). Правительство распределяет UTC в соответствии с U.С. Военно-морская обсерватория (USNO) через сигнал GPS в космосе с точностью передачи по времени относительно UTC (USNO) ≤40 наносекунд (миллиардных долей секунды), 95% времени. Этот стандарт качества предполагает использование специализированного приемника передачи времени в фиксированном месте.

Является ли военный GPS более точным, чем гражданский GPS?

Ошибка диапазона пользователя (URE) сигналов GPS в космосе фактически одинакова для гражданских и военных служб GPS. Однако большинство современных гражданских устройств используют только одну частоту GPS, в то время как военные приемники используют две.

Использование двух частот GPS повышает точность, исправляя искажения сигнала, вызванные атмосферой Земли. Двухчастотное GPS-оборудование коммерчески доступно для использования в гражданских целях, но его стоимость и размер ограничивают его для профессиональных применений.

С помощью систем дополнения гражданские пользователи могут получить лучшую точность GPS, чем военные. Выучить больше

Разве правительство не ухудшает гражданскую точность GPS?

Нет.В 1990-х годах в GPS использовалась функция выборочной доступности, которая преднамеренно снижала гражданскую точность в глобальном масштабе.

В мае 2000 года по указанию президента Билла Клинтона правительство США прекратило использование избирательной доступности, чтобы сделать GPS более отзывчивым для гражданских и коммерческих пользователей во всем мире.

Соединенные Штаты не намерены когда-либо снова использовать выборочную доступность. Выучить больше

Некоторые ссылки на этой странице ведут к содержимому в формате Portable Document Format (PDF) и могут потребовать установки программного обеспечения PDF.Получить программное обеспечение

,

---

Смотрите также

• 
  Станок для резки кирпича своими руками
• 
  Как сплести на станке из резинок брелок
• 
  Мини станки чпу по металлу 5 осей
• 
  Что такое патрон станка
• 
  Станок настольный сверлильный советский
• 
  Горизонтально фрезерный станок 6р82 технические характеристики
• 
  Горизонтальные зубофрезерные станки
• 
  Станок с чпу принцип работы
• 
  Технические характеристики станки чпу
• 
  Гибочные самодельные станки
• 
  Чертежи станка для гибки арматуры