Обсуждение статьи "Проблема разногласий: объяснимость и объяснители в ИИ"

 

Опубликована статья Проблема разногласий: объяснимость и объяснители в ИИ:

В этой статье мы будем говорить о проблемах, связанных с объяснителями и объяснимостью в ИИ. Модели ИИ часто принимают решения, которые трудно объяснить. Более того, использование нескольких объяснителей часто приводит к так называемой "проблеме разногласий". А ведь ясное понимание того, как работают модели, является ключевым для повышения доверия к ИИ.

Разногласие является открытой сферой исследований в междисциплинарной области объяснимого искусственного интеллекта (Explainable Artificial Intelligence, XAI). Объяснимый ИИ призван помочь понять, как наши модели приходят к своим решениям. К сожалению, на практике все сложнее. 

Модели машинного обучения и доступные наборы данных становятся все больше и сложнее. На практике даже специалисты по обработке данных, разрабатывающие алгоритмы машинного обучения, зачастую не могут точно объяснить поведение своих алгоритмов на всех возможных наборах данных. Объяснимый искусственный интеллект (XAI) должен помочь объяснить функциональность моделей и подтвердить, что модели готовы к практическому использованию. Как бы многообещающе это ни звучало, данная статья покажет читателю, почему мы не можем слепо доверять никаким объяснениям, которые мы можем получить от любого применения технологии объяснимого искусственного интеллекта. 

Автор: Gamuchirai Zororo Ndawana

 
К сожалению, обьяснители работают только для стационарных зависимостей, когда важность предикторов не меняется со временем. Такие предикторы легко получить для цветков, по количеству лепестков и т.д., но сложно получить на фин. рынках. 
Кроме этого, современные модели способны самостоятельно занулять участие тех или иных признаков. 
 
Maxim Dmitrievsky обнулять участие тех или иных признаков.
Действительно, получить предикторы для набора финансовых данных очень сложно, и единственное решение, которое приходит мне в голову, - это использовать имеющиеся данные для создания новой цели, и тогда у нас будут все предикторы для новой цели. Например, если мы применим полосы Боллинджера к графику, цена может находиться в 4 состояниях. Полностью выше полос Боллинджера, между верхней и средней полосой, выше нижней полосы, но ниже средней полосы или полностью ниже полосы. Если мы определим эти состояния как 1, 2, 3, 4, то сможем предсказать будущие состояния рынка с большей точностью, чем изменения самой цены.

Государства


Из моделей, которые я обучил, даже просто текущего состояния рынка достаточно, добавление OHLC и показаний полос Боллинджера не сильно повышает точность и стабильность. На скриншоте выше я обучил LDA-классификатор для предсказания следующего состояния ценной бумаги. Основной недостаток этого подхода заключается в том, что целостность может быть потеряна на этом пути, например, если модель предсказывает, что цена останется в состоянии 1, мы не знаем, идет ли цена вверх или вниз, мы знаем, куда пойдет цена, только если система предсказывает изменение состояния, с 1 на 2.Это единственное решение, которое я могу предложить на данный момент, - создание новых целей на основе имеющихся у нас данных, чтобы мы знали, что связь существует, мы сами ее создали.

 
Gamuchirai Zororo Ndawana #:
Действительно, получить предикторы для набора финансовых данных очень сложно, и единственное решение, которое приходит мне в голову, - это использовать имеющиеся данные для создания новой цели, и тогда у нас будут все предикторы для новой цели. Например, если мы применим полосы Боллинджера к графику, цена может находиться в 4 состояниях. Полностью выше полос Боллинджера, между верхней и средней полосой, выше нижней полосы, но ниже средней полосы или полностью ниже полосы. Если мы определим эти состояния как 1, 2, 3, 4, то сможем предсказать будущие состояния рынка с большей точностью, чем изменения самой цены.


Из моделей, которые я обучил, даже просто текущего состояния рынка достаточно, добавление OHLC и показаний полос Боллинджера не сильно повышает точность и стабильность. На скриншоте выше я обучил LDA-классификатор для предсказания следующего состояния ценной бумаги. Основной недостаток этого подхода заключается в том, что целостность может быть потеряна на этом пути, например, если модель предсказывает, что цена останется в состоянии 1, мы не знаем, идет ли цена вверх или вниз, мы знаем, куда пойдет цена, только если система предсказывает изменение состояния, с 1 на 2.Это единственное решение, которое я могу предложить на данный момент, - создание новых целей на основе имеющихся у нас данных, чтобы мы знали, что связь существует, мы сами ее создали.

Вы почитайте код этих убогих, доисторических ББ, все же есть в \MQL5\Indicators\Examples\BB.mq5. Опять поросшие плесенью унылые машки, какое-то Стандартное отклонение пытаются вычислить... 

 
Alexey Volchanskiy #:

Вы должны прочитать код этих жалких, доисторических BB, которые все же есть в \MQL5\Indicators\Examples\BB.mq5. Снова заплесневелые, унылые маски, пытающиеся вычислить какое-то стандартное отклонение.....

Я как-то пробовал читать код индикатора RSI по указанному вами пути Examples, и, честно говоря, он показался мне сложным для чтения, и я не уверен, что полностью понял, что делает весь этот код.
Как вы думаете, может быть, современные индикаторы, такие как Vortex Indicator, преодолели некоторые из ограничений классических индикаторов? Или, может быть, эта проблема присуща техническим индикаторам, потому что большинство из них полагаются на какой-то параметр, который должен быть рассчитан и оптимизирован в условиях значительного шума?