Moscow ALGO-2014, часть II: Big Data и Machine Learning — современное оружие в руках алготрейдера
Статистика

Moscow ALGO-2014, часть II: Big Data и Machine Learning — современное оружие в руках алготрейдера

9 февраля 2015, 13:04
Aleksandr Sorokin
Aleksandr Sorokin
0
1 385

Я продолжаю серию статей, рассказывающих о том, как проходила конференция Moscow ALGO-2014, где 5 декабря 2014 года собрались эксперты и трейдеры, которым интересен вопрос автоматического трейдинга. Сегодня мой материал посвящается второму и, на мой взгляд, самому интересному круглому столу в рамках этого мероприятия - «Big Data и Machine Learning — современное оружие в руках алготрейдера». Российские и западные специалисты в области работы с данными и биржевой торговли обсудили перспективы, которые открываются перед автоматическим трейдингом с развитием этой такой модной сейчас области.

В этой дискуссии приняли участие специалисты по сбору и обработке данных:

Клаудиа Кинонес, специалист по сбору новостной ленты в Bloomberg

Бреннан Карли, руководитель платформы глобальной аналитики в Thomson Reuters.

Статистический и трейдерский блоки представляли:

модератор секции, Георгий Заря, руководитель департамента продаж по странам СНГ и Азии ФГ БКС;

вице-президент компании Quanthouse, Стефан Леруа;

Никита Богославский, руководитель департамента MathWorks MATLAB;

Роман Сульжик, управляющий директор Московской биржи по срочному рынку

и Сергей Поляков, управляющий директор по информационным технологиям Московской биржи.

Георгий Заря, руководитель департамента продаж по странам СНГ и Азии ФГ БКС


Дискуссию открыл модератор, Георгий Заря. Он говорил, что в последнее время успешность алготрейдинга в основном зависит от интеллектуальности и сложности алгоритмов, их глобальности и адаптируемости к разным рыночным условиям.

В этих условиях на первый план выходит тематика BigData. Компании, которые сейчас считаются монополистами в BigData, — это Google, Facebook, Amazon. Они, собирая гигантские массивы данных, имеют возможность использовать их и монетизировать. Стоит отдельно отметить, что всё это — открытые данные, которые собираются совершенно без нарушения каких-либо гражданских прав.

Короткий пример: у одного английского телекоммуникационного провайдера есть специальный проект, который использует данные геолокации, чтобы консультировать стритшоп-вендеров по поводу того, какова частота поисковых запросов в разных местах города. К примеру, там, где чаще всего ищут суши-бар — этот суши-бар обязательно надо ставить.

Первым вопросом, который модератор задал участникам был вопрос о том, как BigData изменит алготрейдинг и всю область финансов в целом.

Стефан Леруа: Что такое исторические данные для трейдера-человека? Просто кривая на экране. А для робота это источник того, что мы называем торговым сигналом. У нас есть клиенты, которые торгуют с помощью роботов, вообще не использующих реальное время. Они используют только исторические данные и аналитику. Мы считаем, что это — прорыв в том, что касается большого развития алготорговли. И еще: большинство торговых роботов копируют действия живого человека, потому что сегодня трейдер контролирует процесс. Даже с помощью алгоритмической торговли человек сам решает, что и почему он будет покупать, а роботу остается только решить, когда и как.

Бреннан Карли: В части технического трейдинга BigData используется уже много лет, массивы данных большие, и ими торгуем и мы, и наши коллеги из Bloomberg. Например, по базам данных по тиковой информации можно проводить статистическое моделирование, бэк-тестирование системных стратегий — и это делается уже не первое десятилетие. А вот что касается разработки стратегии и принятия решений (портфельный инвестиционный менеджмент) — вот сюда BigData только еще приходит. Данных сейчас собирается огромное количество, и они доступны для управленческого процесса, и это — очень многообещающе.

Статистика показывает, что примерно у 50% компаний-участников финансовых рынков имеются технологии BigData или хотя бы их зачатки. Но зрелых, полностью внедренных, высокофункциональных проектов — всего максимум 5%. Задача очень сложная, и мы вступаем в период, когда все будут говорить о BigData, но только очень немногие смогут внедрить эту технологию.

Сергей Поляков, управляющий директор по информационным технологиям Московской биржи

Сергей Поляков: Складывается ощущение, что финансовый сектор сильно отстает в этом вопросе от IT-компаний. Переход от традиционного подхода к высокотехнологичным происходит очень медленно.

При этом лично меня всегда раздражает термин BigData, потому что он искусственный и надуманный. Вспомните, ведь огромный объем информации трейдинг-дески накапливали еще с конца 1980-х годов и исследовали по нему цены, делали бэк-тесты, проводили индекс-арбитраж. То есть, конкретные данные накапливали согласно какой-то конкретной идее. А теперь мы пытаемся накопить всё подряд, чтобы потом внезапно обнаружить какую-то чудесную закономерность. Но мне кажется, что безыдейное накопительство ведет просто к хаосу, а чудес не случается.

При этом мы видим и еще один неприятный феномен: сегодня BigData — это еще и инструмент изменения характера управления корпорациями. Опыт и понимание производственных процессов начал заменяться статистическими параметрами. Остается все меньше специалистов своего дела, все заменяются безликими менеджерами: считается, что менеджер может управлять чем угодно — хоть конфетной фабрикой, хоть Goldman Sachs, и в этом ему чудесным образом поможет BigData.

В трейдинге поиск и анализ сигнала осложняется тем, что собран огромный массив данных, который вообще никак не используется. Может быть, есть смысл сохранять меньший объем данных, а анализировать их более тщательно.

Бреннан Карли, руководитель отдела глобальной аналитики Thomson Reuters

Бреннан Карли: Но ведь мы как раз видим, что самая полезная сфера применения BigData — управление рисками. Предположим, у вас есть сухая статистическая модель, на которой основана ваша торговля, портфельное инвестирование. И она работает исключительно на цифрах. Она подразумевает наличие стабильной долгосрочной корреляции между инструментами в вашем портфелем. Любые краткосрочные отклонения от нее будут возвращаться к своим средним значениям. Но получая другие данные - например, ту часть BigData, которая касается социальных медиа и новостей, вы можете в один прекрасный момент увидеть, что произошли события, которые отменяют корреляцию. Она больше не работает, а значит, надо вносить изменения в робота, менять портфель, корректировать стратегию.   С этой точки зрения большие данные - это инструмент разработки стратегии, фактор управления, и они имеют право на существование как явление.

Следующий вопрос модератора касался того, откуда брать специалистов по BigData, ведь их еще не готовят в университетах, а спрос на рынке уже в десятки раз превышает предложение.

Никита Богославский подтвердил, что сейчас идет крупная борьба за таланты, но началась она уже давно. Финансовые структуры, такие, как Goldman Sachs, пытаются переманить специалистов из Силиконовой Долины. В России основные «залежи» подходящих кадров сосредоточены в университетах (это физики и математики), есть готовые специалисты в ВПК и среди инженеров.

Бреннан Карли: Лучшие таланты сейчас идут не в крупнейшие компании, а в небольшие хедж-фонды. По нашим данным, именно такие предприятия ушли дальше всех в области анализа больших данных. И еще — я симпатизирую привлечению людей из математики и статистики в финансовый сектор, но мы провели исследование и выяснили, что в тех 5% компаний, где BigData используется максимально эффективно и зрело, сосредоточены люди с уникальной комбинацией талантов: статистическое матмоделирование, программирование и самое главное — знание финансовых рынков.

Далее участники дискуссии поговорили о BigData в части не цифровых данных, а социальных медиа и новостей и возможности использовать эти массивы для своевременного анализа ситуации и — в перспективе — создания роботов, реагирующих на такую информацию. С точки зрения алготрейдинга такая технология была бы гениальным прорывом, который качественно изменил бы весь экономический мир.

Никита Богославский: Мы видим, что машинное обучение не используется на высокочастотных интервалах, но нарастает объем его использования для идентификации более редких внутридневных сигналов именно из нечисловых источников — из новостей, сообщений в соцсетях. Это то, над чем сейчас работают десятки тысяч специалистов в передовых IT-компаниях мира.

Клаудиа Кинонес, специалист по сбору новостной ленты в агентстве Bloomberg

Клаудиа Кинонес: Как только вы выходите за рамки структурированных данных и пытаешься извлечь сигналы из новостей и соцмедиа — картина меняется кардинальным образом. Учтите, что какой великолепной ни была бы ваша модель на структурированных данных — новости происходят каждый день и влияют на положение вещей в экономике. Мы в Bloomberg пытаемся научиться учитывать все эти новости, интегрируем все наши базы данных по инструментам. В день через наш терминал проходит порядка миллиона новостных сообщений — нам необходим алгоритм, чтобы выудить из этого потока ту новость, которая даст нам преимущество. Вывод тут один — даже если и не заниматься высокочастотным трейдингом, автоматизированная система, которая будет сама сортировать новости и выделять из них сигналы, просто необходима. И по мере эволюции технических средств и системных решений она рано или поздно будет сконструирована.

Сегодня экономическая система мира — единая и глобальная, и то, что происходит, например, на Уолл-стрит, меняет характер биржевой торговли в Пекине. Всё это в реальном времени обсуждается в том же Твиттере — это же ценнейший источник информации, это BigData во всем их великолепии. Причем сами посты — это всего лишь вершина айсберга. Можно ведь раскопать еще и метаданные и научить машину их читать — торговый алгоритм в этом случае может стать принципиально иным.

Бреннан Карли: Для применения моделей на основе цифровых данных есть одна проблема: такой вид моделирования может привести к совершенно неверным выводам. Это — проблема так называемых ложных корреляций. К примеру, знаете ли вы, что как-то раз была установлена 99%-ная корреляция движения индекса S&P 500 с поголовьем овец в Бангладеше? Именно поэтому необходимо научить машину еще и анализу нецифровой информации, поскольку это снимет чисто математическую проблему - «вывихи» статистики.

Стефан Леруа: Сейчас наши клиенты во время создания алгоритмов торговли используют данные социальных медиа и новостей. Они хотят научить машину думать по-человечески. А человек - существо очень простое: на хорошей новости рынок идет вверх, на плохой - вниз. Вот и всё - и если научить распознавание таких новостей встраивать в алгоритмы торговли - то машина сможет торговать сама, без участия человека. Безэмоционально, правильно, точно.

Резюмируя первую часть дискуссии, Георгий Заря заключил, что BigData использовались уже давно, но неэффективно. В текущий момент профессионально, в промышленных масштабах их использует лишь малая толика трейдерских компаний. С точки усовершенствования алгоритмов всё идет к тому, что нужно учить машину распознавать вербальную и социальную информацию, а не только цифровую и статистическую.

В следующем материале я продолжу рассказ об этой интереснейшей дискуссии: участники рассказывали про машинное обучение и про основные направления в области применения BigData и Machine Learning в алгоритмической торговле.

Все материалы по теме:





#статистика, видео, BigData, алготрейдинг, Moscow ALGO, торговые роботы, конференция
Поделитесь с друзьями: