Искусственный интеллект 2020 - есть ли прогресс? - страница 52
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
К слову о транзисторах - их тоже нужно будет модифицировать для работы аналоговой платы. Ведь, транзисторы хранят биты, - то есть "частички числа", а нужно будет хранить ВСЕ число в виде напряжения (типа батарейки), ведь аналоговое число - это амплитуда тока, а не прерывание.
Элементарно: int: 4 байта по 8 бит = 32 бита цифровой информации закодированной в их состояниях (1 или 0) дают пространство значений более 4 миллиардов. Если это конвертировать в аналоговый вид, то точность амплитуды (напряжения) сигнала должна иметь 9 нулей после запятой, иначе переданный/полученный сигнал исказит исходное число.
Как это делать на кристалле 22нм - не представляю, там и так все мелко - подрезать не получится...
Так что высокой точности, как они сами написали - не будет.
Сетки умеют уже программы писать
Перевел общую инфу о GPT-3: (есть дефекты перевода)
Википедия:
Генеративный предварительно обученный преобразователь 3 (GPT-3) - это авторегрессионная языковая модель, которая использует глубокое обучение для создания текста, похожего на человека. Это модель предсказания языка третьего поколения из серии GPT-n, созданная OpenAI, лабораторией исследования искусственного интеллекта в Сан-Франциско. [2] Полная версия GPT-3 имеет емкость 175 миллиардов параметров машинного обучения, что на два порядка больше, чем у его предшественника GPT-2. [1]: 14 GPT-3, которая была представлена в мае 2020 года, и находится в стадии бета-тестирования с июля 2020 г. [3] является частью тенденции в системах обработки естественного языка (NLP) «предварительно обученных языковых представлений». [1] До выпуска GPT-3, крупнейшей языковой модели был Turing NLG от Microsoft, представленный в феврале 2020 года, с пропускной способностью в десять раз меньше, чем у GPT-3. [4]
Качество текста, созданного GPT-3, настолько высокое, что его трудно отличить от текста, написанного человеком, что имеет как преимущества, так и риски. [4] Тридцать один исследователь и инженер OpenAI представили исходный документ от 28 мая 2020 года, представляющий GPT-3. В своей статье они предупредили о потенциальных опасностях GPT-3 и призвали к исследованиям для снижения риска. [1]: 34 Дэвид Чалмерс, австралийский философ, описал GPT-3 как «одну из самых интересных и важных систем ИИ, когда-либо созданных. "[5] GPT-3 может создавать веб-сайты, отвечать на вопросы и назначать лекарства. [6]
Согласно журналу The Economist, улучшенные алгоритмы, мощные компьютеры и увеличение количества оцифрованных данных вызвали революцию в машинном обучении, когда в 2010-х годах новые методы привели к «быстрому улучшению задач», включая манипулирование языком [7]. Модели программного обеспечения обучаются, используя тысячи или миллионы примеров в «структуре ... слабо основанной на нейронной архитектуре мозга». [7] Архитектура, наиболее часто используемая в обработке естественного языка (NLP), - это нейронная сеть. [8] Он основан на модели глубокого обучения, которая была впервые представлена в 2017 году, - модели машинного обучения трансформаторов. [8] Модели GPT-n основаны на этой архитектуре нейронной сети с глубоким обучением. Существует ряд систем НЛП, способных обрабатывать, анализировать, организовывать, связывать, противопоставлять, понимать и генерировать ответы на вопросы [9].
История:
11 июня 2018 года исследователи и инженеры OpenAI опубликовали свою оригинальную статью о генеративных моделях - языковых моделях - системах искусственного интеллекта, - которые можно предварительно обучить с помощью огромного и разнообразного корпуса текста с помощью наборов данных в процессе, который они назвали генеративным предварительным обучением. тренировка (GP). [10] Авторы описали, как показатели понимания языка при обработке естественного языка (NLP) были улучшены в генеративном предварительном обучении transformer-n (GPT-n) посредством процесса «генеративного предварительного обучения языковой модели на разнообразном корпусе немаркированного текста, с последующей дискриминационной подстройкой под каждую конкретную задачу ». Это устранило необходимость в надзоре человека и ручной маркировке, требующей больших затрат времени [10].
В феврале 2020 года Microsoft представила свое поколение Turing Natural Language Generation (T-NLG), которое тогда было «самой большой языковой моделью, когда-либо опубликованной с 17 миллиардами параметров». [11] Она работала лучше, чем любая другая языковая модель, в различных задачах, которые включены обобщающие тексты и ответы на вопросы
Возможности:
В препринте arXiv от 28 мая 2020 года группой из 31 инженера и исследователя OpenAI описана разработка «современной языковой модели» под названием GPT-3 [1] [4] или Generative Pretrained Transformer 3, a языковая модель третьего поколения. Команде удалось увеличить емкость GPT-3 более чем на два порядка по сравнению с ее предшественником, GPT-2, что сделало GPT-3 крупнейшей не разреженной языковой моделью на сегодняшний день. [1]: 14 [2] Большее количество параметров GPT-3 обеспечивает более высокий уровень точности по сравнению с предыдущими версиями с меньшей емкостью. [12] Возможности GPT-3 в десять раз больше, чем у Microsoft Turing NLG. [4]
Шестьдесят процентов взвешенного набора данных предварительного обучения для GPT-3 поступает из отфильтрованной версии Common Crawl, состоящей из 410 миллиардов байтовых парно-кодированных токенов. [1]: 9 Другие источники - 19 миллиардов токенов из WebText2, что составляет 22% взвешенная сумма, 12 миллиардов токенов из Книги1, что составляет 8%, 55 миллиардов токенов из Книги2, что составляет 8%, и 3 миллиарда токенов из Википедии, что составляет 3%. [1]: 9 GPT-3 был обучен сотням миллиардов слов и способен кодирования в CSS, JSX, Python и др. [3] Поскольку данные обучения GPT-3 были всеобъемлющими, они не требовали дальнейшего обучения для выполнения различных языковых задач. [3]
11 июня 2020 года OpenAI объявил, что пользователи могут запрашивать доступ к удобному для пользователя API GPT-3 - «набору инструментов машинного обучения», чтобы помочь OpenAI «изучить сильные и слабые стороны» этой новой технологии [13] [14]. ] В приглашении описывалось, что этот API имеет универсальный интерфейс «ввод текста - вывод», который может выполнять практически «любую англоязычную задачу», вместо обычного единственного варианта использования. [13] По словам одного пользователя, у которого был доступ к закрытому раннему выпуску OpenAI GPT-3 API, GPT-3 «устрашающе хорош» в написании «удивительно связного текста» всего с несколькими простыми подсказками [15].
Поскольку GPT-3 может «генерировать новостные статьи, которые оценщикам-людям трудно отличить от статей, написанных людьми» [4] GPT-3 обладает «потенциалом для продвижения как полезных, так и вредных приложений языковых моделей» [1]: 34 В своей статье от 28 мая 2020 года исследователи подробно описали потенциальные «вредные последствия GPT-3» [4], которые включают «дезинформацию, спам, фишинг, злоупотребление юридическими и государственными процессами, мошенническое написание академических эссе и предлоги социальной инженерии. »[1]. Авторы обращают внимание на эти опасности, чтобы призвать к исследованиям по снижению риска. [1]:
OpenAI’s new GPT-3
Мы выпускаем API для доступа к новым моделям ИИ, разработанным OpenAI. В отличие от большинства систем искусственного интеллекта, которые предназначены для одного варианта использования, сегодня API предоставляет универсальный интерфейс «ввод текста - вывод», позволяющий пользователям опробовать его практически на любой англоязычной задаче. Теперь вы можете запросить доступ, чтобы интегрировать API в свой продукт, разработать совершенно новое приложение или помочь нам изучить сильные и слабые стороны этой технологии.
При любом текстовом запросе API вернет завершение текста, пытаясь соответствовать заданному вами шаблону. Вы можете «запрограммировать» его, показав всего несколько примеров того, что вы хотите, чтобы он делал; его успех обычно варьируется в зависимости от того, насколько сложна задача. API также позволяет настраивать производительность по конкретным задачам путем обучения предоставленным вами наборам данных (маленьким или большим) или изучения результатов, полученных от пользователей или разработчиков.
Мы разработали API-интерфейс, который должен быть простым в использовании и гибким, чтобы сделать команды машинного обучения более продуктивными. Фактически, многие из наших команд теперь используют API, чтобы они могли сосредоточиться на исследованиях машинного обучения, а не на проблемах распределенных систем. Сегодня API запускает модели с весами из семейства GPT-3 со многими улучшениями скорости и пропускной способности. Машинное обучение развивается очень быстро, и мы постоянно обновляем наши технологии, чтобы наши пользователи оставались в курсе последних событий.
Темпы прогресса в этой области означают, что часто появляются неожиданные новые применения ИИ, как положительные, так и отрицательные. Мы прекратим доступ к API для заведомо вредоносных случаев использования, таких как преследование, спам, радикализация или астротурфинг. Но мы также знаем, что не можем предвидеть всех возможных последствий этой технологии, поэтому сегодня мы запускаем частную бета-версию, а не общедоступную, создаем инструменты, которые помогут пользователям лучше контролировать контент, возвращаемый нашим API, и исследуем вопросы безопасности. аспекты языковых технологий (такие как анализ, смягчение и устранение вредных предубеждений). Мы поделимся тем, что узнали, чтобы наши пользователи и более широкое сообщество могли создавать более человеческие системы искусственного интеллекта.
Помимо того, что API является источником дохода, который помогает нам покрывать расходы при выполнении нашей миссии, он подтолкнул нас к тому, чтобы сосредоточить внимание на универсальной технологии искусственного интеллекта - продвижении технологии, обеспечении ее использования и рассмотрении ее воздействия в реальном мире. , Мы надеемся, что API значительно снизит барьер на пути к производству полезных продуктов на базе искусственного интеллекта, что приведет к появлению инструментов и услуг, которые сегодня трудно представить.
Заинтересованы в изучении API? Присоединяйтесь к таким компаниям, как Algolia, Quizlet и Reddit, и исследователям из таких организаций, как Институт Миддлбери, в нашей частной бета-версии.
Если вы хотите опробовать GPT-3 сегодня, вам нужно подать заявку на включение в белый список OpenAI. Но приложения этой модели кажутся бесконечными - якобы вы можете использовать ее для запроса базы данных SQL на простом английском языке, автоматического комментирования кода, автоматического создания кода, написания модных заголовков статей, написания вирусных твитов и многого другого.
Но что же происходит под капотом этой невероятной модели? Вот (краткий) взгляд внутрь
GPT-3 - это языковая модель на основе нейронной сети. Языковая модель - это модель, которая предсказывает вероятность существования предложения в мире. Например, языковая модель может обозначить фразу: «Я беру свою собаку на прогулку» как более вероятную для существования (т. Е. В Интернете), чем фразу: «Я беру свой банан на прогулку». Это верно как для предложений, так и для фраз и, в более общем смысле, для любой последовательности символов.
Как и большинство языковых моделей, GPT-3 элегантно обучается на немаркированном наборе текстовых данных (в этом случае обучающие данные включают, среди прочего, Common Crawl и Wikipedia). Слова или фразы случайным образом удаляются из текста, и модель должна научиться заполнять их, используя только окружающие слова в качестве контекста. Это простая обучающая задача, результатом которой является мощная и универсальная модель.
Сама архитектура модели GPT-3 представляет собой нейронную сеть на основе трансформатора. Эта архитектура стала популярной около 2–3 лет назад и стала основой популярной модели НЛП BERT и предшественницы GPT-3, GPT-2. С точки зрения архитектуры, GPT-3 на самом деле не очень новый!
Что делает его таким особенным и волшебным?
Это действительно большой. Я имею в виду действительно большой. С 175 миллиардами параметров, это самая большая языковая модель из когда-либо созданных (на порядок больше, чем у ее ближайшего конкурента!), И она прошла обучение по самому большому набору данных из всех языковых моделей. По-видимому, это и есть главная причина, по которой GPT-3 настолько впечатляюще «умный» и звучит по-человечески.
Но вот действительно волшебная часть. Благодаря своим огромным размерам, GPT-3 может делать то, что ни одна другая модель не может (хорошо): выполнять конкретные задачи без какой-либо специальной настройки. Вы можете попросить GPT-3 быть переводчиком, программистом, поэтом или известным автором, и он может сделать это с помощью своего пользователя (вас), предоставившего менее 10 обучающих примеров. Черт.
Вот что делает GPT-3 таким увлекательным для практиков машинного обучения. Другие языковые модели (например, BERT) требуют сложного этапа тонкой настройки, где вы собираете тысячи примеров (скажем) французско-английских пар предложений, чтобы научить его, как выполнять перевод. Чтобы адаптировать BERT к конкретной задаче (например, перевод, обобщение, обнаружение спама и т. Д.), Вам нужно выйти и найти большой обучающий набор данных (порядка тысяч или десятков тысяч примеров), который может быть громоздким или громоздким. иногда невозможно, в зависимости от задачи. С GPT-3 вам не нужно делать этот шаг тонкой настройки. Это его суть. Это то, что привлекает людей в GPT-3: настраиваемые языковые задачи без данных для обучения.
Сегодня GPT-3 находится в частной бета-версии, но я не могу дождаться, чтобы получить в свои руки.
Эта статья была написана Дейлом Марковицем, инженером прикладного искусственного интеллекта в Google, расположенном в Остине, штат Техас, где она работает над применением машинного обучения в новых областях и отраслях. Ей также нравится решать свои жизненные проблемы с помощью ИИ, и она рассказывает об этом на YouTube.
Честно, офигел от этой GPT-3. Крутая штука.))))
Однако, будет нечто намного более крутое, и скоро. Почему? Потому что GPT-3 чертовски неэффективна с точки зрения КПД.
Ни один из нас, не впихивал себе в голову миллиарды сочетаний слов в предложениях сканируя интернет, но при этом, может писать книги, логически и критически мыслить и решать неизмеримо более сложные и неоднозначные задачи. Как?
Человеческое обучение - это иной уровень усвоения и обработки информации. У GPT-3 чего то сильно нехватает внутри, как будто хребта, архетиктуры, внутреннего движка... и пока неясно чего еще...
Подход в обучении этой сети ущербный по сравнению с человеческим обучением и нужно разобраться в чем именно.
Честно, офигел от этой GPT-3. Крутая штука.))))
в алгоритмах ничего нового, а моЩа дает новые возможности и уровни качества моделей. 175 ярдов это не 5000 слов))))
в алгоритмах ничего нового, а моЩа дает новые возможности и уровни качества моделей. 175 ярдов это не 5000 слов))))
В том и дело, что не услышал ничего нового об алгоритмах. Все эти методы обучения сетей уже были - отличие только в масштабах.
Пытался найти видео-примеры работы и вот что впечатлило: https://twitter.com/sharifshameem
Эта штука создает интерфейс по словесному описанию вместе с частичным функционалом. Сначала подумал - ерунда, но когда присмотрелся, понял что ошибся. Однако, так и не смог до конца понять границы возможностей.
Границы возможностей GPT-3 неясны.