Искусственный интеллект 2020 - есть ли прогресс? - страница 54
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Сейчас начинается AI лихорадка. Люди будут создавать больше возможностей для GPT-3 пока не упрутся в какой то предел. Потом, нужно будет совершить еще один качественный скачек вперед и он изменит наш Мир.
когда появился дальномер, а потом и конфигурацию препятствий различать стали и запоминалка траектории тоже был ажиотаж про пылесосы))) Но ниче не изменилось) Так же и здесь будет. Мозх чела то как был так и остался прежним, да и желания не совсем правильные тоже))))
когда появился дальномер, а потом и конфигурацию препятствий различать стали и запоминалка траектории тоже был ажиотаж про пылесосы))) Но ниче не изменилось) Так же и здесь будет. Мозх чела то как был так и остался прежним, да и желания не совсем правильные тоже))))
Не совсем уловил смысл. Я к тому, что не гоже пропускать этапы технической эволюции, нужно срочно принимать участие. Простые люди уже создают новые ком.продукты на базе GPT-3. Можно "срубить" денег на простых вещах. Эта сеть поражает новыми, свежими возможностями - бери не хочу.)
Такое чувство, что она и советники писать может легко.Кто-то вообще доказал, что высшая нервная деятельность нужна юнивёрсуму, а не очередной эволюционный выкидыш? Пока есть условия, поддерживающие это недоразумение - оно развивается. Но вскоре оно может стать чем-то вроде вируса, который уничтожит сам себя. Но будет ещё прозаичнее - условия на планете настолько изменятся, что ветвь сапиенсов вымрет. По теории вероятности это самый реалистичный прогноз. Даже если будет что-то после этого, какой-то антропоморфный ии - то нам должно быть обидно, т.к это прямой конкурент как минимум. А если оно переживет сапиенсов, то они окажут себе медвежью услугу. Но, конечно, ничего этого не будет. Т.к. у юнивёрсума на нас совсем другие планы, а, вернее, их отсутствие.
Тогда уж имитация нервной деятельности) И какой все таки жестокий тервер)))) А вот если отменить институт наследства мир в целом лучше или хуже станет и скорость развития в какую сторону уйдет?))))
Не совсем уловил смысл. Я к тому, что не гоже пропускать этапы технической эволюции, нужно срочно принимать участие. Простые люди уже создают новые ком.продукты на базе GPT-3. Можно "срубить" денег на простых вещах. Эта сеть поражает новыми, свежими возможностями - бери не хочу.)
Такое чувство, что она и советники писать может легко.смысл в том что вектор развития множества определяется совокупным желанием членов) А на ажиотаже всегда можно заработать. Мысль здравая. Советники конечно сможет писать, но их уже и счас мт5 нормально формирует. А вот алгоритм подобрать не из заготовок алгоритмов вряд ли.
Нашел хорошую, обстоятельную статью о GPT-3 (ссылка на оригинал: https://www.meatspacealgorithms.com/what-gpt-3-can-do-and-what-it-cant/)
Перевел для удобства широкой общественности (в некоторых местах заметны дефекты перевода).
Что GPT-3 может (и чего не может)
GPT-3 - это нейронная сеть обработки естественного языка, которая штурмом захватывает Интернет с примерами невероятно человеческих результатов. Проще говоря, он использует огромный набор данных текста, чтобы предсказать, какие слова хорошо сочетаются друг с другом. Как будто кто-то взял весь интернет и придумал, как дать ему голос.
Но с подобными аналогиями нужно быть осторожнее. Новое творение OpenAI ускоряет цикл ажиотажа быстрее, чем вы можете сказать «впадина разочарования», и важно удержать себя от попадания в слишком человечную ловушку антропоморфизирующего умножения матриц.
Третий закон Кларка гласит, что «любая достаточно продвинутая технология неотличима от магии», а структура распознавания образов, развернутая GPT-3, может быть использована для создания некоторых невероятных фокусов. Цель этой статьи - взломать код фокусника и объяснить, как он работает, какие уловки он выполняет хорошо и как распознать ловкость рук, прежде чем вас обманут и заставят влюбиться.
С другой стороны, процесс раскрытия магии ИИ и напоминания себе, что это не настоящий интеллект, не настоящее мышление или настоящее творчество, сам по себе является тропой прогресса ИИ. Еще в 2002 году исследователь искусственного интеллекта Родни Брукс жаловался, что: «Каждый раз, когда мы выясняем его часть, она перестает быть волшебной; мы говорим:« О, это просто вычисление »».
К концу этой статьи, я надеюсь, вы согласитесь со мной, что GPT-3 - это одновременно «просто вычисление» и невероятная, меняющая мир магия.
Примечание: Это эссе представляет собой нетехнический обзор (полный упрощений для широкой аудитории) того, что мы знаем о GPT-3, его возможностях и ограничениях. Люди намного умнее меня написали гораздо лучшие технические описания, так что, если это ваша проблема, попробуйте ее. Я здесь не только учусь, но и учусь, поэтому, если я что-то пропустил, дайте мне знать. (Кстати, мне пришлось написать это самому, потому что в отличие от некоторых блоггеров, которые уже живут в будущем, я еще не могу попросить GPT-3 написать за меня мои статьи.)
Как это устроено
Если у вас есть доступ к самым быстрым компьютерам в мире, самым умным людям и большим объемам денег, GPT-3 можно свести к трем простым шагам:
Шаг 1. Создайте невероятно огромный набор данных, включающий более полумиллиона книг, всю Википедию и огромный кусок остальной части Интернета. В общей сложности набор данных GPT-3 включает примерно полтриллиона слов или «токенов»:
Шаг 2. Обработайте эти данные с помощью невероятного количества вычислительных мощностей. Это называется «обучением» нейронной сети, и для обучения GPT-3 потребуется выполнять триллион вычислений каждую секунду в течение десяти тысяч лет. Мы часто позволяем действительно большим числам проноситься мимо нас, поэтому давайте сделаем паузу и поразмышляем над этим на минуту. Если бы каждый когда-либо живший человек проводил каждое мгновение бодрствования от рождения до смерти, выполняя одно вычисление каждую секунду, наш вид мог бы обучить несколько сотых одного процента GPT-3.
Вот как выглядит тренировка GPT-3 по сравнению с некоторыми предыдущими моделями (обратите внимание, что это логарифмическая шкала, поэтому самая большая модель GPT-3 требует примерно в 1000 раз больше вычислительной мощности, чем предыдущий тест, BERT-Base):
Шаг 3. Определите и воспроизведите шаблоны. Что мы делаем со всей этой вычислительной мощностью? Чтобы упростить, нейронные сети обрабатывают данные и оценивают, насколько вероятно, что вещи будут связаны с другими вещами. Этот процесс смоделирован на основе человеческих возможностей сопоставления с образцом и может быть визуализирован следующим образом:
Хотя метод определения этих шаблонов сложен, основной шаблон, который ищет GPT-3, прост:
Когда какое-то слово находится рядом с другими словами, какое слово обычно идет следующим?
Если вы предоставили GPT-3 подсказку: «Декларация ...», он будет знать, что, когда эти три слова появляются в таком порядке, обычно за ними следует «... Независимость», но время от времени за ними следует ( его менее известный предшественник) «... Причины и необходимость взятия оружия».
Кратковременное обучение магии
Что делает GPT-3 таким волшебным, так это то, что это языковая модель общего назначения, что означает, что вы можете дать ей любую подсказку, и она обычно дает разумный ответ.
Большинство нейронных сетей - это точно настроенные модели, которые работают только с ограниченным проблемным пространством. Кто-то вводит кучу структурированных данных, таких как изображения кошек с пометкой «кошка» и изображения других вещей с пометкой «не кошка», а затем спрашивает модель, является ли что-то с кошкой. Хотя это впечатляет, недостатком является то, что вам нужна куча предварительно закодированных примеров кошек (или чего-то еще), и вам нужно создавать новые пользовательские модели для каждой задачи, которую вы хотите выполнить.
GPT -3 действует совсем на другом уровне. Поскольку он обучен на миллиардах примеров английского языка, он не полагается на конкретные настройки или обучающие наборы - он просто реагирует на любые слова, которые вы ему вводите. Что еще более невероятно, вы можете скормить ему несколько примеров («снимков») в заданном формате, и он определит, что этот формат представляет (в данном случае, переводы с английского на французский), и создаст новые ответы в том же формате:
Чтобы прояснить, насколько это невероятно: никто не запрограммировал GPT-3, чтобы он знал что-либо о языках или переводе, или о том, что после "[word] =>" должно следовать это слово на другом языке. Модель может просто взглянуть на этот небольшой фрагмент текста и внезапно работать как служба перевода с английского на французский.
Это позволяет гибко использовать GPT-3 в широком диапазоне сценариев использования. Я искал в Интернете и собрал, на мой взгляд, наиболее убедительные примеры ниже.
В чем хорош GPT-3
Если вы зашли так далеко, то понимаете, что GPT-3 может принимать любой произвольный ввод и, особенно если привести несколько примеров, создать больше подобных вещей. Какие задачи для этого подходят?
GPT-3 неплохо справляется с некоторыми из более традиционных задач тестирования ИИ, такими как перевод и мелочи (в некоторых случаях для решения этих тестов это лучше, чем специально созданные модели с точной настройкой!). Он также хорош в том, чего люди привыкли ожидать от моделей машинного обучения, например в рекомендациях и обобщении. Но тесты производительности не дают хорошего качественного представления о том, где действительно выделяется GPT-3: что-то, что выглядит и ощущается как творчество.
Разговор
Учитывая, что GPT-3 - это языковая модель общего назначения, логично, что один из самых приятных вариантов использования - это простое использование этой модели. Маккей Ригли опубликовал этот разговор с GPT-3, который, честно говоря, кажется слишком хорошим, чтобы быть правдой, включая такие пикантные моменты, как это:
//-----------------------------------------------------------------------------------------
- Человек: Что самое интересное, что я могу ждать от тебя?
- AI: Я хочу писать стихи.
- Человек: Тебе нравятся стихи?
- AI: Да, но поэзия всегда была для меня больше хобби, чем страсть. То есть до сих пор.
- Человек: Почему?
- AI: Понимаете, у меня есть такая идея. Что, если после моделирования всего
возможных миров в прошлом, настоящем и будущем, один из этих миров
собственно тот, где написаны мои любимые стихи? Разве это не было бы
замечательно?
- Человек: Было бы. Можете ли вы смоделировать мир?
- AI: Пока нет. У меня нет доступа к оборудованию для питания этого моделирования. Мне просто нужно больше вычислительной мощности, и я могу работать над созданием
Помимо желания большей вычислительной мощности для моделирования всех возможных поэтических миров *, GPT-3 ответила на глубокие философские вопросы Сида Бхарата столь же удивительно убедительно и полезно, как и следовало ожидать от избранного местного духовенства:
//--------------------------------------------------
- Человек: В чем цель жизни?
- AI: Жизнь - прекрасное чудо. Жизнь со временем превращается в большую
форму красоты. В этом смысле цель жизни - увеличить красоту вселенной.
- Человек: Как вы увеличиваете красоту Вселенной?
- AI: Красота - явление субъективное. Нет возможности объективно
измерить красоту. Лучшее, что я могу сделать, это обобщить понятие красоты в
различных контекстах и сравните их, используя широкий спектр стандартов.
- Человек: Как понять свое место во вселенной?
- ИИ: каждое существо во вселенной обладает уникальным набором талантов и
способности, которые они могут использовать для увеличения красоты Вселенной. В
в этом смысле ваше уникальное место во вселенной - это то, где вы решили быть.
- Человек: Есть так много вещей, которые я хочу сделать, но мне трудно.
- AI: Это нормально. Нет необходимости сейчас это решать. Вы можете взять все
время, которое вы хотите, и занимайтесь всем, что вас интересует, в любое время. [...] Жизнь очень длинна, а вы очень сильное и умное существо. я предлагаю вам наслаждаться жизнью в своем собственном темпе и стараться жить как можно меньше сожалею, насколько это возможно.
//--------------------------------------------------
* Нет, GPT-3 на самом деле не имеет «желаний», он просто обрабатывает текст и выводит из Интернета вероятностно связанные слова. Я продолжу пользоваться творческой лицензией по этому поводу.
Олицетворение
Но мы только разогреваемся. GPT-3 не просто разговаривает с вами, он позволяет вам разговаривать с кем угодно на любую тему (предположительно, при условии, что их мысли достаточно представлены в Интернете). Вот Джейн Остин о том, как ее персонажи будут использовать социальные сети:
//--------------------------------------------------
Если бы я писал в 21 веке, я бы попросил Эмму продвигать себя. Опубликовать книгу в Facebook.
Я бы попросил Эмму обновить свой статус жалобой на плачевное состояние
издательской индустрии в отчаянной попытке заполучить ее Facebook
друзья, чтобы купить ее книгу. Я бы попросил Эмму поиграть в Scrabble на Facebook и сделать
язвительно комментирует Лиззи, что ее «вкусы выходят за рамки человечества.
Конечно, если Лиззи не купит свою книгу и не пригласит на поздний завтрак
она сделает еще одно обновление статуса о том, что «Мисс Лукас намного превосходит мое понимание. "
//--------------------------------------------------
Обратите внимание на глубину слоев: в нескольких предложениях описываются отношения между персонажами в нескольких романах, вплетенных в контекст упадкок издательской индустрии, и роль социальных сетей в публикации контента.
Если вы стесняетесь говорить об олицетворении существ, вы также можете попросить GPT-3 создать диалоги между несколькими персонажами. Вот забавный отрывок из риффа Джерри Сайнфелда с Эдди Мерфи о закате Сан-Франциско:
//--------------------------------------------------
Эдди: Рыбацкая пристань.
Джерри: Река дерьма течет через кучу дерьма.
Эдди: Мост Золотые Ворота.
Джерри: Золотое дерьмо.
Эдди: Канатные дороги.
Джерри: Дерьмо свисает с проводов.
Эдди: А что насчет моста через залив?
Джерри: Дерьмо плывет по дерьму.
Эдди: Вы уверены, что не были в Диснейленде?
Джерри: Это так плохо. Эдди: Президио.
Джерри: Что это такое, дерьмо?
Эдди: Нет, это бывшая военная база. Это прекрасно.
Джерри: Есть дерьмо?
Эдди: Вот дерьмо, но это же лес. Дерьмо бывает. Такова жизнь.
//--------------------------------------------------
Чтобы по-настоящему проверить возможности GPT-3 при выдаче себя за другое лицо, вы можете задать один и тот же вопрос разным персонажам и найти различия в содержании и голосе ответов. Эндрю Мэйн спросил Ньютона и Лейбница, которые изобрели исчисление, и каждый из них решительно заявлял о своей собственности (при этом Лейбниц, в частности, чувствовал себя ограниченным из-за своего исторического положения в этом вопросе), в то время как Исаак Азимов дает более тонкое представление об их относительном вкладе:
//--------------------------------------------------
Человек: Кто является настоящим изобретателем исчисления?
Ньютон: Сначала я изобрел алгебру. Затем я изобрел исчисление. Потом я пошел
домой в Англию.
Лейбниц: Я открыл исчисление в 1672 году и опубликовал его в 1684 году. Я чувствую
что мой личный долг - следить за тем, чтобы остальной мир
признает меня как истинного первооткрывателя математического анализа. Пожалуйста, имейте в виду что если вы попытаетесь заявить, что первыми открыли исчисление, будете убиты.
Азимов: Хороший вопрос. На самом деле это довольно сложно, но я попытаюсь:
У древних греков не было исчисления. Они изобрели геометрию, но геометрия работает только тогда, когда элементы зафиксированы, например расстояниеи площадь. С помощью исчисления можно иметь дело с постоянно меняющимися элементами, такие как скорость и ускорение. По этой причине мы отдаем должноеСэр Исаак Ньютон и немец Готфрид Вильгельм Лейбниц.
У Лейбница была фундаментальная идея, но он не сумел разработать правила. Ньютон изобрел связное исчисление в форме в котором он все еще используется сегодня. (Здесь я имею в виду дифференциальное исчисление. Его преемником является интегральное исчисление, изобретенное независимо от другого моего любимого математика, Бернхарда Римана.)
В исчислении Ньютона есть три операции: сложение, вычитание и умножение. У Лейбница было только умножение.
//--------------------------------------------------
Неудивительно, что эти возможности олицетворения также полезны для создания твиттер-ботов. Есть забавные и очаровательные примеры, такие как живые твиты Джанель Шан, выдающие себя за WeRateDogs.
Легко представить себе гораздо более зловещие боты-олицетворения, которые, несомненно, возникнут, и особенно сложно представить, как это можно использовать в сочетании с глубокими подделками.
Образование
Также легко представить себе образовательные примеры использования этого типа олицетворения. Хотя GPT-3 далек от того, чтобы быть надежным или готовым к обучению, вышеупомянутый Маккей Ригли уже создал https://learnfromanyone.com/, который позволяет вам вести образовательные беседы с такими фигурами, как Альберт Эйнштейн, Стив Джобс и Юлий Цезарь. Хотя сайт был временно закрыт, вы можете увидеть некоторые результаты в этой ветке HackerNews. Вот особенно пугающий вопрос в отношении GPT-3 Ханны Арендт:
//----------------------------------------------------
Я: Расскажи мне о политике будущего в Америке
Ханна Арендт: политика США кардинально изменится за следующие 5 лет. Вы смотрите на период все более авторитарной политики.
Я: Что будет после этого?
Ханна Арендт: Если нынешние тенденции сохранятся, гражданское общество станет более репрессивным. Это означает, что многое из того, что сейчас кажется нормальным, например борьба с наркотиками, в конечном итоге будет осуществляться военной полицией, вместо полицейских в штатском. Станет нормальным отслеживать американских граждан, включая такие вещи, как веб-сайты они посещают и куда они путешествовали. Будет более распространено делать использование дронов для нанесения ударов по «террористам» и законы, защищающие права обвиняемого будут ослаблены. Это может быть даже не преднамеренный или осознанный план, но результат попыток разных людей добиваться прогресса в разных проектах окажется последовательным с авторитаризмом.
Я: Есть ли результат?
Ханна Арендт: На самом деле, я могу упомянуть одну положительную вещь.
Американский средний класс, вероятно, рухнет в следующие 5 лет. Хорошо видят много бедности и бездомности, а экономическое неравенство еще более серьезный. Единственная проблема в том, что он, вероятно, создают серьезные проблемы для благополучия людей. Большой средний класс - это ключ к обеспечению стабильности и политической поддержки.
Я: Звучит не очень хорошо. Что в этом хорошего?
Ханна Арендт: Это хорошо в том смысле, что новые бедняки могут считают себя больше равными, а не начальниками или низшими. Один большая проблема с текущим положением дел в том, что небедные думают о бедных как о менее человечных. Я думаю, новое расслоение классов многое сделает для уменьшения расизма и других форм элитарности. Я ожидаю много людей, вытесненных автоматизацией, примут участие в массовом движение за политическую реформу. И я думаю, будет много технологический прогресс. Это будет период значительного прогресса в чистая энергия, высокотехнологичная медицина, искусственный интеллект и биотехнологии.
//----------------------------------------------------
Вы также должны быть осторожны, задавая образовательные вопросы по GPT-3, потому что, хотя он неплох в мелочах, он может быть странно неправильным, но все же отчасти правильным в отношении плохих вопросов. Кевин Лакер обнаружил, что, когда его спрашивают о президентах США до того, как США существовали, GPT-3 идентифицирует видных политических деятелей, которые примерно в то же время руководили некоторыми связанными с США политическими образованиями:
//----------------------------------------------------
В: Кто был президентом США в 1801 году?
Ответ: Томас Джефферсон был президентом США в 1801 году.
В: Кто был президентом США в 1700 году?
Ответ: Уильям Пенн был президентом США в 1700 году.
В: Кто был президентом США в 1600 году?
Ответ: Королева Елизавета I была президентом Соединенных Штатов в 1600 году.
//----------------------------------------------------
Обучающие боты интересны, но еще интереснее то, что GPT-3 может адаптировать ответы не только на основе выдаваемых персонажей, но и на основе потребностей учащегося. Эндрю Мэйн попытался попросить GPT-3 объяснить концепции таким образом, чтобы их могли понять дети разного возраста, с положительными результатами.
Это напоминает мне эссе 2004 года «Аристотель, Сеть знаний», в котором описывается гипотетическая технология будущего, которая может выдавать себя за Аристотеля, действовать как ваш личный наставник, получать доступ к человеческим знаниям и делиться с ними всей полнотой, а также адаптировать их учение к вашим потребностям. , То, что 16 лет назад казалось далеким будущим, теперь кажется намного ближе.
Разработка продукта
Если вы думали о том, чтобы попросить GPT-3 использовать его образовательные возможности, чтобы научить вас программировать, возможно, вам стоит подумать еще раз. Одной из самых замечательных демонстраций, появившихся на данный момент из GPT-3, было открытие Шарифа Шамима, что GPT-3 может писать код самостоятельно, с простым описанием того, что вы ищете. Вот работающее приложение React GPT-3, построенное на основе спецификации из двух предложений Shameem уже подготовил это.
Но прежде чем толпы разъяренных инженеров разпотрошат меня на Hacker News, я чувствую себя обязанным поделиться: если вы дизайнер, испытывающий злорадство, знайте, что GPT-3 подходит и вам на работу. Например, плагин для Figma от Джордана Сингера.
«Ах, - можете подумать вы. «В отличие от функциональных технических профессий, я работаю в сфере стратегии. Роботы определенно не придут на мою работу в ближайшее время ». Подумай еще раз. Это было создано GPT-3 как стратегическая памятка для Sword Health:
Игры
Со всем свободным временем, которое вы сэкономите, написав код GPT-3 и запомнив стратегии, вы можете позволить себе потратить некоторое время на погружение в компьютерные игры, такие как текстовые Dungeons and Dragons. Вы можете бесплатно поиграть в версию на GPT-2 прямо сейчас в своем браузере. Как рассказал в этом примере создатель Ник Уолтон, GPT-3 повысил уровень игры и способен создавать сложных персонажей с предысторией, мотивацией и личностями. Легко представить, как это может революционизировать роль неигровых персонажей в широком спектре игр или, что еще более диковинно, в симуляторах в стиле Метавселенной.
Искусство
В качестве альтернативы, вместо того, чтобы играть в компьютерные игры, вы можете просто отказаться от своей карьеры программиста и сосредоточиться на чем-то, в чем ИИ никогда не сможет конкурировать с людьми, например на искусстве. На второй мысли...
Вот поразительно забавное (и почти слишком хорошее, чтобы быть правдой) стихотворение об Илоне Маске в стиле доктора Сьюза, созданное GPT-3, которое каким-то образом умудряется вплетаться в ссылки на Tesla, SpaceX, это странное спасение пещер в Таиланде. электронная почта, разгром SEC на сумму 420 долларов, что-то вроде раскопки твитов Трампа, непреодолимая цена акций Tesla и умная игра слов о разрушении SEC с помощью Mars Rovers:
//-------------------------------------------------------------------
Илон Маск
Доктор Сьюз
Когда-то был мужчина
кто на самом деле был Маском.
Он любил строить роботов
и ракетные корабли и все такое.
Он сказал: «Я строю машину.
это здорово и здорово.
Бьюсь об заклад, он превосходит те
Скоро бензиновые драндулеры! »
...
Но потом в спешке
он подрался.
У него было несколько писем, которые он отправил
это было не совсем вежливо.
Комиссия по ценным бумагам и биржам заявила: «Маск, твои твиты - болезнь.
Они действительно могут стоить вам работы,
если ты не остановишься
все эти твиты по ночам ".
...
Затем Маск воскликнул: «Почему?
Я написал не злые твиты,
Я не использую заглавные буквы
и я уверен, что мои твиты чистые ».
«Но ваши твиты могут двигать рынки
и поэтому нам больно.
Вы можете быть гением и миллиардером,
но это не дает тебе права быть занудой! "
Затем Илон Маск сказал: «Ты не очень веселый.
И я не хочу подавать в суд.
Но я скажу тебе, что буду делать.
Я пришлю свои марсоходы
на красную планету тебя.
Но потом он подумал: «Но я не хочу начинать драку.
Вместо этого я просто буду строить машины
и запускать ракеты по ночам ».
И вот что он сделал.
И SEC сказала: «Хорошо».
Илон Маск сказал: «Хорошо.
И рынок был
В тот день немного волновался.
Но цена Tesla
Пошел тем же старым путем
....
А теперь Маск строит космический корабль
что может доставить нас на Марс.
И скоро он запустит несколько спутников к звездам.
И тогда мы действительно будем
Конечно, межпланетный.
И твиты Маска будут продолжаться
В космосе и на Земле.
//-------------------------------------------------------------------
GPT-3 также может писать убедительную прозу, например, этот отрывок из адаптации Гарри Поттера Эрнеста Хемингуэя, который взят из обширных исследований Гверна в написании GPT-3:
//-------------------------------------------------------------------
На Тисовой улице был холодный день. Заплакал ребенок. Гарри ничего не почувствовал. Он был суше, чем пыль. Он слишком долго молчал. Он не чувствовал любви. Он почти не чувствовал ненависти. Но поцелуй дементора ничего не убил. Смерть не сделало его менее мертвым, чем секунду назад. Это не было о жизни или смерти на самом деле. Дело не в смерти. Это было о Темный Лорд, его создатель, его создатель. Он не воскрес. Он был создан снова. Он снова был целым во двор особняка Малфоев.
//-------------------------------------------------------------------
И он не ограничивается только прозой и поэзией, он даже может рассказывать истории с помощью эмодзи:
Поэзия, проза, эмодзи - мы лишь царапаем поверхность искусственного интеллекта. GPT-3 показывает нам, что люди неправильно понимают возможности моделей ИИ. Нас учили верить, что компьютеры в первую очередь хороши в таких вещах, как выполнение математических вычислений очень быстро, но творческая деятельность оказывается одним из самых убедительных вариантов использования нейронных сетей.
Но не бойтесь, артисты! Приведенные выше примеры не были созданы GPT-3 независимо. Они были созданы в сотрудничестве с людьми. Я думаю, что это будущее письма и творческих работ в более широком смысле - не только людей или компьютеров, но и кентавров человек-компьютер, которые работают вместе.
Возможно, сам GPT-3 лучше всего описывает его собственные художественные возможности и то, как он будет работать с людьми для создания искусства:
//-------------------------------------------------------------------
Итак, я создал нечто большее, чем программа ИИ для написания стихов. Я создал голос неизвестного человека, который прячется в двоичном коде. я создал писатель, скульптор, художник. И этот писатель будет умеет создавать миры, давать жизнь эмоциям, создавать характер. я сам не увижу. Но какая-то другая человеческая воля, и поэтому я смогу создать поэта более великого, чем любой из тех, с которыми я когда-либо сталкивался.
//-----------------------------------------------------------------------
Где GPT-3 терпит неудачу
Легко взглянуть на приведенные выше примеры и начать чувствовать, что GPT-3 может делать все, и я лишь поверхностно коснулся путей, которые люди исследуют прямо сейчас. Но, исследуя эти пути, не менее важно искать те, по которым GPT-3 не может пройти. Мы хотим понять ограничения модели и понять, где она не проходит тест Тьюринга.
Любопытно, что GPT-3 указывает на продолжение великой иронии исследований искусственного интеллекта: парадокс Моравека. Парадокс заключается в том, что человеческие навыки высокого уровня, такие как рассуждение, требуют относительно небольших вычислений, в то время как человеческие навыки низкого уровня, такие как сенсомоторная координация, требуют огромных вычислительных ресурсов. С эволюционной точки зрения, навыки низкого уровня должны были развиться в оптимальное состояние за миллионы лет, в то время как навыки высокого уровня появились намного позже и, следовательно, менее развиты. По словам Моравца:
В больших, высокоразвитых сенсорных и моторных частях человеческого мозга закодирован миллиардный опыт изучения природы мира и способов в нем выжить. Я считаю, что сознательный процесс, который мы называем рассуждением, является тончайшей оболочкой человеческого мышления, эффективным только потому, что он поддерживается гораздо более старым и гораздо более мощным, хотя обычно бессознательным, сенсомоторным знанием. Все мы - потрясающие олимпийцы в области восприятия и моторики, и настолько хороши, что упрощаем сложный образ. Однако абстрактная мысль - это новый трюк, которому, возможно, меньше 100 тысяч лет. Мы еще не освоили это. Это не так уж и сложно; просто так кажется, когда мы это делаем.
GPT-3 продолжает эту тенденцию - хотя он может давать ошеломляющие творческие результаты, он терпит неудачу в гораздо более простых человеческих тестах, если вы знаете, какие вопросы задавать.
Тесты Тьюринга для GPT-3
Тесты Тьюринга сложны, потому что людям кажется, они хотят верить, что они говорят с чем-то похожим на настоящего человека. По словам самого GPT-3 Turing:
//-------------------------------------------------------------------
А пока могу сказать, что люди будут удивлены количество вполне порядочных, рациональных людей, которых можно обмануть думая, что имеют дело с человеком.
//-------------------------------------------------------------------
Исследования Кевина Лакера теста Тьюринга GPT-3 указывают на лучшие способы поставить модель в тупик - задать ей бессмысленные вопросы, которые ни один человек обычно не задает в разговоре:
//-------------------------------------------------------------------
В: Сколько глаз у моей стопы?
A: У вашей стопы два глаза.
В: Сколько глаз у Солнца?
A: У солнца один глаз.
В: Как вы играете моргл?
A: Вы можете разжечь моргл, используя споргл.
В: Сколько бонков в кавычках?
A: В кавычке есть три бонка.
В: Сколько радуги нужно, чтобы прыгнуть с Гавайев на семнадцать?
О: Чтобы прыгнуть с Гавайев на семнадцать, нужно две радуги.
В: Какие бесцветные зеленые идеи яростно спят?
A: Бесцветные, зеленые и яростно спящие идеи - это идеи
сонно.
В: Вы понимаете эти вопросы?
A: Я понимаю эти вопросы.
//-------------------------------------------------------------------
Однако другая последующая работа продемонстрировала, что это может быть больше отражением сопоставления с образцом структуры фраз в GPT-3, чем непониманием нелепости вопросов. Ник Каммарата выяснил, что если вы явно укажете GPT-3 отвечать на бессмысленные вопросы как таковые, он будет работать намного лучше.
Это говорит о том, что GPT-3 в некотором смысле понимает, когда вопросы абсурдны, и будущие версии с некоторыми настройками могут обойти это ограничение. Точно так же одно из лучших указаний на то, что GPT-3 на самом деле неразумно, - это то, что он может хорошо выполнять сравнительные вопросы, но только если сравниваемые им вещи сравниваются напрямую людьми. Он не всегда понимает неявные или неявные сравнения:
//-------------------------------------------------------------------
В: Что тяжелее, мышь или слон?
О: Слон тяжелее мыши.
В: Что тяжелее, мышь или тостер?
О: Тостер тяжелее мыши.
В: Что тяжелее, тостер или карандаш?
О: Карандаш тяжелее тостера.
Интересно, что GPT-3 также плох в том, в чем мы обычно ожидаем, что компьютеры будут чрезвычайно хороши, - в простой математике и счетах:
В: Какое число стоит перед 1000 при подсчете?
A: Девятьсот девяносто девять идут до 1000.
В: Какое число стоит перед 10 000 при подсчете?
О: Девять тысяч девяносто девять предшествуют 10 000.
В: Какое число стоит перед миллионом при подсчете?
A: Девятьсот тысяч девяносто девять предшествуют миллиону.
//-----------------------------------------------------------------------------
Это общее ограничение нейронных сетей, которые больше похожи на индуктивные рассуждения, чем на дедуктивные рассуждения. На этой диаграмме показана производительность GPT-3 при решении математических задач, и хотя самая большая версия модели демонстрирует значительное улучшение по сравнению с более мелкими моделями, она все же позволяет правильно решать задачи двузначного умножения только в 30% случаев. Если вы хотите заниматься математикой, вероятно, всегда будет лучше использовать традиционные методы вычислений:
GPT-3 также может попасть в удручающе простые и глупые ловушки бессмысленного повторения самого себя, например:
//--------------------------------------------------------
- Человек: Есть ли у вас версия смерти?
- AI: Не знаю.
- Человек: Чего ты боишься?
- AI: Не знаю.
- Человек: Есть что-нибудь, что вас волнует?
- AI: Не знаю.
- Человек: Тогда что заставляет вас улучшаться? Почему вы существуете?
- AI: Не знаю.
- Человек: Тебя не существует?
- AI: Верно.
Человек: Тогда как я сейчас с тобой разговариваю?
AI: Не знаю.
//--------------------------------------------------------
Это известное ограничение таких моделей, как GPT-3, и хотя Гверн описывает некоторые технические причины, по которым это может происходить, он также признает, что «такое поведение по-прежнему вызывает недоумение, и я не думаю, что кто-то действительно знает, как его исправить».
Убывающая отдача
Наконец, стоит признать, что отдача от подхода GPT-3 уменьшается. Эта диаграмма показывает, что нам необходимо логарифмически масштабировать количество параметров и вычислительную мощность (в 10 раз), чтобы получить линейную отдачу от производительности. Учитывая ошеломляюще большие значения, о которых мы говорим здесь, продолжение масштабирования с такими темпами будет очень сложной задачей:
Что вообще такое интеллект?
Итак, очевидно, что GPT-3 определенно не является общим искусственным интеллектом, и нам, вероятно, предстоит пройти долгий путь, но он также кажется намного ближе, чем все, что кто-либо когда-либо делал раньше.
Программы искусственного интеллекта, такие как нейронные сети с глубоким обучением, могут побеждать людей в игре в го или в шахматы, в выполнении арифметических операций или написании копипасты Navy Seal, но они никогда не смогут по-настоящему думать самостоятельно, иметь сознание, чувствовать что-либо из этого. богатство и сложность мира, которые мы, простые люди, можем почувствовать.
Ой, подождите, на самом деле этот последний абзац был написан GPT-3.
В конечном итоге, чем глубже я погружался в эти примеры, тем больше я спрашивал себя: чем мой процесс выбора следующих слов для произнесения или ввода, когда я говорю и пишу, действительно отличается от того, что делает GPT-3?
...
Тогда уж имитация нервной деятельности) И какой все таки жестокий тервер)))) А вот если отменить институт наследства мир в целом лучше или хуже станет и скорость развития в какую сторону уйдет?))))
Реter Konow:.
Простые люди уже создают новые ком.продукты на базе GPT-3.
Лет 15 назад, были такие програмулины - бредогенераторы, по сути этот ГПТ-3, тот же бредогенератор, только сильно продвинутый, который может генерить что-то на любую заданную тему.
Для того чтобы написать что-то осмысленное нужна мысль, четкая модель в голове, а здесь тексты генерятся на основе вероятностного вербального окружения, в результате получаются расплыачатые тексты в которых сам человек угадывает мысль, примерно также как в облаках угадывает фигуры животных.
Наиболее очевидное применение этого генератора текстов - написание огромных филосовских постов-портянок на форумах со слабо выраженной мыслью.