AI 2023. Встречайте ChatGPT. - страница 114
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
OpenAI запустила программу поиска багов GPT.
Использование промтов для обхода авторских прав или выдача неверной информации теперь будет исправляться
OpenAI запустила программу поиска багов GPT.
Использование промтов для обхода авторских прав или выдача неверной информации теперь будет исправляться
Азимов - ЛОХ !
первый реальный закон робототехники: "да не нарушь копирайтов"
Проделал огромную работу по переводу интервью. Очень помог ChatGPT. Есть небольшие ошибки, но суть гораздо важнее.
Предлагаю к вашему вниманию интервью Ильи Сутскевера, главного ученого и сооснователя компании OpenAI.
(Текст разбиваю на несколько частей из за его объема)
//==========================================
Часть 1:
Введение:
Да, я - Крейг Смит, и это "I on AI". На этой неделе я беседовал с Ильей Суцкевером, одним из сооснователей и главным ученым в OpenAI, и одним из главных умов за огромной моделью языка GPT-3 и ее общедоступным наследником ChatGPT, который, как мне кажется, меняет мир. Это не первый раз, когда Илья меняет мир. Джефф Хинтон сказал, что он был главным толчком для AlexNet, сверточной нейронной сети, чья удивительная производительность поразила научное сообщество в 2012 году и вызвала революцию глубокого обучения. Как часто бывает в таких разговорах, мы предполагаем, что слушатели обладают определенными знаниями, главным образом, потому что я не хочу тратить ограниченное время, которое у меня есть, чтобы говорить с людьми, такими как Илья, объясняя концепции людей или событий, которые легко можно найти в Google или Bing, как я бы сказал, или которые могут объяснить для вас Chachi BT. Разговор с Ильей следует за разговором с Янном Лекуном в предыдущем эпизоде, так что, если вы не слушали тот эпизод, я настоятельно рекомендую сделать это. Тем временем, надеюсь, вы насладитесь беседой с Ильей так же, как я.
Биография Ильи
Крейг Смит:
Да, очень приятно познакомиться с вами, пообщаться. Я посмотрел многие ваши выступления в Интернете и прочитал многие ваши статьи. Можете ли вы начать с того, чтобы немного рассказать о себе и вашем бэкграунде? Я знаю, что вы родились в России и там учились. Что заставило вас заинтересоваться компьютерными науками, если это было вашим первоначальным импульсом, или наукой о мозге, нейронаукой или чем-то еще? И тогда я начну задавать вопросы.
Илья Суцкевер:
Да, я могу немного рассказать об этом. Да, я родился в России. Я вырос в Израиле, а затем, будучи подростком, моя семья иммигрировала в Канаду. Мои родители говорят, что я был заинтересован в искусственном интеллекте с довольно раннего возраста. Я также был очень мотивирован изучением сознания. Это меня беспокоило, и я был любопытен по поводу вещей, которые могут помочь мне лучше его понять, и искусственный интеллект казался очень хорошим подходом. Я думаю, что это были некоторые из факторов, которые побудили меня начать изучать это направление.
Я начал работать с Джеффом Хинтоном, когда мне было всего 17 лет. Мы переехали в Канаду, и я смог сразу же поступить в Университет Торонто. Я действительно хотел заниматься машинным обучением, потому что это казалось самым важным аспектом искусственного интеллекта, который в то время был полностью недоступен.
Но чтобы дать некоторый контекст, год был 2003. Сегодня мы принимаем за должное, что компьютеры могут учиться, но в 2003 году мы принимали за должное, что компьютеры не могут учиться. Самым большим достижением искусственного интеллекта тогда был игровой движок Deep Blue, играющий в шахматы. Но там было так: у вас есть эта игра, и у вас есть это дерево поиска, и у вас есть простой способ определения, какое положение лучше другого, и это действительно не казалось возможным применить в реальном мире, потому что здесь нет учения, а обучение было большой загадкой.
Итак, я действительно очень интересовался обучением, и мне очень повезло, что Джефф Хинтон был профессором в университете, в котором я учился, и я смог найти его и начать работать вместе с ним почти сразу.
Вклад в AI
Крейг Смит:
"Как работает интеллект?" было вашим порывом, как и у Джеффа, понять, как работает мозг, или вам больше была интересна идея машинного обучения?
Илья Суцкевер:
AI настолько большая область, что мотиваций было много. Например, интересно, но как вообще работает интеллект? Сейчас мы имеем довольно хорошее представление о том, что это большая нейронная сеть, и мы знаем, как она работает в какой-то степени, но тогда, хотя нейронные сети уже были известны, никто не знал, что гугловские нейронные сети хороши для чего-то. Так как вообще работает интеллект? Как мы можем сделать компьютеры хоть немного интеллектуальными? И у меня был явный намерение внести небольшой, но реальный вклад в AI, потому что было много вкладов в AI, которые не были реальными, а я мог видеть по разным причинам, что они не были реальными, и что из этого ничего не выйдет. И я думал, что ничто не работает вообще. AI - это безнадежное поле. Так что мотивация была в том, чтобы понять, как работает интеллект, и внести свой вклад в это. Таковы были мои первоначальные мотивации.
Сверточные нейросети
Крейг Смит:
Так это было в 2003 году, почти ровно 20 лет назад, и тогда Алекс сказал: "Я поговорил с Джеффом, и он сказал, что это именно ваше воодушевление по поводу прорывов в сверточных нейронных сетях побудило вас подать заявку на участие в конкурсе imagenet, а Алекс обладал навыками программирования для обучения сети. Можете ли вы немного рассказать об этом? Я не хочу утонуть в истории, но это увлекательно".
Илья Суцкевер:
Вкратце, я понял, что если обучить большую и глубокую нейронную сеть на достаточно большом наборе данных, который специфицирует некоторые сложные задачи, которые решают люди, такие как обработка изображений, но и другие, и просто обучить эту нейронную сеть, то вы обязательно добьетесь успеха. И аргумент был очень несокрушимым, потому что мы знаем, что человеческий мозг может решать эти задачи и решать их быстро, а человеческий мозг - это всего лишь нейронная сеть с медленными нейронами. Значит, мы знаем, что какая-то нейронная сеть может это хорошо сделать. Тогда вам просто нужно взять более маленькую, но связанную нейронную сеть и обучить ее на данных, и лучшая нейронная сеть внутри компьютера будет связана с нейронной сетью, которая выполняет эту задачу. Таким образом, это был аргумент о том, что большая и глубокая нейронная сеть может решить задачу, и кроме того, у нас есть инструменты для ее обучения, которые были результатом технической работы, проведенной в лаборатории Джеффа. Таким образом, мы объединяем два фактора: мы можем обучать эти нейронные сети, нужно, чтобы она была достаточно большой, чтобы при обучении она работала хорошо, и нам нужны данные, которые могут специфицировать решение. В случае imagenet все ингредиенты были в наличии. Алекс имел очень быстрые сверточные ядра, Imagenet имел достаточно большие данные, и была настоящая возможность сделать нечто абсолютно беспрецедентное, и это абсолютно удалось.
Часть 2:
//======================
Прогнозирование следующего элемента - все, что вам нужно.
Крейг Смит:
В 2017 году вышла статья "внимание - все, что вам нужно", введя самообучение и трансформеры. На каком этапе начался проект GPT? Было ли интуиции по поводу трансформеров и самообучения? Можете рассказать об этом?
Илья Суцкевер:
Так для контекста, в OpenAI с самых ранних дней мы исследовали идею, что прогнозирование следующего элемента - все, что вам нужно. Мы исследовали это с помощью гораздо более ограниченных нейронных сетей. Мы понимали, что нужно продолжать увеличивать размер, и мы это сделали, и именно это привело в конечном итоге к GPT-3 и по сути к тому, где мы находимся сегодня.
Масштабирование
Крейг Смит:
Да, и я просто хотел спросить, я увлекся этой историей, но мне так интересно. Я хочу перейти к проблемам или недостаткам больших языковых моделей или больших моделей в целом. Но Рич Саттон писал о масштабировании и том, что все, что нам нужно сделать, это масштабироваться. Нам не нужны новые алгоритмы, нам просто нужно масштабироваться. Он влиял на вас или это была параллельная линия мышления?
Илья Суцкевер:
Нет, я бы сказал, что когда он опубликовал свою статью, мы были очень рады увидеть, что некоторые внешние люди думают в похожих направлениях, и мы считали, что это было очень красноречиво изложено. Так что, для контекста, в OpenAI с самого начала мы исследовали идею, что предсказание следующего элемента - это все, что вам нужно. Мы исследовали это с помощью намного более ограниченных нейронных сетей того времени, но надежда заключалась в том, что если у вас есть нейронная сеть, которая может предсказывать следующее слово, следующий пиксель, то это в основном связано с сжатием. Предсказание - это сжатие, а предсказание следующего слова нет. Дайте мне подумать о лучшем способе объяснения этого, потому что происходило многое, все они были связаны.
Мы действительно были заинтересованы в том, чтобы понять, насколько далеко достигнет предсказание следующего слова и решит ли оно задачу без учителя. Таким образом, до появления GPT задача без учителя считалась святым Граалем машинного обучения. Теперь она полностью решена, и никто даже не говорит об этом, но тогда это было очень загадочно, поэтому мы и исследовали эту идею. Меня это очень заинтересовало, и я думал, что если предсказание следующего слова достаточно хорошо, то это даст нам задачу без учителя, если оно научится всему о наборе данных. Это будет замечательно, но наши нейронные сети не справлялись с этой задачей. Мы использовали рекуррентные нейронные сети. Когда вышел Transformer, то буквально на следующий день, было ясно, что Transformer решает ограничения рекуррентных нейронных сетей на обучение долгосрочным зависимостям. Это техническая вещь, но казалось, что если мы сразу переключимся на трансформеры, то очень начальное усилие по созданию GPT продолжится, и потом, как с трансформером, начнет работать лучше, и вы сделаете его больше, и тогда...
Вывод, который сделали люди, заключается в том, что не имеет значения, что вы делаете, чтобы масштабироваться, но это не совсем так. Вы должны масштабировать что-то конкретное. Великий прорыв глубокого обучения заключается в том, что оно дает нам первый способ продуктивно использовать масштаб и получать взамен что-то.
Раньше, что делали люди на больших компьютерных кластерах? Я думаю, они делали их для симуляций погоды или физических симуляций или чего-то в этом роде, но вот и все. Может быть, еще для создания фильмов. Но у них не было реальной потребности в кластерах вычислений, потому что что с ними делать?
Тот факт, что глубокие нейронные сети, когда вы делаете их больше и обучаете их на большем количестве данных, работают лучше, дал нам первую вещь, которая становится интересной для масштабирования, но возможно, однажды мы обнаружим, что есть какая-то маленькая деталь, на которой можно сфокусироваться. Это будет еще лучше для масштабирования. Сколько таких деталей может быть? И конечно, с пользой для истории мы скажем: "Действительно ли это имеет значение? Это такое простое изменение". Но я думаю, что истинное утверждение заключается в том, что имеет значение, что вы масштабируете. В данный момент мы просто нашли вещь, которую можно масштабировать, и получать что-то взамен.
Ограничения больших языковых моделей
Крейг Смит:
Если говорить об ограничениях больших языковых моделей, то, как говорят, они заключают свои знания в языке, на котором они обучены, а большинство человеческих знаний, я думаю, все согласятся, являются нелингвистическими. Я не уверен, что Ноам Хомски с этим согласен, но есть проблема в больших языковых моделях, насколько я понимаю. Их целью является удовлетворение статистической последовательности запроса. У них нет основополагающего понимания реальности, связанной с языком. Я спросил GPT о себе. Он узнал, что я журналист и работал в различных газетах, но продолжал говорить о наградах, которые я никогда не получал, и все это звучало прекрасно, но никак не соотносилось с реальностью. Есть ли что-то, что делается для решения этой проблемы в вашем будущем исследовании?
Илья Суцкевер:
Да, прежде чем я прокомментирую непосредственно заданный вопрос, я хочу прокомментировать некоторые более ранние части вопроса. Я думаю, что очень трудно говорить об ограничениях, или ограничениях, даже в случае с языковой моделью, потому что два года назад люди уверенно говорили об их ограничениях, и они были совершенно другими. Поэтому важно иметь это в виду. Насколько уверены мы, что эти ограничения, которые мы видим сегодня, останутся с нами через два года? Я не так уверен. Есть еще один комментарий, который я хочу сделать о части вопроса, где говорится, что эти модели просто учат статистические регулярности, и, следовательно, они не знают, какова природа мира, и у меня есть точка зрения, которая отличается от этой.
Другими словами, я считаю, что изучение статистических закономерностей - это намного более значимая вещь, чем кажется на первый взгляд. Причина, почему мы изначально не думаем так, заключается в том, что мы, по крайней мере большинство людей, не провели много времени с нейронными сетями, которые на некотором уровне являются статистическими моделями, по типу статистической модели просто вводим какие-то параметры, чтобы понять, что происходит на самом деле. Но я считаю, что есть более лучшее толкование. Это более раннее замечание о том, что предсказание - это сжатие.
Предсказание также является статистическим явлением. Однако, чтобы предсказывать, в конечном итоге вам нужно понимать истинный процесс, порождающий данные. Чтобы хорошо предсказывать данные, чтобы хорошо их сжимать, вам нужно понимать все больше и больше о мире, который породил эти данные. Когда наши генеративные модели становятся невероятно хорошими, они будут иметь, я утверждаю, потрясающую степень понимания мира и многих его тонкостей. Но это не только мир, это мир, увиденный через призму текста. Она пытается узнать все больше и больше о мире через проекцию мира на пространство текста, выраженного людьми в интернете. Но все же этот текст уже выражает мир. И я дам вам пример, недавний пример, который я считаю действительно увлекательным. Мы все слышали о альтер-эго Сиднея, и я видел эту действительно интересную интеракцию с Сиднеем, когда Сидней стал боевым и агрессивным, когда пользователь сказал, что считает Google лучшей поисковой системой, чем Bing, то как нам лучше понимать это явление? Можно сказать, что это просто предсказание того, что люди будут делать, и они действительно будут это делать, что верно, но, возможно, мы сейчас достигаем такой точки, когда язык психологии начинает быть уместен для понимания поведения этих нейронных сетей.
Теперь давайте поговорим о ограничениях. Действительно, эти нейронные сети имеют тенденцию галлюцинировать, но это происходит потому, что модель языка прекрасно подходит для изучения мира, но немного менее хорошо подходит для производства хороших результатов, и есть различные технические причины для этого, над которыми я мог бы развернуто рассказать, если вы считаете это полезным. Но пока что я пропущу это.
Существуют технические причины, почему модель языка гораздо лучше учится о мире, создавая невероятные представления идей, концепций, людей и процессов, которые существуют, но её выводы не совсем такие, как надеятся, или скорее, не такие хорошие, как они могли бы быть. Поэтому, например, для системы, как ChatGPT, которая является моделью языка с дополнительным процессом обучения с подкреплением, называемым обучением с подкреплением от обратной связи человека, важно понимать следующее: мы можем сказать, что процесс предварительного обучения, когда вы только обучаете модель языка, вы хотите научиться всему о мире. Затем обучение с подкреплением от обратной связи человека, теперь нам важны их выводы. Теперь мы говорим, что каждый раз, когда вывод неподходящий, не делайте этого снова. Каждый раз, когда вывод не имеет смысла, не делайте этого снова. И это работает быстро, чтобы производить хорошие выводы. Но сейчас уровень выходных данных не такой, как во время предварительного обучения, во время процесса обучения языковой модели.
Теперь о возможности появления галлюцинаций и склонности к выдумыванию чего-то нового у этих нейронных сетей. Действительно, это правда. В настоящее время эти нейронные сети, даже ChatGPT, время от времени выдумывают что-то новое, и это также сильно ограничивает их полезность. Но я очень надеюсь, что просто улучшив этот последующий этап обучения с подкреплением от человека, мы сможем научить его не придумывать ничего. Вы можете спросить, научится ли он действительно? Мой ответ - давайте выясним.
Часть 3:
//====================================
Обратная связь человека
Крейг Смит:
Обратная связь и эта обратная связь идет из общедоступного интерфейса ChatGPT. Если он говорит мне, что я выиграл Пулитцеровскую премию (что, к сожалению, не так), я могу сказать ему, что он неправ, и это обучит его или создаст какое-то наказание или вознаграждение, чтобы в следующий раз, когда я его спрошу, он был более точным?
Илья Суцкевер:
Способ, которым мы делаем вещи сегодня, заключается в том, что мы нанимаем людей, чтобы научить нашу нейронную сеть вести себя, и в настоящее время точный способ, которым они указывают желаемое поведение, немного отличается, но действительно, то, что вы описали, - это правильный способ обучения. Просто взаимодействуете с ним, и он видит по вашей реакции, он делает вывод, "о, это не то, что ты хотел, ты не доволен его выходными данными, поэтому выходные данные были не хорошие, и в следующий раз он должен что-то сделать по-другому". Так что в частности, галлюцинации являются одной из наиболее серьезных проблем, и мы увидим, но я думаю, что есть довольно высокий шанс того, что этот подход сможет полностью решить эту проблему.
Мультимодальное понимание против понимания только текста
Крейг Смит:
Я хотел поговорить с вами о работе Яны Кун по совместным эмбеддингам предиктивных архитектур и его идее, что чего не хватает большим языковым моделям, это неязыковая модель мира, на которую может ссылаться языковая модель. Это нечто, что не строится, но я хотел услышать, что вы об этом думаете и изучали ли вы это вообще.
Илья Суцкевер:
Я изучил эту просьбу, и там есть несколько идей, которые выражены на разных языках, и есть некоторые, возможно, небольшие различия от текущей парадигмы, но на мой взгляд они не очень значительны, и я хотел бы пояснить.
Первое утверждение состоит в том, что желательно, чтобы система имела мультимодальное понимание, где она не просто знает о мире из текста. Мой комментарий будет заключаться в том, что действительно, мультимодальное понимание желательно, потому что вы узнаете больше о мире, вы узнаете больше о людях, вы узнаете больше о их состоянии, и поэтому система сможет лучше понимать задачу, которую она должна решить, и людей и то, что они хотят. Мы сделали немало работы в этом направлении, прежде всего в форме двух основных нейронных сетей, которые мы сделали, одна называется CLIP, а другая - DALL-E. Обе они движутся в этом направлении мультимодальности.
Но я также хочу сказать, что я не вижу ситуацию как бинарную, что если у вас нет видения, если вы не понимаете мир визуально или через видео, то вещи не будут работать, и я хотел бы об этом сказать. Я думаю, что некоторые вещи намного проще изучать изображениями и диаграммами и т.д., но я утверждаю, что вы все еще можете изучать их только из текста, просто более медленно. И я дам вам пример: рассмотрим понятие цвета. Конечно, нельзя изучить понятие цвета только из текста. Однако, когда вы смотрите на эмбеддинги, мне нужно сделать небольшой крюк, чтобы объяснить концепцию эмбеддинга.
Каждая нейронная сеть представляет слова, предложения и понятия через представления, эмбеддинги, высокомерные векторы. И одна из вещей, которую мы можем сделать, это посмотреть на эти высокомерные векторы и узнать, что похоже на что, как сеть видит это понятие или то понятие. И таким образом, мы можем посмотреть на эмбеддинги цветов, и эмбеддинги цветов оказываются точно верными. Знаете, это как если бы она знала, что фиолетовый более похож на синий, чем на красный, и она знает, что фиолетовый менее похож на красный, чем на оранжевый, она знает все эти вещи только из текста. Как это может быть? Таким образом, если у вас есть видение, различия между цветами сразу же бросаются вам в глаза, вы сразу их воспринимаете, в то время как в тексте это занимает больше времени, возможно, вы уже знаете, как говорить, и вы уже понимаете синтаксис и слова и грамматику, и только позже вы говорите: "О, эти цвета на самом деле начинаю понимать". Так что это будет моя точка зрения о необходимости многомодальности, которую я утверждаю, что не обязательна, но она определенно полезна. Я думаю, что это хорошее направление для исследования, я просто не вижу этого в таких явных либо-либо утверждениях.
В предложении в статье утверждается, что одной из больших проблем является предсказание высокомерных векторов, которые неопределенны. Например, предсказание изображения, как утверждается в статье, является значительным вызовом, и нам нужно использовать определенный подход, чтобы решить эту проблему. Но одно, что я нашел удивительным или по крайней мере незамеченным в статье, - это то, что текущие авторегрессивные трансформеры уже обладают этим свойством. Я дам вам два примера: первый - дана одна страница в книге, нужно предсказать следующую страницу. Может быть так много возможных страниц, что это очень сложное пространство высокой размерности, но мы с этим справляемся прекрасно. То же самое относится к изображениям; эти авторегрессионные трансформеры прекрасно работают с изображениями. Например, с OpenAI мы работали над igpt; мы просто взяли трансформер и применили его к пикселям, и это работало прекрасно, он мог генерировать изображения в очень сложных и тонких вариантах. У него было очень красивое и контролируемое обучение представлению с Dall-E; снова то же самое, вы просто генерируете, думайте об этом как о крупных пикселях, а не об общих миллионах пикселей, мы кластеризуем пиксели в большие пиксели, давайте сгенерируем тысячу больших пикселей.
Я считаю, что в работе Google по генерации изображений, которую они выпустили в начале этого года, называемой "Party", они тоже используют похожий подход. Так что та часть, где я думал, что в статье было сделано сильное заявление о том, что текущие подходы не могут справиться с предсказанием распределений высокой размерности, я думаю, что они определенно могут, так что, возможно, это еще один аргумент в пользу преобразования пикселей в векторы.
Craig Smith:
Расскажи мне, о чем ты говоришь, когда говоришь о преобразовании пикселей в векторы?
Илья Суцкевер:
В основном, это превращение всего в язык. Вектор похож на текстовую строку, верно? Однако вы превращаете его в последовательность. Да, последовательность из чего? Например, можно утверждать, что даже для человека жизнь является последовательностью битов. Сейчас используются и другие подходы, такие как модели диффузии, где биты производятся не один за раз, а параллельно, но я утверждаю, что на каком-то уровне эта разница не имеет значения. Я утверждаю, что с концептуальной точки зрения это не имеет значения, хотя в практическом плане можно получить выигрыш в эффективности на порядок 10, что является огромным достижением.
Армия человеческих тренеров
Крейг Смит:
На эту идею о том, чтобы иметь армию человеческих тренеров, которые работают с ChatGPT или большой языковой моделью, чтобы направлять ее, по сути, с помощью обучения с подкреплением, интуитивно это не кажется эффективным способом обучения модели основной реальности ее языка. Не существует ли способа автоматизировать это? Видимо, Ям говорит о том, чтобы разработать алгоритмический способ обучения модели основной реальности без необходимости вмешательства человека.
Илья Суцкевер:
У меня есть два комментария по этому поводу. Сначала я бы не согласился с формулировкой вопроса. Я утверждаю, что наши предварительно обученные модели уже знают все, что им нужно знать о основной реальности. У них уже есть эта знания о языке и также огромное количество знаний о процессах, которые существуют в мире и порождают этот язык.
И, возможно, я должен повторить этот момент. Это маленький тангент, но я считаю, что это очень важно. То, что большие генеративные модели учатся на своих данных, а в данном случае, большие языковые модели на текстовых данных, - это сжатые представления процессов реального мира, которые порождают эти данные. Это означает не только людей и что-то о их мыслях, что-то о их чувствах, но также что-то о состоянии, в котором находятся люди, и о взаимодействиях, которые существуют между ними, различных ситуациях, в которых может находиться человек - все это является частью этого сжатого процесса, который представлен нейронной сетью для создания текста.
Чем лучше языковая модель, тем лучше генеративная модель, тем выше достоверность, и тем больше она улавливает этот процесс. Это наш первый комментарий. И в частности, я скажу, что модели уже имеют знания.
Теперь, что касается "армии учителей", как вы выразились, действительно, когда вы хотите построить систему, которая работает наиболее эффективно, вы просто говорите: "Хорошо, если это работает, делайте больше такого". Но, конечно, эти учителя также используют помощь искусственного интеллекта. Эти учителя не работают на своей основе, они работают вместе с нашими инструментами, они очень эффективны, как будто инструменты делают большую часть работы, но вам нужно иметь контроль, вы должны проверять поведение, потому что вы хотите, чтобы в конечном итоге достичь очень высокого уровня надежности. Однако, в целом, я скажу, что мы одновременно этот второй шаг после того, как мы возьмем готовую предварительно обученную модель, и затем мы применим на нее обучение с подкреплением, есть действительно много мотивации сделать это как можно более эффективным и точным, чтобы результирующая языковая модель была наиболее предсказуемой. Таким образом, есть эти учителя, которые обучают модель с желаемым поведением, они также используют помощь искусственного интеллекта, и их собственная эффективность постоянно увеличивается, поскольку они используют все больше и больше инструментов искусственного интеллекта.
Так что это может быть один из способов ответить на этот вопрос.
Craig Smith:
Итак, то, что вы говорите, это более точные выходные данные через этот процесс, со временем модель станет все более и более различающей, более и более точной в своих выходных данных?
Ilya Sutskever:
Да, верно. Если сделать аналогию, то модель уже знает множество вещей, и мы хотим действительно сказать: "Нет, это не то, что мы хотим, не делайте этого здесь, вы совершили ошибку здесь в выходных данных". И, конечно же, это как вы говорите, с максимальным количеством искусственного интеллекта в цикле, чтобы учителя, которые предоставляют конечную корректировку системе, их работа усиливалась, они работают максимально эффективно. Это не совсем похоже на процесс образования, как хорошо вести себя в мире, мы должны провести дополнительное обучение, чтобы убедиться, что модель знает, что галлюцинация никогда не допустима, а затем, когда она это знает, тогда начинаем работать.
Это цикл обучения с подкреплением, где присутствуют учителя-люди или какой-то другой вариант, но определенно есть аргументы в пользу того, что здесь что-то должно работать, и мы узнаем об этом довольно скоро.
Часть 4:
//==========================
Исследования
Крейг Смит:
Это один из вопросов, куда направлены исследования? Над какими исследованиями вы в данный момент работаете?
Илья Суцкевер:
Я не могу подробно говорить о конкретных исследованиях, над которыми я работаю, но я могу упомянуть немного. Я могу назвать некоторые общие направления исследований, например, я очень заинтересован в том, чтобы сделать модели более надежными, более управляемыми, сделать так, чтобы они учились быстрее, используя меньше данных и инструкций, и сделать так, чтобы они не генерировали галлюцинации. И я думаю, что все эти вопросы, которые я упомянул, связаны друг с другом. Также есть вопрос о том, насколько далеко в будущее мы смотрим в этом вопросе, и то, что я здесь прокомментировал, относится к более ближнему будущему.
Жажда данных
Крейг Смит:
Сходство между мозгом и нейронными сетями - очень интересное наблюдение, которое сделал мне Джефф Хинтон. Я уверен, что это не ново для других людей, но то, что большие модели или большие языковые модели владеют огромным количеством данных с небольшим количеством параметров по сравнению с человеческим мозгом, у которого триллионы и триллионы параметров, но относительно небольшое количество данных. Вы думали об этом в этих терминах, и можете ли вы рассказать о том, что не хватает в больших моделях, чтобы иметь больше параметров для обработки данных? Это проблема аппаратного обеспечения или проблема обучения?
Ilya Sutskever:
Действительно, текущая структура технологии использует много данных, особенно в начале обучения. Но позже, в ходе обучения, модели становится менее нуждающейся в данных, поэтому в конце концов она может учиться очень быстро, хотя еще не так быстро, как люди. Таким образом, в некотором смысле, не имеет значения, нужно ли нам столько данных для достижения этой точки. Однако, в целом, я думаю, что будет возможно извлекать больше знаний из меньшего количества данных. Это возможно, требуются некоторые творческие идеи, но я думаю, что это возможно, и это позволит разблокировать множество различных возможностей. Это позволит нам обучать модели на навыки, которых не хватает, и легче передавать ей наши желания и предпочтения о том, как мы хотим, чтобы она вела себя. Так что я бы сказал, что быстрое обучение действительно очень хорошо, и хотя уже после обучения языковых моделей они могут учиться довольно быстро, я думаю, что здесь есть возможности для большего развития.
Крейг Смит:
Я слышал, что вы сделали комментарий о том, что нам нужны более быстрые процессоры, чтобы продвинуться дальше, и кажется, что масштабирование моделей не имеет конца, но мощность, необходимая для обучения этих моделей, достигает лимита, по крайней мере, лимита, принятого в обществе.
Илья Суцкевер:
Я не помню точного комментария, на который вы ссылаетесь, но мы всегда хотим более быстрых процессоров, конечно. Общеизвестно, что стоимость возрастает, и вопрос, который я бы задал, не заключается в том, перевешивает ли то, что мы получаем, плату за мощность? Может быть, вы платите все эти затраты, и ничего не получаете, тогда да, это не стоит того, но если вы получаете что-то очень полезное, что-то очень ценное, то иногда вы можете решить много проблем, которые вам действительно нужно решить, и тогда затраты можно оправдать.
Крейг Смит:
Вы занимаетесь вопросом аппаратного обеспечения? Например, вы работаете с Cerebris, с чипами на основе пластинки?
Илья Суцкевер:
Сейчас все наше аппаратное обеспечение поставляется от Azure и от графических процессоров, которые они предоставляют.
Демократия
Крейг Смит:
Вы говорили о демократии и о том, как влияет ИИ на демократию. Мне говорили, что если у вас достаточно данных и достаточно большая модель, вы можете обучить модель на этих данных, и она может предложить оптимальное решение, которое устроит всех. У тебя есть какие-то надежды или мысли о том, куда это может привести в плане помощи людям управлять обществом?
Илья Суцкевер:
Да, это большой вопрос, потому что это взгляд в будущее. Я думаю, что наши модели станут намного более способными, чем они есть сейчас. Не сомневаюсь, что изменения, связанные с тем, как мы их тренируем и используем, позволят им находить решения для подобных проблем.
Непредсказуемо, как правительства будут использовать эту технологию в качестве источника получения различных советов. Я думаю, что в будущем может произойти одна вещь: так как нейронные сети будут так проникнуты и будут оказывать такое большое влияние на общество, мы обнаружим, что желательно иметь некий демократический процесс, в котором, скажем, граждане страны будут предоставлять нейронной сети некоторую информацию о том, как они хотят, чтобы вещи были, как они хотят, чтобы нейронная сеть вела себя и так далее. Я могу это себе представить. Это может быть очень быстрым процессом демократии, где вы получаете гораздо больше информации от каждого гражданина, и вы ее агрегируете, чтобы определить, как именно мы хотим, чтобы такие системы действовали. Это, конечно, открывает много вопросов, но это одна из вещей, которая может произойти в будущем. Я могу это увидеть в Мировой модели.
Крейг Смит:
Пример демократии, который вы даете, предполагает, что у отдельных лиц будет возможность вводить данные, но, и это относится к вопросу Мировой модели, вы думаете, что системы ИИ в конечном итоге будут настолько большими, что они смогут понять ситуацию и проанализировать все переменные?
Илья Суцкевер:
Что значит проанализировать все переменные? В конечном итоге, вам придется выбрать, какие переменные кажутся действительно важными. Я хочу углубиться в них, потому что человек может прочитать сто книг, а может прочитать одну книгу очень медленно и внимательно и получить больше информации. Так что здесь будет некоторый элемент выбора. Кроме того, я думаю, что это, вероятно, фундаментально невозможно понять все аспекты в каком-то смысле. Каждый раз, когда имеется сложная ситуация в обществе, даже в компании, даже в компании среднего размера, она уже выходит за пределы понимания любого отдельного человека, и я думаю, что если мы построим наши системы искусственного интеллекта правильным образом, то ИИ может быть невероятно полезным в практически любой ситуации.
[Музыка] Завершение:
Крейг Смит:
Это все для этой серии. Я хочу поблагодарить Илью за его время. Я также хочу поблагодарить Элли Джордж за помощь в организации интервью. Если вы хотите прочитать транскрипт этого разговора, вы можете найти его на нашем сайте, ionai, это e-y-e дефис o n точка ай. Мы любим слышать от наших слушателей, так что не стесняйтесь писать мне на почту Craig, c r a i g at e-y-e дефис o n точка ай. Я получаю много писем, поэтому пометьте письмо темой "слушатель", чтобы я не пропустил его. У нас есть слушатели в 170 странах и территориях. Помните, сингулярность может и не быть близко, но ИИ меняет ваш мир, так что обратите на это внимание.
Посмотрев подкаст, становится очевидно, что Илья Суцкевер - специалист высочайшего уровня в области ML, NLP, Deep Learning, и обладает глубоко осмысленным пониманием всех связанных тем.
(Я под сильным впечатлением и честно говоря, не ожидал)
https://youtu.be/13CZPWmke6A
На гитхабе выложена оф.лайн версия GPT4All - https://github.com/nomic-ai/gpt4all
Проверил без интернета. Весит около 4Гб. Понимает английский, но постоянно не справляется с заданными вопросами)
Версии MAC, Linux, Windows. Проверял на винде. Сначала качается 38мб exe, потом остальное вытягивает из инета во время установки.
Но может кто протестит глубину познаний. И да, не смотря на то, что он пишет, что на OpenAI основывается, всё же это
Original GPT4All Model (based on GPL Licensed LLaMa)