Это замечательная история, но она может быть неправдой. Суцкевер утверждает, что купил первые графические процессоры онлайн. Но такое мифотворчество – обычное дело в этом шумном бизнесе. Сам Суцкевер более скромен: «Я думал, что если бы мне удалось добиться хоть малейшего реального прогресса, я бы посчитал это успехом», — говорит он. «Воздействие на реальный мир ощущалось так далеко, потому что компьютеры тогда были такими ничтожными».
После успеха AlexNet в компанию постучался Google. Она приобрела дочернюю компанию Хинтона DNNresearch и наняла Суцкевера. В Google Суцкевер показал, что возможности глубокого обучения по распознаванию образов могут быть применяется к последовательностям данных, такие как слова и предложения, а также изображения. «Илья всегда интересовался языком», — говорит бывший коллега Суцкевера Джефф Дин, который сейчас является главным научным сотрудником Google: «На протяжении многих лет у нас были отличные дискуссии. У Ильи сильное интуитивное представление о том, куда все может пойти».
Но Суцкевер пробыл в Google недолго. В 2014 году его пригласили стать соучредителем OpenAI. Опираясь на 1 миллиард долларов (от Альтмана, Илона Маска, Питера Тиля, Microsoft, Y Combinator и других) плюс огромную дозу чванства Кремниевой долины, новая компания с самого начала нацелилась на разработку искусственного интеллекта, перспективу, к которой мало кто относился серьезно. в то время.
С Суцкевером на борту, мозгами, стоящими за деньгами, чванливость была понятна. До этого момента он был в восторге, получая все больше и больше от нейронных сетей. Его репутация опередила его, сделав его главной добычей, говорит Далтон Колдуэлл, управляющий директор по инвестициям Y Combinator.
«Я помню, как Сэм (Альтман) называл Илью одним из самых уважаемых исследователей в мире», — говорит Колдуэлл. «Он думал, что Илья сможет привлечь много талантливых специалистов в области ИИ. Он даже упомянул, что Йошуа Бенджио, один из ведущих мировых экспертов в области искусственного интеллекта, считает, что вряд ли можно найти лучшего кандидата, чем Илья, на должность ведущего ученого OpenAI».
И все же поначалу OpenAI застрял. «Был период времени, когда мы запускали OpenAI, и я не был точно уверен, как будет продолжаться прогресс», — говорит Суцкевер. «Но у меня было одно очень четкое убеждение: нельзя делать ставку против глубокого обучения. Каким-то образом каждый раз, когда вы сталкиваетесь с препятствием, в течение шести месяцев или года исследователи находят способ его обойти».
Его вера окупилась. Первая из больших языковых моделей OpenAI GPT (название расшифровывается как «генеративный предварительно обученный преобразователь») появилась в 2016 году. Затем появились GPT-2 и GPT-3. Затем DALL-E, потрясающая модель преобразования текста в изображение. Никто не строил ничего лучше. С каждым выпуском OpenAI поднимала планку того, что считалось возможным.
Управление ожиданиями
В ноябре прошлого года OpenAI выпустила бесплатного чат-бота, который обновил некоторые существующие технологии. Это перезагрузило повестку дня всей отрасли.