ChatGPT и другие модели генеративного ИИ в последнее время набирают популярность, но стоимость их использования может быть непомерно высокой. Это стало ясно, когда популярность небольшого стартапа Latitude выросла благодаря его игре в подземельях с искусственным интеллектом, которая генерирует фантастические истории на основе пользовательского ввода. Генеральный директор Ник Уолтон обнаружил, что стоимость поддержки программного обеспечения для текстовых ролевых игр продолжает расти по мере того, как в игру играет все больше пользователей. Генерация текста в AI Dungeon была основана на языковой технологии Microsoft GPT, разработанной OpenAI. Кроме того, контент-маркетологи использовали игру для создания рекламы, что также повлияло на счет Latitude за ИИ.
По словам Уолтона, в 2021 году компания тратила почти 200 000 долларов в месяц на программное обеспечение для генеративного искусственного интеллекта OpenAI и Amazon Web Services, чтобы справиться с миллионами пользовательских запросов, которые ей приходилось обрабатывать каждый день. «Мы шутили, что у нас есть работники-люди и работники с искусственным интеллектом, и мы тратим примерно одинаково на каждого из них», — сказал Уолтон. «Каждый месяц мы тратили сотни тысяч долларов на искусственный интеллект, и мы не являемся крупным стартапом, поэтому это было очень дорого».
В конце 2021 года, чтобы сократить расходы, Latitude перешла на более дешевое, но все же функциональное языковое программное обеспечение от AI21 Labs. Кроме того, компания интегрировала в свои сервисы бесплатные языковые модели с открытым исходным кодом. В результате ежемесячные счета компании за ИИ упали до менее 100 000 долларов. Теперь Latitude взимает со своих игроков ежемесячную подписку на расширенные функции искусственного интеллекта, чтобы покрыть расходы.
Дорогие счета Latitude за ИИ показывают, что стоимость разработки и поддержки генеративных технологий ИИ может быть непомерно высокой как для компаний, разрабатывающих базовые технологии, так и для тех, кто использует ИИ для запуска своего собственного программного обеспечения. Это неудобная реальность для отрасли, поскольку крупные компании, такие как Microsoft, Meta и Google, используют свой капитал, чтобы добиться технологического лидерства, с которым не могут сравниться более мелкие претенденты. Если маржа для приложений ИИ будет постоянно меньше, чем предыдущая маржа для программного обеспечения как услуги (SaaS) из-за высоких затрат на вычисления, это может смягчить текущий бум.
Высокая стоимость обучения и «логического вывода» — фактического запуска моделей ИИ — на больших языковых моделях — это структурная стоимость, отличная от предыдущих вычислительных бумов. Даже после того, как программное обеспечение построено или обучено, оно все еще требует огромной вычислительной мощности для запуска больших языковых моделей, поскольку они выполняют миллиарды вычислений каждый раз, когда возвращают ответ на запрос. Для сравнения, стоимость развертывания и обслуживания программного обеспечения исторически была сравнительно низкой.
Несмотря на эти проблемы, спрос на генеративные технологии искусственного интеллекта остается высоким, поскольку они могут помочь компаниям создавать новые продукты и работать более эффективно. Отрасль работает над снижением стоимости использования технологий искусственного интеллекта за счет разработки более энергоэффективного оборудования и внедрения новых алгоритмов и архитектур, требующих меньшей вычислительной мощности. Кроме того, сообщество открытого исходного кода может помочь, предоставив бесплатные модели и инструменты ИИ.
В целом, технология искусственного интеллекта все еще находится в стадии разработки, и высокая стоимость — это проблема, которую компании и разработчики должны преодолеть, чтобы успешно внедрить эту технологию. Ожидается, что со временем затраты будут снижаться, поскольку отрасль продолжает внедрять инновации и разрабатывать более эффективные решения.
Модели обучения ИИ - Стоимость обучения!
По оценкам аналитиков и технологов, обучение больших языковых моделей, таких как OpenAI GPT-3, может стоить более 4 миллионов долларов. По словам Роуэна Каррана, аналитика Forrester, специализирующегося на искусственном интеллекте и машинном обучении, обучение более продвинутых моделей может стоить даже «высокие однозначные миллионы».
Meta недавно выпустила свою самую большую модель LLaMA, обученную на 2048 графических процессорах Nvidia A100 для обучения 1,4 триллиона токенов (примерно 750 слов — это примерно 1000 токенов). Обучение заняло около 21 дня и потребовало около 1 миллиона часов GPU. При специальной цене AWS обучение обойдется более чем в 2,4 миллиона долларов. Хотя модель с 65 миллиардами параметров меньше, чем текущие модели GPT в OpenAI, такие как ChatGPT-3 со 175 миллиардами параметров, это все же дорогое удовольствие.
По словам Клемана Деланга, генерального директора стартапа в области искусственного интеллекта Hugging Face, обучение большой языковой модели Bloom заняло более двух с половиной месяцев и потребовало доступа к суперкомпьютеру, который был «примерно эквивалентен 500 графическим процессорам». Он подчеркнул, что организации, создающие большие языковые модели, должны быть осторожны при переобучении своих моделей для улучшения их возможностей, поскольку это очень дорого.
Деланге отметил, что важно понимать, что эти модели не тренируются все время, как это происходит каждый день. Некоторые модели, такие как ChatGPT, могут не знать о последних событиях. Деланг также подчеркнул, что знания ChatGPT заканчиваются в 2021 году.
В настоящее время Hugging Face проводит обучение для второй версии Блума, которая будет стоить не более 10 миллионов долларов. Однако Деланг сказал, что они не хотят проводить такие тренировки каждую неделю.
Вывод: дорогой процесс при использовании текстовых генераторов ИИ.
Инженеры используют обученные модели машинного обучения для прогнозирования или генерации текста с помощью метода «логического вывода». Этот процесс может быть значительно дороже, чем обучение модели, поскольку для популярного продукта его может потребоваться запустить миллионы раз. Для такого популярного продукта, как ChatGPT, с примерно 100 миллионами активных пользователей в месяц в январе исследователь Карран подсчитал, что OpenAI, возможно, потратил 40 миллионов долларов на обработку миллионов запросов в течение месяца.
Затраты резко возрастают, когда эти инструменты используются миллиарды раз в день. По оценкам финансовых аналитиков, для чат-бота Microsoft Bing AI, основанного на модели OpenAI ChatGPT, потребуется не менее 4 миллиардов долларов на инфраструктуру, чтобы предоставлять ответы всем пользователям Bing.
Latitude, стартап, который получает доступ к языковой модели OpenAI, не должен был платить за обучение модели, но учитывал стоимость логического вывода, которая, по словам представителя компании, составляла около «полцента за вызов» с учетом «пары миллионов запросов в день». Карран считает, что его расчеты довольно консервативны.
Чтобы подпитывать нынешний бум ИИ, венчурные капиталисты и технологические гиганты вкладывают миллиарды долларов в стартапы, специализирующиеся на генеративных технологиях ИИ. Например, по сообщениям СМИ, в январе Microsoft инвестировала до $10 млрд в OpenAI, которая курирует GPT. Подразделение венчурного капитала Salesforce Ventures недавно привлекло фонд в размере 250 миллионов долларов для поддержки стартапов в области генеративного ИИ.
Многие предприниматели видят риски в том, чтобы полагаться на потенциально субсидируемые модели ИИ, которые они не контролируют и платят только за использование. Суман Кануганти, основатель personal.ai, чат-бота в бета-режиме, советует предпринимателям не полагаться исключительно на большие языковые модели, такие как OpenAI или ChatGPT. Такие компании, как корпоративная технологическая фирма Conversica, изучают, как использовать эту технологию с помощью облачной службы Microsoft Azure по сниженной цене. Генеральный директор Conversica Джим Каскейд отказался комментировать затраты стартапа, но подчеркнул, что субсидируемые затраты приветствуются, поскольку они изучают, как можно эффективно использовать языковые модели.
Будущее развития ИИ: вызовы и возможности
Неясно, останется ли высокая стоимость разработки ИИ в отрасли. Базовые компании, производители полупроводников и стартапы видят возможности для бизнеса в снижении стоимости владения программным обеспечением ИИ.
Nvidia, которой принадлежит около 95% рынка чипов ИИ, продолжает разрабатывать более мощные версии, специально предназначенные для машинного обучения. Однако в последние годы рост производительности чипов в отрасли замедлился.
Тем не менее, генеральный директор Nvidia Дженсен Хуанг считает, что через 10 лет ИИ станет «в миллион раз» эффективнее. Усовершенствуются не только чипы, но и программное обеспечение и другие компоненты компьютера. «Закон Мура в расцвете сил дал бы 100-кратное увеличение за десятилетие», — сказал Хуан на конференции по доходам в прошлом месяце. «Разрабатывая новые процессоры, системы, межсоединения, фреймворки и алгоритмы, а также сотрудничая с учеными и исследователями ИИ для разработки новых моделей, мы ускорили обработку больших языковых моделей в миллионы раз».
Некоторые стартапы сосредоточились на высокой стоимости ИИ как на возможностях для бизнеса. D-Matrix разработала систему, позволяющую сэкономить деньги на выводах, выполняя больше обработки в памяти компьютера, чем на графическом процессоре. Основатели считают, что графические процессоры дороги и не предназначены для получения прибыли. Деланге, генеральный директор HuggingFace, считает, что большему количеству компаний будет лучше, если они сосредоточатся на небольших конкретных моделях, которые дешевле обучать и эксплуатировать, чем большие языковые модели.
В прошлом месяце OpenAI снизила стоимость доступа к своим моделям GPT. Сейчас это стоит пятую часть цента примерно за 750 слов вывода. Более низкие цены на OpenAI привлекли внимание производителя подземелий с искусственным интеллектом Latitude. Генеральный директор Latitude Ник Уолтон сказал, что решение OpenAI сократить расходы позволит им предложить еще большему количеству пользователей доступ к их удивительным историям, созданным ИИ.
В целом, будущее развития ИИ будет зависеть от многих факторов, включая стоимость, наличие квалифицированных рабочих, достижения в области технологий и нормативно-правовую базу. Однако по-прежнему ясно, что развитие ИИ будет играть решающую роль во многих отраслях в ближайшие годы и что компании, инвестирующие в эту технологию на раннем этапе, могут получить решающее конкурентное преимущество.