Вышел на замену

С 2018 года отчёт The State of AI Report ежегодно выпускается ИИ-инвесторами Нейтаном Бенаичем и командой Air Street Capital. Его рецензируют более чем 30 экспертов из различных областей индустрии ИИ. Вкратце пересказываем, что можно узнать из отчёта 2023 года, который вышел в октябре.

Отчёт охватывает множество связанных с ИИ тем — от навигации и предсказания погоды до самоуправляемых автомобилей и создания музыки — и выделяет четыре аспекта:

• Исследования
• Бизнес
• Регулирование
• Безопасность

Исследования

2023-й ознаменовался масштабным применением больших языковых моделей (БЯМ), среди которых самым заметным стал преемник GPT3.5 — GPT-4, обученный на текстах и изображениях. GPT-4 сумел обойти все остальные БЯМ как в тестах для ИИ, так и в тестах для человека (особенно в программировании и анализе данных).

Обучение ИИ с применением человеческой обратной связи сейчас занимает центральное место в успешной работе БЯМ. Однако у этой методики есть определённые ограничения. Например, трудно охватить всё многообразие человеческих оценок хороших и плохих ответов, поскольку оценки разнятся в зависимости от культуры и менталитета.

Языковая модель Llama 2 от компании Meta стала доступна бесплатно для исследований и коммерческого использования. Это решение вызвало волну демократизации в сфере использования БЯМ: появились новые модели с открытым исходным кодом, такие как Falcon и Mistral. Однако авторы отчёта отмечают, что большинство пользователей выбирают модель по её популярности в социальных сетях.

В то же время возросшие экономические ставки и соображения безопасности привели к формированию культуры непрозрачности передовых исследований. Компании OpenAI и Google перешли к неразглашению подробной информации о своих передовых моделях — GPT-4 и PaLM-2.

Ключевым элементом успеха БЯМ являются данные. Это ценный ресурс высокого качества, но исследование Epoch AI показывает, что запасы данных, генерируемых человеком, уже на исходе. Это может замедлить прогресс в сфере.

Запасы низкокачественных языковых данных будут исчерпаны к 2030–2050-м годам, высококачественных языковых данных — к 2026 году, а визуальных данных — к 2030-2060-м годам.

Некоторые модели ИИ, в первую очередь Med-PaLM 2 компании Google, демонстрируют растущую роль искусственного интеллекта в медицине, превосходя даже людей-экспертов в решении конкретных задач. Кроме того, отмечается эффективность новейших технологий в диагностике заболеваний.

По мере развития возможностей ИИ по созданию контента растёт спрос на водяные знаки или любую другую маркировку работы ИИ. Например, исследователи из Университета Мэриленда работают над имплементацией тонких водяных знаков в текст, генерируемый языковыми моделями, а система SynthID компании Google DeepMind встраивает цифровые водяные знаки в пиксели изображений.

Сегодня краткосрочные прогнозы осадков довольно нечётки и выполняются медленно. Среднесрочные глобальные прогнозы погоды с использованием точного метода численного прогнозирования требуют больших вычислительных затрат. При решении обеих задач модели ИИ способны повысить производительность в профессиональной метеорологии. Такие модели, как WeatherBench 2 от Google, способствуют разработке метеорологических моделей на основе совокупности данных.

24% — всех корпоративных венчурных инвестиций в 2023 году были направлены в компании, занимающиеся ИИ

Новые модели от Google, Meta и сообщества разработчиков с открытым исходным кодом значительно повышают качество сгенерированной музыки. Модель Riffusion, хотя и не лучшая с точки зрения качества генерируемой музыки, была, пожалуй, самой инновационной. Исследователи доработали Stable Diffusion на изображениях спектрограмм, которые затем преобразуются в аудиоклипы. Впрочем, музыкальные треки, сгенерированные моделью MusicGen от Meta, более мелодичны.

Бизнес

Во втором квартале 2023 года NVIDIA показала рекордный доход от центров обработки данных в размере $10,32 млрд и вошла в клуб компаний с рыночной капитализацией $1 трлн.

Наиболее заметная тенденция — развитие генеративного искусственного интеллекта (GenAI), способного генерировать текст, изображения или другие медиаданные в ответ на подсказки (промпты). Более того, GenAI сыграл решающую роль в стабилизации инвестиций в ИИ в 2023 году. Без GenAI финансирование ИИ значительно сократилось бы.

В этом году ведущими отраслями, которые выиграли от ИИ, стали корпоративное программное обеспечение, финансовые технологии и здравоохранение.

Американские компании Waymo и Cruise получили разрешение на запуск в Сан-Франциско платных услуг круглосуточных поездок без человека-водителя. Ранее платные поездки были возможны только в том случае, если в автомобиле для контроля присутствовал водитель.

Компании массово приобретают облачные вычислительные мощности для масштабного обучения систем ИИ. В 2023 году компании, специализирующиеся на ИИ, привлекают больше капитала по сравнению с другими стартапами.

Регулирование

Великобритания и Индия держатся позиции лёгкого регулирования, инвестируя в безопасность и обеспечивая ранний доступ к передовым моделям ИИ. ЕС и Китай, напротив, принимают законы, предусматривающие жёсткие меры в отношении ИИ. В США нет федерального закона об ИИ, и отдельные штаты принимают собственные нормативные акты. Предстоящие в 2024 году президентские выборы в США вызывают опасения относительно роли ИИ в политике.

Промышленность по производству полупроводников, необходимых для передовых вычислений ИИ, стала центром геополитической напряжённости между США и Китаем, что в будущем отразится на глобальных возможностях в сфере ИИ.

Исследования показывают, что развитие ИИ может вызвать существенное сокращение рабочих мест в таких профессиях, как юриспруденция, медицина и финансы. Однако ИИ также может привести к демократизации знаний и выравниванию условий труда на рабочих местах, требующих высокой квалификации.

Безопасность

Опасения по поводу высокопроизводительных систем искусственного интеллекта побудили американский Институт будущего жизни (Future of Life Institute) составить открытое письмо с призывом приостановить разработку ИИ более мощного, чем GPT-4. Однако пока нет единого мнения о конкретных рисках и временно́м горизонте, в течение которого опасения могут стать актуальными.

Лаборатории ИИ реализуют собственные стратегии снижения рисков: инструментарий для оценки опасных возможностей, политику ответственного масштабирования, обязательства по обеспечению безопасности. Кроме того, в моделях OpenAI есть инфраструктура для обнаружения неправомерного использования и реагирования на него в соответствии с политикой использования.

Продолжаются споры о том, какие модели ИИ более безопасны: с открытым или закрытым исходным кодом. Модели с открытым исходным кодом способствуют исследованиям, но чреваты риском неправомерного использования, в то время как модели с закрытым исходным кодом обеспечивают больший контроль, но не обладают достаточной прозрачностью.

Вместо традиционного трёхфазного обучения исследователи предлагают включать обратную связь с человеком непосредственно в процесс предварительного обучения БЯМ. Этот подход, продемонстрированный на небольших моделях и частично применённый компанией Google в PaLM-2, показал, что он снижает количество генерируемого вредоносного контента.

Новый подход основан на наборе руководящих принципов и минимальной обратной связи. Модели сами генерируют критические замечания и правки, которые используются для дальнейшей настройки. Потенциально это решение может быть лучше, чем применение человеческой обратной связи, поскольку позволяет избежать взлома. В то же время ещё не решена проблема, связанная с созданием подсказок, обходящих протоколы безопасности.

Прогнозы на ближайший год

• В голливудском кино для создания визуальных эффектов будет использоваться ИИ.
• В отношении медиакомпании, использующей ИИ, начнут расследование о неправомерном использовании ИИ в ходе выборов в США в 2024 году.
• IPO-рынок в сфере технологий выходит из стагнации, будет как минимум один крупный листинг, ориентированный на ИИ.
• Увлечение масштабированием ИИ приведёт к тому, что на обучение одной крупномасштабной модели группа компаний будет тратить более $1 млрд.
• В связи со значительным ростом рабочих нагрузок и затрат на вычисления, крупная компания, специализирующаяся на ИИ (например, OpenAI), приобретает компанию, специализирующуюся на производстве чипов ИИ.
• Созданная ИИ песня попадает в топ-10 Billboard Hot 100 или в топ-хиты Spotify 2024.