Генеративный искусственный интеллект
Генеративный искусственный интеллект — это тип системы искусственного интеллекта (ИИ), способной генерировать текст, изображения или другие медиаданные в ответ на подсказки[1][2]. Генеративный ИИ использует генеративные модели, такие как большие языковые модели, для статистической выборки новых данных на основе набора обучающих данных, который использовался для их создания[3].
Известные системы генеративного ИИ включают ChatGPT, YandexGPT — чат-боты, созданный с использованием больших языковых моделей GPT-3 и GPT-4[4] и Bard — чат-бот, созданный Google с использованием модели LaMDA[5]. Другие генеративные модели ИИ включают художественные системы искусственного интеллекта, такие как Stable Diffusion и DALL-E[6].
Генеративный ИИ может применяться в самых разных отраслях, включая разработку программного обеспечения, маркетинг и моду[7][8]. Инвестиции в генеративный ИИ резко выросли в начале 2020-х годов, когда крупные компании, такие как Microsoft, Google и Baidu, а также многочисленные более мелкие фирмы разрабатывали модели генеративного ИИ[1][9][10].
Модальности
Генеративная система искусственного интеллекта строится путём применения обучения без учителя или самообучения ИИ на наборе данных.[] Возможности генеративной системы ИИ зависят от модальности или типа используемого набора данных.
- Текст: генеративные системы ИИ, обученные на словах или словесных токенах, включают GPT-3, LaMDA, LLaMA, BLOOM, GPT-4 и другие (см. Список больших языковых моделей). Они способны к обработке естественного языка, машинному переводу и генерации естественного языка и могут использоваться в качестве базовых моделей для других задач[11]. Наборы данных включают BookCorpus, Wikipedia и другие (см. Список корпусов текстов).
- Код: в дополнение к тексту на естественном языке, большие языковые модели можно обучать на текстах, написанных на различных языках программирования, что позволяет им генерировать исходный код для новых компьютерных программ[12]. Примеры включают OpenAI Codex.
- Изображения: системы генеративного ИИ, обученные на наборах изображений с текстовыми подписями, включают такие, как Imagen, DALL-E, Midjourney, Stable Diffusion и другие (см. Художественные системы искусственного интеллекта, генеративное искусство. Они обычно используются для преобразования текста в изображение и передачи нейронного стиля[13]. Наборы данных включают LAION-5B и другие (см. Наборы данных в компьютерном зрении).
- Молекулы: системы генеративного ИИ можно обучать последовательностям аминокислот или молекулярным представлениям, таким как SMILES, изображающим ДНК или белки. Эти системы, такие как AlphaFold, используются для прогнозирования структуры белков и открытия лекарств[14]. Наборы данных включают в себя различные наборы биологических данных.
- Мультимодальность: генеративную систему ИИ можно построить из нескольких генеративных моделей или одной модели, обученной на нескольких типах данных. Например, одна версия OpenAI GPT-4 принимает ввод как текста, так и изображения[15].
Примечания
- ↑ 1 2 Griffith; Metz, Cade Anthropic Said to Be Closing In on $300 Million in New A.I. Funding. The New York Times (27 января 2023). Дата обращения: 14 марта 2023. Архивировано 14 марта 2023 года.
- ↑ Lanxon, Nate (2023-03-10). "A Cheat Sheet to AI Buzzwords and Their Meanings". Bloomberg News. Архивировано 26 марта 2023. Дата обращения: 14 марта 2023.
- ↑ Andrej Karpathy; Pieter Abbeel; Greg Brockman; Peter Chen; Vicki Cheung Generative models. OpenAI (16 июня 2016). Дата обращения: 3 апреля 2023. Архивировано 3 апреля 2023 года.
- ↑ Metz, Cade (2023-03-14). "OpenAI Plans to Up the Ante in Tech's A.I. Race". The New York Times (англ.). ISSN 0362-4331. Архивировано 31 марта 2023. Дата обращения: 31 марта 2023.
- ↑ Thoppilan, Romal (2022-01-20). "LaMDA: Language Models for Dialog Applications". arXiv:2201.08239.
- ↑ Roose. A Coming-Out Party for Generative A.I., Silicon Valley's New Craze. The New York Times (21 октября 2022). Дата обращения: 14 марта 2023. Архивировано 15 февраля 2023 года.
- ↑ Don't fear an AI-induced jobs apocalypse just yet. The Economist (6 марта 2023). Дата обращения: 14 марта 2023. Архивировано 14 марта 2023 года.
- ↑ Harreis; Koullias, T.; Roberts, Roger Generative AI: Unlocking the future of fashion. Дата обращения: 3 апреля 2023. Архивировано 10 мая 2023 года.
- ↑ The race of the AI labs heats up. The Economist (30 января 2023). Дата обращения: 14 марта 2023. Архивировано 14 марта 2023 года.
- ↑ Yang; Gokturk, Burak Google Cloud brings generative AI to developers, businesses, and governments (14 марта 2023). Дата обращения: 3 апреля 2023. Архивировано 31 марта 2023 года.
- ↑ Bommasani, R; Hudson, DA; Adeli, E; Altman, R; Arora, S; von Arx, S; Bernstein, MS; Bohg, J; Bosselut, A (2021-08-16). "On the opportunities and risks of foundation models". arXiv:2108.07258 [cs.LG].
{{cite arXiv}}: Википедия:Обслуживание CS1 (дата и год) (ссылка) - ↑ Chen, Ming; Tworek, Jakub; Jun, Hongyu; Yuan, Qinyuan; Pinto, Hanyu Philippe De Oliveira; Kaplan, Jerry; Edwards, Haley; Burda, Yannick; Joseph, Nicholas (2021-07-06). "Evaluating Large Language Models Trained on Code". arXiv:2107.03374 [cs.LG].
- ↑ Ramesh, Aditya; Pavlov, Mikhail; Goh, Gabriel; Gray, Scott; Voss, Chelsea; Radford, Alec; Chen, Mark; Sutskever, Ilya (2021). "Zero-shot text-to-image generation". International Conference on Machine Learning. PMLR. pp. 8821—8831.
- ↑ Heaven. AI is dreaming up drugs that no one has ever seen. Now we've got to see if they work. MIT Technology Review. Massachusetts Institute of Technology (15 февраля 2023). Дата обращения: 15 марта 2023. Архивировано 14 марта 2023 года.
- ↑ "Explainer: What is Generative AI, the technology behind OpenAI's ChatGPT?". Reuters. 2023-03-17. Архивировано 30 марта 2023. Дата обращения: 17 марта 2023.
