Интелле́кт или ум — качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение.
Трансгумани́зм — общественный строй, политическая позиция и философская концепция, продвигающие использование достижений науки и технологии для улучшения умственных и физических возможностей человека с целью устранения тех аспектов человеческого существования, которые трансгуманисты считают нежелательными — страданий, болезней, старения и смерти. Трансгуманисты изучают возможности и последствия применения таких технологий, опасности и преимущества их использования, рассматривая в том числе идею конвергенции биологических, информационных, познавательных и нанотехнологий.
Глобальная катастрофа — событие, которое полностью уничтожает возникшую на Земле разумную жизнь или необратимо ограничивает её потенциал.
Machine Intelligence Research Institute — некоммерческая организация, основной целью которой является создание безопасного искусственного интеллекта, а также изучение потенциальных опасностей и возможностей, которые могут появиться при создании ИИ. Организация поддерживает идеи, первоначально выдвинутые Ирвингом Гудом и Вернором Винджем, касательно «интеллектуального взрыва» или сингулярности, и идеи Элиезера Юдковского о создании дружественного ИИ. Юдковский исследует в Институте сингулярности в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку.
Дружественный искусственный интеллект — концепция философии ИИ, гипотетический тип искусственного интеллекта, не оказывающий негативного влияния на человеческую цивилизацию. Многие концепции ДИИ включают утверждение о том, что он не только не будет приносить вреда человечеству, но и будет оказывать материально-информационную поддержку людям, вплоть до полного обеспечения желаний и потребностей каждого отдельно взятого человека. «Дружественный» в данном контексте является техническим термином, который не означает, что ИИ обязательно будет испытывать к человечеству чувства привязанности и близости.
Элие́зер Шло́мо Юдко́вский — американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ. Ключевая фигура сообщества рационалистов.
Мозг-матрёшка — гипотетическая мегаструктура, предложенная Робертом Брэдбери, на основе сферы Дайсона, имеющая огромную вычислительную мощность. Это пример звездной машины класса B, которая использует весь энергетический потенциал звезды, чтобы приводить в действие компьютерную систему. Название концепции происходит от русской деревянной куклы — матрёшки.
Институт будущего человечества — английский междисциплионарный исследовательский центр, функционировавший как часть факультета философии и Школы Мартина Оксфордского университета.
Дэвид Пирс — британский философ-утилитарист, продвигающий идею, предполагающую существование сильного этического императива для людей, работающего для отмены (устранения) страданий в разумной жизни. Его книга интернет-манифест «The Hedonistic Imperative» описывает такие технологии как генная инженерия, нанотехнологии, фармакология и нейрохирургия, которые потенциально могут привести к ликвидации всех форм негативного опыта для людей и животных, для замены страдания и боли в том виде, в каком она существует сейчас, информационно-сигнальными градиентами здоровья и счастья. Эту идею Аболиционисты назвали paradise engineering. Пирс, трансгуманист и веган в третьем поколении, считает, что люди несут ответственность не только за жестокость к животным в пределах человеческого общества, но и за корректировку общей экосистемы, которая поможет животным не страдать в дикой природе.
Гипотеза симуляции — философская гипотеза о том, что окружающая нас реальность является симуляцией. Чтобы симуляция выглядела реалистично для реципиента, программа подстраивается под его восприятие, формируя материальные объекты, разум и сознание реципиента. Главной работой в этой области считается статья Ника Бострома «Доказательство симуляции», опубликованная в 2003 году в журнале «Philosophical Quarterly». Гипотеза симуляции изучается в рамках таких философских направлений, как футурология и трансгуманистическая теория. Кроме того, наработки специалистов по гипотезе симуляции широко используются с начала 1990-х годов в массовой культуре, например, в трилогии фильмов «Матрица».
Андерс Сандберг — исследователь, участник научных дебатов, футуролог, трансгуманист и писатель. Он получил степень доктора философии в вычислительной нейробиологии в Стокгольмском университете, и в настоящее время является научным сотрудником Исследовательского общества Джеймса Мартина в Институте будущего человечества при Оксфордском университете.
Эрик-Густав-Бернхард Бустрём — шведский политический и государственный деятель, дважды премьер-министр Швеции (1891—1900) и (1902—1905).
Этика искусственного интеллекта является частью этики технологий, характерной для роботов и других искусственно интеллектуальных существ. Она обычно подразделяется на робоэтику, которая решает вопросы морального поведения людей при проектировании, конструировании, использовании и лечении искусственно разумных существ и машинную этику, которая затрагивает проблемы морального поведения искусственных моральных агентов (ИМА).
Эбба Бустрём — шведская филантроп и благотворительница, основательница приюта.
Рационалисты составляют современное интеллектуальное движение, выступающее за систематическое применение рационального подхода к познанию и принятию решений, а также утилитаристской этики. На основании этих принципов рационалисты считают необходимым уделять особое внимание рискам глобальных катастроф, в частности и в особенности риску появления сверхразумного искусственного интеллекта.
Проблема контроля искусственного интеллекта — задача в области техники и философии искусственного интеллекта (ИИ). Состоит в том, чтобы создать искусственный сверхразум, который будет полезен людям, и при этом избежать непреднамеренного создания сверхразума, который нанесёт вред. Особенно важно избежать ситуации, при которой искусственный интеллект сможет захватить контроль и сделает невозможным своё отключение. Результаты исследований контроля ИИ могут также найти применение в управлении уже существующими системами ИИ.
Инструментальная сходимость — это гипотетическая тенденция для большинства достаточно разумных существ к достижению сходных промежуточных целей, даже если их конечные цели ощутимо различаются. Такие агенты преследуют инструментальные цели, которые при этом не являются конечными целями. Инструментальная сходимость утверждает, что разумный агент с неограниченными, но на первый взгляд безобидными целями может предпринимать весьма небезопасные действия для их достижения. Например, ИИ с единственной и неограниченной целью решения невероятно сложной математической задачи, такой как гипотеза Римана, может попытаться превратить Землю в гигантский компьютер, в попытке увеличить свою вычислительную мощность, для ее решения.
«Басня о Драконе-Тиране» — это басня о старении и смерти, написанная шведским философом Ником Бустрёмом в 2005 году. В басне показаны страдания, причиняемые драконом-тираном, который требует дань в десятки тысяч людских жизней ежедневно, и людские действия по противодействию ему.
Управление возможностями искусственного интеллекта — ограничения и контроль искусственного интеллекта (ИИ) различными средствами.
Искусственный интеллект. Этапы. Угрозы. Стратегии — книга философа Ника Бострома вышедшая в 2014 году, в которой рассматриваются возможные последствия создания искусственного сверхинтеллекта. Основным посылом книги является экзистенциальный риск связанный с высокой вероятностью выхода из-под контроля искусственного сверхинтеллекта, как системы способной к самоулучшению и достижению промежуточных целей. В отличие от слабого ИИ такую систему станет трудно, или даже невозможно контролировать, что может привести к непредсказуемым последствиям для человеческого вида. В книге рассматриваются такие сценарии как использование сверхразумной системы своей силы для захваты власти и ресурсов, с целью достижения собственных целей. Также рассматриваются варианты при которых будет создан сверхинтеллект работающий на благо человечества.