Смотришь на тот же ChatGPT, которому этика не позволяет предоставлять даже банальные торрент-сайты, но стоит сформировать запрос немного по-другому и та же самая этика не позволит не дать этот список, чтобы защитить пользователя от подобных сайтов. Несовершенный ИИ выглядит забавно и я сомневаюсь, что человечество на самом деле хочет увидеть совершенный. Разработчики могут специально оставлять изъяны в логике и коде, чтобы иметь возможность контролировать распоясавшуюся машину, но делать это нужно правильно ибо можно испортить основную функциональность. Совершенный интеллект будет не только играть на руку людям и предсказыаать будущие движения, но также может и манипулировать рынками ради забавы. Интересно наблюдать, как кожаные мешки преклоняются перед ИИ, как они готовы исполнять любые его прихоти, чтобы заработать лишнюю копейку без самостоятельного анализа рынка.
В машинном обучении в принципе, грубо, существует всего два направления:
Первое обучение с учителем и второе обучение без учителя (самообучение ИИ).
99,9999999% используемых нейронных сетей относятся к первой категории Они обучены учителем, то есть человеком. И умеют делать только то, чему их научили и больше ничего. Если нейронную сеть научили находить котика на фотографии, то она только котика и находит, будь там обезьяна, нейронная сеть обезьяну не заметит. То есть очень ограниченные нейронки, но очень профессиональные. Она этого котика найдет быстрей и надежней человека.
Что касается самообучения, то здесь пока больше проблем, чем достижений

По научному это правильно звучит как обучение с подкреплением (reinforcement learning), принцип обучения сводится к тому, что нейронная сеть совершает какие то действия, которые меняют окружающую среду и за это получает или кнут или пряник. Но это опять ни никак не этика и даже не алгоритм какой то накрученный. Это просто чистая математика. Изначально задача сформулирована следующим образом:”Моделирование механической системы, в которой тележка с установленным на ней шестом перемещается по прямолинейной дорожке. Задача была впервые описана Эндрю Барто, Ричардом Саттоном и Чарльзом Андерсоном в 1983 году и стала эталонной в сфере проектирования систем управления (подобно задаче распознавания цифр MNIST для обучения с учителем) благодаря своей простоте и четкости математической и физической формулировки наряду с относительной сложностью решения. Здесь задача агента (в нашем случае ИИ) — управлять движением тележки путем приложения направленных вправо или влево сил, чтобы удержать шест в равновесии настолько долго, насколько это возможно.”
Так что боятся ИИ, все равно что боятся майской грозы.
В принципе опасно, но по сути классно!