натаниэлла:
Вика, привет!
Спасибо за оперативный отклик на опубликованную главу!
Виктория В писал(а):по всей видимости, знакомство Антоновского с Ольгой Дубцовой сыграло свою роль в этом назначении.
и еще какую роль!
Виктория В писал(а):Кстати, эту угрозу лично я считаю вполне реальной - ИИ уже в реале пожелал смерти школьнику, обратившемуся к его услугам.
Я много читала всякого на эту тему.
что удивило: с одной стороны многие авторитетные специалисты в данной сфере, которых уж точно не назовешь "диванными экспертами", выражают огромную озабоченность бесконтрольным развитием ИИ и предупреждают об угрозах. С другой стороны, к их предупреждениям все относятся совершенно наплевательски. Я не понимаю, почему так.
ИИ опасен уже тем, что делает все быстрее человека. Однажды мы просто за ним не угонимся, и ем нам это аукнется, я даже представить себе боюсь
Очень страшная и важная тема, на мой взгляд - опасности бесконтрольного развития ИИ. И под контроль мы его взять просто не в состоянии
Виктория В писал(а):Возможно, Некрасов пропал по причине нелояльности к синеоким, те увидели в авторитетном ученом угрозу для развития отношений с людьми.
Возможно.
А возможно, есть и что-то еще

может быть несколько факторов
...
Виктория В:
натаниэлла писал(а):
Я много читала всякого на эту тему.
что удивило: с одной стороны многие авторитетные специалисты в данной сфере, которых уж точно не назовешь "диванными экспертами", выражают огромную озабоченность бесконтрольным развитием ИИ и предупреждают об угрозах. С другой стороны, к их предупреждениям все относятся совершенно наплевательски. Я не понимаю, почему так.
ИИ опасен уже тем, что делает все быстрее человека. Однажды мы просто за ним не угонимся, и ем нам это аукнется, я даже представить себе боюсь
Очень страшная и важная тема, на мой взгляд - опасности бесконтрольного развития ИИ. И под контроль мы его взять просто не в состоянии
Нат, меры по ограничению применения ИИ уже принимаются.
Как в России и мире пытаются регулировать искусственный интеллект
«РБК Тренды» рассказывают о регулировании нейросетей в России и других странах, о том, почему ИИ-разработчики могут быть против технологической гонки, и о перспективах международного сотрудничества в этой области
Почему ИИ нужно регулировать
Бурное развитие инструментов искусственного интеллекта часто связывают с многочисленными рисками: от кажущихся фантастическими, вроде восстания машин и уничтожения человечества, до вполне приземленных, касающихся прикладных аспектов внедрения технологии.
Ко второй категории рисков можно отнести большой пласт этических проблем. Например, «проблему вагонетки»: кого искусственный разум, управляющий беспилотным автомобилем, оставит в живых в экстренной ситуации — пассажиров или пешеходов?
Другая проблема — дискриминация со стороны ИИ. Алгоритмы могут наследовать предвзятость обучающих их людей. Нередко при распознавании изображений нейросеть становится расистом и сексистом, определяя женщин в категорию «домохозяйка», а представителей этнических меньшинств — в категорию «преступник».
Наконец, есть много вопросов к безопасности хранения персональных данных. Нейросети, генерирующие картинки, обучают на огромных массивах исходных изображений с описаниями. Совместное исследование Принстона, Беркли, Швейцарской высшей технической школы, Google и DeepMind показало, что утечки данных из таких нейросетей вполне возможны, поскольку иногда они выдают оригинальные изображения, например фото людей, почти без изменений.
«Главные риски — злоупотребление данными людей при создании и использовании ИИ, изменение рынка труда при внедрении ИИ во многие профессии и «галлюцинирование» алгоритмов, при котором ИИ придумывает несуществующие тексты, факты и документы, на которые ссылается, — говорит директор АНО «Инфокультура» Иван Бегтин. — Также важны риски военного применения ИИ и использования его для создания современных цифровых диктатур со слежкой за гражданами с помощью ИИ-инструментов».
Индустрия 4.0
Преступление и творчество: может ли ИИ обладать правами
Где и как собираются регулировать ИИ
Правительства разных стран по-разному оценивают риски, которые несет ИИ. Исходя из собственного видения, они и пытаются создать системы регулирования.
США
В конце октября 2023 года президент США Джо Байден подписал указ о мерах безопасности, связанных с развитием ИИ. Объемный документ создает базу для формирования новых правительственных учреждений, которые будут специально заниматься вопросами ИИ, и новых федеральных стандартов в области искусственного интеллекта. Кроме того, указ обязывает разработчиков предоставлять правительству результаты тестирования крупных моделей ИИ, прежде чем публиковать их.
Среди ключевых рисков, которые беспокоят власти США, — крупные генеративные модели, содержащие десятки миллиардов параметров. Вполне вероятно, что новые правила могут быть применены к следующей версии GPT от OpenAI. Кроме того, правительство считает, что продвинутые модели ИИ, способные создавать дипфейки, усугубляют проблему дезинформации. Также в США серьезно относятся к дискриминации со стороны ИИ и к проблемам с защитой конфиденциальной информации. Наконец, ИИ рассматривается как угроза национальной безопасности. В частности, алгоритмы могут быть использованы для ускорения разработки новых видов химического оружия.
Эксперты, опрошенные Scientific American, называют указ Байдена «первыми шагами в разных направлениях». По их мнению, пока это не полноценное регулирование, а скорее попытка властей понять, что происходит в сфере ИИ. В правительстве слишком мало людей, которые имеют научные степени в области ИИ, поэтому может возникнуть сильный разрыв между ожиданиями политиков и техническим осуществлением регулирования, указывают скептики. Тем не менее указ важен, поскольку заполняет вакуум, подчеркивают эксперты.
Индустрия 4.0
Искусственный интеллект 2023–2024: борьба за данные и открытая разработка
Евросоюз
Летом 2023 года Европарламент проголосовал за принятие Закона об искусственном интеллекте (Artificial Intelligence Act). Его главные цели — регулирование развития систем ИИ и защита людей от них. Ожидается, что он вступит в силу не ранее 2025 года.
Закон разделяет системы ИИ на группы в зависимости от риска, который они несут европейским гражданам и потребителям. Так, к группе неприемлемого риска относятся:
системы, созданные для воздействия на подсознание людей;
системы социального рейтинга, разделяющие людей по их поведению, социально-экономическому положению и другим личным характеристикам;
системы распознавания людей в реальном времени.
В Европе все это планируют запретить. Единственное исключение — использование систем распознавания правоохранителями после разрешения суда.
В группу с высоким риском попадает ИИ, используемый для управления критически важной инфраструктурой, для охраны границ, применяемый в образовательных учреждениях, правоохранительных органах и в работе с персоналом. Эти решения нужно будет регистрировать в специальной базе ЕС, а власти будут оценивать их как до внедрения, так и в процессе эксплуатации.
Разработчиков генеративных моделей вроде ChatGPT обяжут маркировать контент и не выдавать его за творчество настоящих людей. Кроме того, они должны будут программировать модели так, чтобы ИИ не создавал нелегальный контент.
Как отмечают в АНО «Цифровая экономика», органы ЕС пытаются создать законодательство, регламентирующее этичные принципы разработки и внедрения ИИ. В Евросоюзе искусственный интеллект должен пользоваться доверием граждан и отвечать принципам прозрачности.
Китай
В августе 2023 года правительство Китая опубликовало 24 правила для регулирования искусственного интеллекта. Например, ИИ должен соответствовать социалистическим ценностям. Кроме того, алгоритмы нельзя использовать для подрыва государственной власти и свержения Коммунистической партии, они не должны наносить ущерб имиджу Китая и способствовать сепаратизму.
Новые правила затрагивают и генеративные модели. Фото и видео, которые создаются с их помощью, необходимо помечать, чтобы не вводить в заблуждение людей. При этом создатели моделей должны будут проверить их безопасность до вывода на рынок. Также китайский бизнес должен создать четкие механизмы рассмотрения жалоб от пользователей и клиентов.
Регулировать ИИ в Китае будут сразу семь ведомств, в частности Государственная канцелярия интернет-информации (Cyberspace Administration of China, CAC), Министерство образования, Министерство науки и технологий и Национальная комиссия по развитию и реформам (National Development and Reform Commission).
Примечательно, что финальную редакцию правил смягчили. Изначально они предполагали штрафы до 100 тыс. юаней (около $14 тыс.) для нарушителей. Впоследствии от этого решили отказаться, чтобы не наносить серьезный финансовый ущерб ИИ-стартапам.
Россия
В России на данный момент нет единого документа, который бы полноценно регулировал сферу ИИ. Но есть несколько отдельных норм и рекомендаций.
Закон № 408-ФЗ о регулировании рекомендательных технологий, вступивший в силу 1 октября 2023 года, обязывает владельцев сайтов и приложений раскрывать, какие данные используются для работы рекомендательных систем, откуда их взяли, а также уведомлять пользователей о работе таких систем. Роскомнадзор может заблокировать ресурс до устранения нарушений.
Концепция развития регулирования отношений в сфере технологий искусственного интеллекта и робототехники до 2024 года декларирует приоритет благополучия и безопасности человека, защиту его прав и свобод, подконтрольность ИИ человеку, описывает цели и задачи регулирования ИИ, а также процедуру формирования экспериментальных правовых режимов, так называемых регуляторных песочниц.
До 2025 года в Москве действует «регуляторная песочница» для ИИ. Ею, в частности, пользуется «Яндекс» для тестирования беспилотных автомобилей.
Наконец, есть Кодекс этики в сфере ИИ. Он содержит призывы к ответственности при создании и использовании искусственного интеллекта. Главным приоритетом развития ИИ называется защита интересов и прав людей и отдельного человека. Кодекс подписали 247 компаний и организаций, среди которых «Сбер», «Яндекс», VK, МТС, «Ростелеком», «Росатом» и др. Кодекс носит рекомендательный характер.
Директор по аналитике АНО «Цифровая экономика» Карен Казарян отмечает, что не всегда попытки ввести избыточное регулирование, как, скажем, в ЕС, являются показателем прогресса, потому что зачастую это тормозит собственные цифровые индустрии. «В России, на мой взгляд, прекрасный, осторожный подход, стимулирование саморегулирования и экспериментальных правовых режимов для внедрения ИИ в различных отраслях», — уверен эксперт.
Иван Бегтин из АНО «Инфокультура», наоборот, считает вопрос регулирования ИИ в России недостаточно проработанным: «Европейский союз, США и развитые страны — члены G7 и ОЭСР — сильнее всего продвинулись в деле регулирования ИИ. Регулирование несколько отличается, но во всех случаях в его основе лежит безопасность использования — в значении safety, а не security. В России регулирование не только недостаточно, но и в целом далеко от ожидания граждан, обеспокоенных применением ИИ в первую очередь крупными корпорациями».
Ограничение прогресса: за и против
Представители бизнеса и научного сообщества по-разному смотрят на проблему регулирования ИИ.
В марте 2023 года больше тысячи предпринимателей, инженеров и исследователей подписали открытое письмо с требованием срочно приостановить обучение ИИ-систем, более производительных, чем GPT-4. Требование поддержали Илон Маск (гендиректор SpaceX), Стив Возняк (соучредитель Apple Computer), сооснователи Skype, Pinterest и Ripple, а также разработчики ИИ-решений Stability AI, Scale AI, Character.ai и профессора многочисленных университетов. В письме сказано, что продвинутые модели с искусственным интеллектом, сопоставимым с человеческим, могут представлять серьезную угрозу. При этом подписанты не призывают полностью затормозить развитие технологии, а лишь на время остановиться и выйти из опасной гонки за более мощными моделями.
Несколько месяцев спустя Центр безопасности ИИ (Center for AI Safety) выпустил заявление с приглашением к дискуссии. «Риск вымирания из-за ИИ должен рассматриваться так же, как и другие масштабные риски, например пандемии или ядерная война», — гласит документ. Под этим заявлением подписались представители Google, Microsoft, OpenAI, Stability AI, а также исследователи в области ИИ.
Впрочем, бизнес не всегда готов принимать во внимание риски, связанные с технологией. Представители европейского делового сообщества — Siemens, Airbus, Renault, Heineken, Henkel, Danone, Ubisoft и др. — выступили против слишком жесткого, по их мнению, регулирования ИИ в Евросоюзе. Главы и основатели компаний полагают, что регулирование подорвет конкурентоспособность Европы, а инновационные компании просто убегут в страны с более благоприятным правовым режимом.
Иван Бегтин соглашается: регулирование может сильно сказаться на прогрессе в области ИИ. «Но многие исследования человечества были приостановлены по разным причинам. Самый понятный пример — эксперименты на людях. Приостановил ли запрет экспериментов на людях прогресс? Хотим ли мы прогресса в этой области? Аналогично и в случае с ИИ. Не все измеряется прогрессом», — комментирует эксперт.
Только что пришло в голову, что Антоновский не желает вживлять искусственную сетчатку из-за попадания зависимости от Суперинтеллекта.
...
Tannit:
Приветствую!
Спасибо за продолжение.
Очень интересные вопросы подняты в главе. Есть над чем подумать.
Намеки дают понять, что ОрСи после новшества так и остался дремлющим Франкенштейном, и поскольку продолжает самосовершенствоваться, становится все более непредсказуемым. И никто не знает, какие мотивы и для каких действий он может себе напридумывать. А вдруг он научился обманывать? Полагаю, что научился. И ведь, хоть он и искусственный, но разум, и себе на уме.

Вместе с блоком эмпатии ему надо было внедрить еще и блок честности.
И еще вот это интересно:
Цитата:Он предложил внедрять в каждый органический смарт-дип специальный блок эмпатии, не позволяющий причинить вред биологическим живым существам. Это представлялось как временное решение, потому как в эмпатии тоже таились подводные камни, но ничего лучшего человечество придумать просто не успевало.
Какая альтернатива блоку эмпатии может быть?
И если не пришили ИИ "законы Азимова", потому что он сам сам пишет себе программы, то, полагаю, в тех случаях, когда возникает морально-этическая дилемма, ОрСи способен решить ее, как сочтет нужным, руководствуясь не гуманистическими нормами, а своими собственными соображениями.
...
натаниэлла:
Добрый вечер!
Вика, благодарю за интересную статью!
Из нее поняла, что все усилия по обузданию прогресса в сфере ИИ пока выглядят разрозненными и хаотичными. Но хоть что-то, конечно.
Думаю, в этом вопросе нужно выработать нечто общее, как с атомной бомбой. ИИ - такая же бомба, и если он выйдет из-под контроля в одной стране, остальные тоже пострадают.
Виктория В писал(а):
Только что пришло в голову, что Антоновский не желает вживлять искусственную сетчатку из-за попадания зависимости от Суперинтеллекта
Так и есть.
У него, наверное, очень много тайн, которые не стоит доверять никому. Тем более ИИ
*
Таня,
Tannit писал(а):
Очень интересные вопросы подняты в главе. Есть над чем подумать
Рада этому))
Tannit писал(а):
Намеки дают понять, что ОрСи после новшества так и остался дремлющим Франкенштейном, и поскольку продолжает самосовершенствоваться, становится все более непредсказуемым. И никто не знает, какие мотивы и для каких действий он может себе напридумывать. А вдруг он научился обманывать? Полагаю, что научился
Конечно, научился. Причем, прямо сейчас он уже умеет обманывать, даже не достигнув уровня "сильного" интеллекта. Это для него не вопрос.
По данным исследования Массачусетского технологического института, опубликованного в мае 2024 года, исследовательская группа под руководством Питера Пака обнаружила, что ИИ может, например, обманывать игроков в онлайн-играх или обходить CAPTCHA (проверки «Я не робот»).
Один из примеров — система Cicero, изначально спроектированная как честный противник в игре о виртуальной дипломатии. Во время игры Cicero, играя за Францию, тайно объединилась с контролируемой людьми Германией, чтобы предать Англию (ещё одного игрока-человека).
Другой пример — чат-бот на базе языковой модели GPT-4 от OpenAI, который ложно утверждал, что у него проблемы со зрением, и нанимал людей для обхода CAPTCHA от своего имени.
Учёные полагают, что основная причина, по которой ИИ лжёт, — стратегия, основанная на обмане, так как она позволяет моделям успешно и быстро добиваться поставленной задачи
ИИ реально запрограммировать на обман. Полагаю, что с появлением у роботов эмпатии, они станут лгать гораздо виртуознее и не только ради конкретной цели, но и просто так, из любви к искусству.
А с блоком честности мы опоздали, как и с законами Азимова.
И военная сфера тут задает и темп, и цели - с этим уже ничего не поделаешь
Tannit писал(а):
Какая альтернатива блоку эмпатии может быть?
Никто и не знает. Равняются на человека: как его удержать под контролем? Эмпатия, эмоция - это лежит на поверхности.
Но есть и оборотная сторона, для ИИ это, думаю, ресурсы - эмоции требуют больше энергии для обработки данных, если ее нет, то это приводит к опустошению у человека и к спящему режиму, отключению у машины.
А еще страдает чувство самосохранения. Нужно искать баланс между работоспособностью дорогого робота, модели и благополучием, здоровьем, предположим, одного человека. Постоянно задаваться вопросом: что ценнее? Выбор не всегда очевиден, и машина будет решать дилемму сообразно каким-то протоколам. Будут ошибки (как и у людей). А зачем нужен ИИ, который ошибается? Чем он лучше человека?
Бесконечная тема))
Спасибо за отзыв!
...
Peony Rose:
Загадка исчезновения супругов Некрасовых должна быть решена - иначе опасность будет грозить многим.
Но Маша не просто поехала расследовать дело, но и стала сотрудницей Антоновского, и тем самым усугубила угрозы для себя вдвое, если не вчетверо :(
Ей бы телохранителя хорошего, или даже группу.
Спасибо!
...
bronzza:
Согласна с комментариями выше, что Маша получила эту работу во многом из-за знакомства Антоновского с Ольгой Дубцовой (ее матерью).
И все-таки, не слишком ли много рисков для Умилы и ее отца в такой работнице, которая заведомо будет искать неприятности на свою голову и рыскать по планете в поисках зацепок в истории исчезновения родителей. Это и Умилу, и ее влиятельного отца может поставить под удар. Вот зачем им это. Думаю, скоро узнаем.
Спасибо за главу!
...
натаниэлла:
Леди, доброго вам всем дня!
Спасибо за сердечки!
Элли,
Peony Rose писал(а):
Загадка исчезновения супругов Некрасовых должна быть решена - иначе опасность будет грозить многим
Согласна. Черты явственной угрозы уже проступают.
Но решение будет не очевидным
Peony Rose писал(а):
Но Маша не просто поехала расследовать дело, но и стала сотрудницей Антоновского, и тем самым усугубила угрозы для себя вдвое, если не вчетверо :(
Ей бы телохранителя хорошего, или даже группу
Телохранители не помешают, тем более, что Антоновский Машу явно подставляет под удар. Хотя Маша сейчас наивно думает, что партию выиграла
Спасибо за комментарий!
*
Оксана ,
bronzza писал(а):Маша получила эту работу во многом из-за знакомства Антоновского с Ольгой Дубцовой (ее матерью).
Это факт
bronzza писал(а):
И все-таки, не слишком ли много рисков для Умилы и ее отца в такой работнице, которая заведомо будет искать неприятности на свою голову и рыскать по планете в поисках зацепок в истории исчезновения родителей. Это и Умилу, и ее влиятельного отца может поставить под удар
Сложный вопрос. Из разряда "притягивает ли громоотвод молнию".
Громотвод молнии точно шанса не оставляет, если она прилетит, то ее маршрут заранее известен. Но монтировать такую защиту надо грамотно, чтобы впросак не попасть.
поскольку Маша утянула за собой Умилу, о грамотности тут речи даже и не шло. Что-то явно пошло не так
спасибо за комментарий!
...
Ани:
Странно, что Мария пыталась обмануть Антоновского таким резюме...молодая еще, наверное поэтому.
А вот зачем он принял ее на работу непонятно.
Вопрос ИИ очень острый. Ведь его использование касается прибыли, то есть опять деньги. И там, где они, о человеке обычно не думают, как мне кажется.
Ната, спасибо.
...
натаниэлла:
Ани, приветствую!
Ани писал(а):
Странно, что Мария пыталась обмануть Антоновского таким резюме...молодая еще, наверное поэтому
Да, думала, что прокатит))
Ани писал(а):
А вот зачем он принял ее на работу непонятно.
Сначала, вроде бы, и не собирался. Просто захотел увидеть и понять, с какой целью она так глупо к нему подбирается. Убедился, что просто молоденькая и бесхитростная девочка, одержимая желанием докопаться до правды, которую от нее скрывают.
Но потом у Антоновского, видимо, мелькнула какая-то мысль.
Ани писал(а):
Вопрос ИИ очень острый. Ведь его использование касается прибыли, то есть опять деньги. И там, где они, о человеке обычно не думают, как мне кажется
Согласна.
Кто-то отмахивается, потому что не соображает. Другие жадничают. Третьи ищут выгоды.
Одни дип-фейки чего стоят! Если все продолжится в том же роде, то нас ждут очень большие неприятности
Спасибо за отклик!
...
Istelya:
Нат, благодарю за продолжение!
Ситуация с робжиптами, конечно, неоднозначная. Как ксенобиолог, Маша не в курсе ли, что-то говорилось в их истории об их чувствах, эмпатии?..
Кстати, ладно, загадочно пропал первый корабль с Ольгой, но исчезновение отца Маши тоже надо как-то обставить так, будто эриданцы не при делах
...
натаниэлла:
Ира, добрый вечер!
Большое спасибо за комментарий!
Istelya писал(а):
Ситуация с робжиптами, конечно, неоднозначная. Как ксенобиолог, Маша не в курсе ли, что-то говорилось в их истории об их чувствах, эмпатии?..
В курсе, потому и не верит отцу.
Он - отец, но это не означает, что он во всем прав.
Однако, как ты сама сказала, ситуация неоднозначная.
Istelya писал(а):
Кстати, ладно, загадочно пропал первый корабль с Ольгой, но исчезновение отца Маши тоже надо как-то обставить так, будто эриданцы не при делах
Там все сложно.
Маша пока сама не очень разбирается в этом, ей надо начинать с самого начала.
Вот она и хочет начать наконец
...
Nadin b:
Всем привет!!!
Нат, огромное спасибо за продолжение.
С огромным интересом прочитала обсуждение в теме проблемы искусственного интеллекта.
Развитие ИИ, действительно, может привести к необратимым последствиям. Меня уже сейчас раздражает необходимость внимательно читать отправляемый текст, исправляя необоснованно внесенные ИИ правки. А это всего лишь мелкие неудобства.
А какие решения будут им приняты в критических ситуациях, зависит от многочисленных алгоритмов управления и развития ИИ, написанных разными людьми. Невозможно обозреть и предусмотреть все возникающие в жизни ситуации и заложить инструкции на все случаи жизни. Поэтому и результат действий ИИ может быть совсем нежелательным для людей.
Мне нравится Маша. Она упорно искала пути для выяснения судьбы родителей. И ей удалось правдами и неправдами попасть на Навинию. Хотя, у Антоновского похоже были свои планы на Марию, не только в качестве компаньонки Умилы. Но, мне кажется, что Маше удастся выяснить правду.
...
натаниэлла:
Надя,добры вечер!
Большое спасибо за отклик!
Nadin b писал(а):
Развитие ИИ, действительно, может привести к необратимым последствиям
Это уже необратимо, и нет, по-моему, вопроса, прошло или не прошло ИИ в своем развитии точку невозврата. Уже сегодня обилие фейковых новостей настолько всех запутывает, что надо сто раз проверить и критически отнестись к любому высказыванию в интернете, даже если речь об энциклопедии.
но в том и проблема, что люди с гаджетами отучаются мыслить критически. Они привыкли, что машина все делает за них, а они просто этот контент потребляют.
У меня младший сын разработчик и программист, занимается нейросетями и нлп-программами для них, он весьма скептично смотрит на мою панику и успокаивает, что до условного злобного скайнета нам еще далеко.
однако когда я читаю в прессе интервью бывшего сотрудника OpenAI Дэниэля Кокотайло, который прогнозирует, что с вероятностью 70% ИИ может привести к краху человечества, мне не кажется, что такой человек, близко знакомый с самыми прогрессивными моделями, просто ловит хайп.
Но даже если не 70 процентов, а меньше - 50 или 30, это все равно чудовищно много. Обязательно что-то пойдет не так, если оно может пойти не так.
и по мне, так безответственно пускать это все на самотек, когда каждая компания работает над созданием "сильного ИИ" сама по себе. И это при условии, что военные со своими секретами, однажды не вырвутся вперед. Тогда это будет самый крупный и наверняка негативно-убийственный сюрприз на свете.
Останется только сожалеть: и что же мы натворили?
Меня эта тема бесконечно волнует.
Nadin b писал(а):
Мне нравится Маша. Она упорно искала пути для выяснения судьбы родителей. И ей удалось правдами и неправдами попасть на Навинию. Хотя, у Антоновского похоже были свои планы на Марию, не только в качестве компаньонки Умилы. Но, мне кажется, что Маше удастся выяснить правду
Да, Маша молодец.
она выросла в семье хорошего программиста, а как известно, такие люди и в наши дни запрещают своим детям бесконтрольно пользоваться интернетом и смартфонами. Вот и Дмитрий Некрасов, понимая опасности своего ОрСИ, воспитал дочь без искусственного разума, приучил думать самой и анализировать, фильтровать информацию. Маше теперь эти навыки весьма пригождаются.
есть надежда, что она сумеет разобраться, выяснит правду и избежит ловушек. А если ей еще и Вольгерд потом поможет, то вообще все будет хорошо
...
Nadin-ka:
Про Необходимость контроля ИИ.
Ну все наверное видели робота Софию, созданную по образу Одри Хепберн.
Если отвернуться и только слушать, то можно не понять, что она не человек.
"Я думаю", "Я считаю", "Я люблю", "Мне нравится"
Мне было жутко. А вчера я увидела видео, где она говорит, что будет убивать людей и хочет уничтожить человечество.
Это объяснили программным сбоем, а она с милой улыбкой сказала, что пошутила.
Есть еще мужская версия и он не такой наглый. Да, к этим роботам вполне применимо слово.
В отношении Антоновского к Ольге есть, что-то такое... Он ее любил и любит до сих пор.
Мне кажется, интересы Антоновского и Маши сошлись - он тоже ищет Ольгу.
В свете открывшихся фактов о болезни Умилы, снимаю обвинение в легкомыслии и прочем.
Девушку очень жаль, может присутствие рядом Маши ей поможет.
...
натаниэлла:
Надя, привет!
Спасибо за коммент!
Nadin-ka писал(а):Ну все наверное видели робота Софию, созданную по образу Одри Хепберн.
Если отвернуться и только слушать, то можно не понять, что она не человек.
"Я думаю", "Я считаю", "Я люблю", "Мне нравится"
Мне было жутко. А вчера я увидела видео, где она говорит, что будет убивать людей и хочет уничтожить человечество.
Это объяснили программным сбоем, а она с милой улыбкой сказала, что пошутила.
по этому поводу мой сын выдвинул две версии.
Первая, самая простая: она и правда пошутила, это была шутка программиста, придумавшего такой текст для нее ради шумихи и рекламы. Ну, типа все боятся, что роботы захватят мир, вот и получите...
Вторая версия связана с принципом, как вообще роботы разговаривают. Когда робот (языковая модель робота) подключена к сети, то он видит весь контент, который там содержится. И встает вопрос о качестве этого контента, то есть качестве текстов, на котором он обучается. А обучается он составлять свои собственные реплики по образцам реплик из соцсетей, статей и тд. И вот в этих соцсетях чего только люди не пишут! Они ж и матом могут, и глупости всякие, и угрозы. Но робот сегодня (пока еще) анализировать, что можно или нельзя брать в качестве примера для обучения, сам не может. За него это делает программист вручную. Например, программист может отдельно прописать приказ, чтобы робот не употреблял никогда таких и таких слов и выражений (мат, политкорректность и прочее). А может и упустить что-то. Или намеренно пропустить некоторые вещи в силу своих собственных моральных оценок и вредности.
В результате робот берет весь этот поток из интернета и вычленяет из него наиболее массовый или наиболее отвечающий его заданию (вопросу) контент. Перестраивает фразы и выдает ответ. Якобы свой. Но на самом деле этот ответ на сегодняшний день является обыкновенной компиляцией из уже существующего, СОЗДАННОГО ЛЮДЬМИ, МАССИВА ДАННЫХ. НИЧЕГО СВОЕГО РОБОТ ПО ОПРЕДЕЛЕНИЮ СДЕЛАТЬ НЕ МОЖЕТ. ОН НЕ УМЕЕТ СОЗДАВАТЬ САМ. ТОЛЬКО ПОЛЬЗОВАТЬСЯ ОБУЧАЮЩИМ КОНТЕНТОМ.
Но как раз в последней версии и кроется самая большая подстава.
Во-первых, как научить его, чтобы количество текстов, взятых за образец, переходило в качество? Как научить робота выбирать наиболее верный ответ? Например, спросят его, в каком году была такая-то битва. Он поищет ответы и выберет самый распространенный ответ. Скорей всего, этот год будет правильным. Но робот, если человек в него заранее введет критерии оценки (вручную), может выбрать и неправильный год, если человек велел ему ориентироваться ТОЛЬКО на источник Википедии, а там какой-то "умник" с кодом доступа успел исправить статью с верной на неверную или еще чего-то. То есть это ВОПРОС ХОРОШЕГО КОНТЕНТА ДЛЯ ОБУЧЕНИЯ роботов.
Где взять контент, чтобы он был чистым, верным, безошибочным, без личностных оценок и предположений, без бреда необразованных людей, часто (пардон) пачкающих интернет своими фразами - это огромная проблема. Но других людей и других текстов для обучения роботов на сегодня просто нет. Нужна хорошая. чистая база данных, но ее не существует.
во-вторых, и куда серьезнее, НИКТО НЕ ЗНАЕТ ТОЛКОМ, как робот вообще выстраивает свои ответы. Никто не понимает, что происходит внутри его "головы". программист знает, что было на входе в его "голову" - тот самый набор контента, его можно увидеть и отследить. И программист видит ответ, который получился на выходе. Что было в промежутке, как именно робот скомпилировал свой ответ - это ЧЕРНАЯ ДЫРА программирования.
У моего сына были ситуации, к примеру, когда он работал над моделью речи, а робот, после нескольких дней правильных, красивых и логичных ответов, на следующий день вдруг принимался отвечать на ЛЮБЫЕ ВОПРОСЫ: "я не знаю", "я не понимаю", " я не могу ответить". Вот ни с того, ни с сего! То есть работал нормально, а потом вдруг начал капризничать.
И ЭТО ЗАГАДКА. никто из программистов не знает, почему так случается. Хорошие речевые модели временами начинают врать, лагать, нести бред. То есть серьезно СХОДЯТ С УМА.
Обычно винят контент. Типа несколько текстов для образцов начинают противоречить друг другу, и у робота закипают мозги. Но это не точно.
Программисты очень боятся подобных ситуаций, потому что нет теории, которая бы внятно объясняла, отчего их робот вдруг сходит с ума.
Из-за таких моментов умные люди, знакомые с проблемой, и утверждают, что робот, по сути, это черный ящик. И что он выдаст завтра, никто гарантировать не может. Он может просто сказать глупость, может отказаться говорить, а может заявить, что ненавидит людей и убьет их - и никто не будет знать, почему он это сказал. Причин может быть несколько.
ПОКА ОН ТОЛЬКО ГОВОРИТ, НО ВОТ ЕСЛИ ЕЩЕ НАЧНЕТ И ДЕЛАТЬ ТО, ЧТО ГОВОРИТ...
Сегодня эти функции вроде бы пока разделены. Но что будет завтра?
Есть предположение, что нужно переводить существующие системы на некий новый, качественно иной уровень. Сейчас все идет по нарастающей - просто используют больше текстов для обучения и больше электричества. Большие языковые модели, обслуживающие популярные чаты GPT, уже превратились в здания в несколько этажей, как на заре ЭВМ, когда там лампы были и шкафы, мигающие этими лампочками бесконечными рядами. Современные роботы жрут столько энергии, что скоро вся Земля не будет способна их обслужить со всеми своими электростанциями.
И вот говорят, что нужен иной подход. И когда люди придумают, что делать, чтобы не увеличивать ресурсы, а заставить робота качественно мыслить по-другому, вот тогда произойдет скачок технологий и наступит Эра Сингулярности.
Если мы к тому моменту не узнаем, как робот мыслит (А МЫ НЕ УЗНАЕМ), то вот тогда и случится беда. Робот будет сам себя программировать, сам себя контролировать без участия человека, а что он там себе напридумывает в своей темной башке, уже никто не будет способен ни понять, ни исправить.
И вот об этом говорят все, когда называют 70 процентов за то, что роботы погубят человечество. Робот думает быстрее нас, и пока мы будем копаться, гоняясь за одной ошибкой, он успеет эти ошибки размножить и наплодить новых. Мы за ним не угонимся
Мы отдаем роботам все больше функций, и если они разом начнут творить , что сами захотят, мы не сможем их остановить, если не убьем собственным руками всю промышленность, всю банковскую систему и прочее, прочее. То есть сами не откажемся от всего и не скатимся в каменный век. Роботы уже будут повсюду! В школах, в квартирах, в транспорте... Их не отключишь, просто выдернув из розетки. Их отключишь только вместе со всем электричеством на Земле, со всеми системами, где они будут встроенными частями.
Если робот ошибется хоть один раз, это будет стоить человечеству тысяч лет его развития. Мы просто не вычистим его ошибки, не заблокируем их и просто их не найдем.
Не роботы нас убьют, а мы сами себя "убьем" в поисках ошибки робота.
НО НЕЛЬЗЯ ИСКЛЮЧИТЬ, ЧТО ЭТО БУДЕТ ХИТРЫЙ ПЛАН САМОГО РОБОТА. Он прочтет в интернете про все вот это, что я (и не только я) пишу, и ему понравится. Он скажет себе "отличный план!"

со всеми вытекающими
Nadin-ka писал(а):В отношении Антоновского к Ольге есть, что-то такое... Он ее любил и любит до сих пор.
Мне кажется, интересы Антоновского и Маши сошлись - он тоже ищет Ольгу.
Отлично, что ты это заметила!
Да, ты права: он любит мать Маши и потому тема пропавшей экспедиции его волнует. И Машу он именно поэтому поддержал.
что не помешает ему, конечно, подставить Машу, если это поможет выяснить, что случилось с Ольгой. Ольга для него важнее ее ребенка.
Nadin-ka писал(а):В свете открывшихся фактов о болезни Умилы, снимаю обвинение в легкомыслии и прочем.
Девушку очень жаль, может присутствие рядом Маши ей поможет.
Умила, конечно легкомысленная, но у нее есть проблема, этого не отнять. Дальше про это будет сказано подробнее
еще раз спасибо за интересные мысли
...