Виктория В:
Нат, Леди, привет!
С удовольствием прочитала о встрече двух умных людей, энтузиастов, всей душой преданных своему делу.
Пусть Дмитрий и Ольга являются специалистами в разных сферах науки, и Некрасов мало имеет представления о Большой Теории Струн, Рое Дайсона, они хорошо понимают или близки к тому, чтобы понять друг друга и своими знаниями помочь собеседнику. Восхитило, как Дмитрий сразу решил задачу Ольги с количеством кувшинок в пруду!
Не случайно Некрасов предложил сотрудничество Ольге, и скорее всего, с его помощью и помощью ОрСи Ольга установит контакт с эриданцами. Понятно почему Ольга отдала предпочтение Некрасову - Дмитрий ведет себя как разумный человек, внушающий симпатию, а Стас как невоспитанный мажор, считающий, что все ему должны. С интересом жду развития их отношений и рассказа об исследованиях Ольги.
Нат, спасибо за познавательную главу и прекрасную визуализацию героев!
натаниэлла:
Вика, привет!
Спасибо за отзыв!
Виктория В писал(а):
С удовольствием прочитала о встрече двух умных людей, энтузиастов, всей душой преданных своему делу.
С удовольствием прочитала о встрече двух умных людей, энтузиастов, всей душой преданных своему делу.
Да, они походи в этом
Виктория В писал(а):
Восхитило, как Дмитрий сразу решил задачу Ольги с количеством кувшинок в пру
Для математика это просто.
Если в два раза каждый день, то в последнюю ночь как раз и будет половина пруда. А потом сразу полный пруд. Надо с конца решать))
Виктория В писал(а):
Понятно почему Ольга отдала предпочтение Некрасову -
Хорошо))
Благодарю за "блошку" - выловила, исправила
натаниэлла:
» О галлюцинациях ИИ (личный опыт)
В главе 2 второго тома Дмитрий предлагает Ольге работу по отсеиванию глюков у ОрСИ. Зачем это нужно?Глюки
Да, галлюцинации моделей искусственного интеллекта (ИИ) это очень серьёзная проблема.
Галлюцинации - это такие ситуации, когда нейросети создают информацию, которая выглядит правдоподобно, но не соответствует действительности. Модель выдаёт ложные утверждения с такой же уверенностью, как и правильные факты
Вот, что пишет об этом наша Алиса:
Галлюцинации ИИ представляют значительные риски, которые могут привести к финансовым потерям, угрозам безопасности и подрыву доверия к ИИ. Особую озабоченность они вызывают в сфере кибербезопасности, обнаружения мошенничества, медицинской диагностике и прогнозировании.
Некоторые причины возникновения галлюцинаций:
1.Некачественные обучающие данные. Если они нерепрезентативны или содержат ошибки, модель может выдавать недостоверную информацию.
2.Переобучение. Модель запоминает конкретные примеры, но не может обобщать новые данные.
3.Сложность интерпретации идиом и сленга. ИИ может неправильно понимать разговорные выражения.
4.Состязательные атаки. Злоумышленники могут намеренно вводить ИИ в заблуждение с помощью специальных запросов.
Для снижения рисков эксперты предлагают следующие меры:
Использование проверенных и репрезентативных данных для обучения моделей.
Интеграция внешних баз знаний для проверки фактов.
Точная настройка моделей под конкретные задачи.
Постоянное тестирование и улучшение систем.
Внедрение человеческого контроля для проверки результатов.
*
Ниже я приведу для иллюстрации историю, приключившуюся с моим мужем. Он сейчас составляет описи передач для архива со всеми положенными ссылками и комментариями. В одной передач прозвучало стихотворение «Загадки бытия» неизвестного автора по имени Сергей Белоусов (Ведущая назвала его «поэт-сатирик Сергей Белоусов» – и это все, что о нем было сказано). Такого поэта муж не нашел (а ему нужна краткая справка и ссылки на другие произведения), и он обратился к американскому ИИ – чату GPT из Open AI за помощью. Робот выискивает информацию по многочисленным ресурсам и делает это куда быстрее человека.
Ну, это муж так думал))
Пример их диалога – это ярчайшая галлюцинация, которую он распознал только из-за своей природной дотошливости. Будь на его месте школьник или доверчивый, торопливый человек, ничего не проверяющий или не имеющий времени проверять каждую строчку, ошибка была бы позорной. (А если б речь шла о вопросах более рискованных, например, из области медицины, то и фатальной)
С другой стороны, для чего нам вообще нужны роботы, за которыми все надо переделывать?
Итак, ниже два спойлера: диалог с моделью от Open AI и мой диалог (ради интереса) с китайцем из DeepSeek на ту же тему, который я провела уже после того, как муж поделился своим возмущением.
*
Подчёркивание – вопрос, заданный человеком
КАПС и жирный шрифт – мои примечания для понимания масштабов галлюцинаций
Обычный шрифт – ответы модели.
[
*
Я ЗАИНТЕРЕСОВАЛАСЬ ЭТИМ СПОРОМ И ЗАДАЛА АНАЛОГИЧНЫЙ ВОПРОС КИТАЙЦУ ДИПСИК: кто автор стихотворения? И что можно о нем рассказать из доступных источников?
Забегая вперед, китаец оказался чуть более точен, хотя тоже не смог найти единственную ссылку на передачу из архива Гостелерадиофонда. Кое-что присочинил. Биография Сергея Белоусова в его изложении тоже под вопросом, но Дипсик хотя бы не упорствовал в своих галлюцинациях
Вот наш диалог:
.
*
Проблема здесь не столько в «уме» моделей или отсутствия такового, сколько в статистической природе обучения. Все эти роботы хорошо и быстро схватывают закономерности, но когда речь заходит о редких фактах, мы словно спрашиваем у них дату дня рождения кота со случайной фотографии. Информация об этом просто недоступна, и модель вынуждена догадаться.
Руководство и разработчики из OpenAI честно признают: полностью избавиться от галлюцинаций нельзя, но можно изменить систему оценивания. Если мы перестанем поощрять угадывания и начнём ценить честное «не знаю», это не только сделает модели надёжнее, но и изменит стиль взаимодействия человека с ИИ.
*
Теперь о моих впечатлениях.
Алиса, которую я зову «тупенькой», честно и прямо признается, что не знает. Это бесит. Я задаю вопрос и прошу ее найти какие-то ссылки и мнения. Часто мне даже не нужен однозначный ответ, мне нужен набор версий. Но Алиса уходит в тень и предлагает мне параллельные темы по ключевым словам.
Параллельные темы, слабо связанные с сутью заданного вопроса, мне (и, думаю, многим) не нужны. Но здесь, возможно, сказывается ограниченность поиска. Алиса не все сайты мониторит. Крупная часть источников ей недоступна.
Как итог: галлюцинирует Алиса меньше, она просто уходит от ответа.
ДипСик – большой фантазер. Он любит придумывать, раскрывать тему вопроса вглубь и вширь, но при этом честно признается, что это лишь рассуждения. Он не упорствует в галлюцинациях, и когда ему приводишь доводы и ссылки, принимает их. Это плюс.
Однако и с ним нет уверенности, что все излагаемое им правда. Я сейчас задаю ему вопросы по физике, космологии и тп, и у меня нет широкого кругозора в этих областях. То, что я проверяю (имена ученых, название гипотез, теорем) – капля в море. На моей памяти с этим у него глюков не было. Но в истории с Белоусовым (когда модель пошла по легкой дорожке, начав изучать актера) видно, что и он делает акценты не на том, на чем надо. ДипСик услужлив. Он говорит то, что хочет услышать человек. И это минус, если мы хотим получить голый факт, а не простыню догадок.
Наконец, американец Чат ДжиПиТи - это модель упрямая и самоуверенная, с апломбом. Хочется, как Задорнов про его создателей, воскликнуть "Ну и тупой!"
*
Теперь, надеюсь, вы понимаете, в чем смысл работы Ольги Некрасовой и зачем дип-инженеру астрофизик.
Виктория В:
Нат, приветствую и благодарю за интересную информацию об ИИ и обратную связь!
Приведенные тобой факты говорят о том, что ИИ полностью человека заменить не может. И еще я предпочла бы иметь дело с "тупенькой" Алисой, которая не фантазирует.
натаниэлла писал(а):
Теперь, надеюсь, вы понимаете, в чем смысл работы Ольги Некрасовой и зачем дип-инженеру астрофизик.
Ольга должна корректировать ответы ИИ, который в данный момент разрабатывает Некрасов, поскольку этот ИИ связан с космическими проектами.
натаниэлла:
Вика -
Виктория В писал(а):
Приведенные тобой факты говорят о том, что ИИ полностью человека заменить не может
Приведенные тобой факты говорят о том, что ИИ полностью человека заменить не может
Сегодня - абсолютно не может.
Мой сын, который как раз спец по обучению роботов, утверждает, что на современной нам базе модели ИИ будут не прогрессировать, а деградировать.
Чтобы им достичь уровня моего ОрСИ
, надо придумать что-то еще. Ну, типа заменить лошадей на автомобиль, а не выстраивать сотни животных в цепочку.
Пока разработчики лишь повышают мощности, ввстраивая лошадей в цепочки
Виктория В писал(а):
Ольга должна корректировать ответы ИИ, который в данный момент разрабатывает Некрасов, поскольку этот ИИ связан с космическими проектами
Ольга должна корректировать ответы ИИ, который в данный момент разрабатывает Некрасов, поскольку этот ИИ связан с космическими проектами
Да. Пока модель не вышла на рынок, ее надо обучать и проверять
Ани:
Оказывается, что Дима и Стас были знакомы до Ольги, и отношения плохие.
Вовремя попался Ольге Дима с таким интересным предложением...
Ната, спасибо. Коллаж
Читаю про глюки ИИ и непонятно, зачем выдавать неподтвержденную информацию. Ведь смысл всего именно облегчить поиск и не терять время на это.
натаниэлла:
Доброе утро!
Спасибо за сердечки, леди!
Вика,
Виктория В писал(а):
сразу понятно в чем суть проблемы!
*
Ани,
Ани писал(а):
Оказывается, что Дима и Стас были знакомы до Ольги, и отношения плохие
Оказывается, что Дима и Стас были знакомы до Ольги, и отношения плохие
Да, знакомство их вряд ли долгое, не с раннего детства, а год-два, но за это время они успели друг другу насолить.
Ани писал(а):
Читаю про глюки ИИ и непонятно, зачем выдавать неподтвержденную информацию. Ведь смысл всего именно облегчить поиск и не терять время на это
Читаю про глюки ИИ и непонятно, зачем выдавать неподтвержденную информацию. Ведь смысл всего именно облегчить поиск и не терять время на это
Это побочный эффект.
Программисты не знают, что происходит в "голове" их роботов. Модели чатов джи пи ти - это черный ящик. Человек видит, что на входе и что на выходе ,а так же видит свой код. Но результаты его удивляют. Он не понимает, как думает машина. Она всегда думает непредсказуемо.
Код машинный - как ДНК. Тронь "кирпичик" и все посыпется. Улучшая модель, программисты часто вставляют дополнительные кусочки кода (на сленге - "подпирают шваброй"), и этот хаос из разрозненных строк иногда дает непредсказуемые последствия. Робот может стабильно выдавать верные ответы, а потом неожиданно начинает бредить или бубнить "не знаю, не знаю"(есть термин: "высокая температура", ее надо срочно понижать)
Как мы видим, языковая модель у американцев не бредит, ее ответы грамотны, логичны и с точки зрения лексики, и с грамматики, но содержание - выдумка чистой воды.
Вот в борьбе с температурным бредом "не знаю, не знаю" и четким осознанным ответом "не знаю, потому что не нашла информацию" и заключена вся сложность этих разработок.
Американцы, как видим, пока проигрывают
Tannit:
Приветствую!
Нат, спасибо за продолжение.
Все понятно.
Объединенные усилия Некрасова и Дубцовой ускорили контакт, но сигнал был послан с помощью Хольмана.
Дмитрий узнал об экстрасенсорных способностях Ольги? Вот очень интересно, как и когда это стало известно,и как об этом пронюхал Антоновский.
Чего-то мнится мне, что оба мужика пользовались Ольгой ради амбициозных целей.
натаниэлла:
Таня, привет!
Спасибо за коммент и сердечки
Tannit писал(а):
.
Все понятно.
Все понятно.
И хорошо))
Tannit писал(а):
Объединенные усилия Некрасова и Дубцовой ускорили контакт, но сигнал был послан с помощью Хольмана.
Объединенные усилия Некрасова и Дубцовой ускорили контакт, но сигнал был послан с помощью Хольмана.
Абсолютно верно.
Tannit писал(а):
Дмитрий узнал об экстрасенсорных способностях Ольги? Вот очень интересно, как и когда это стало известно,и как об этом пронюхал Антоновский
Дмитрий узнал об экстрасенсорных способностях Ольги? Вот очень интересно, как и когда это стало известно,и как об этом пронюхал Антоновский
Ну, ярко выраженных способностей Ольга не демонстрировала - так, фоном, как у многих.
А вот про то, откуда про них узнали - это будет отдельная глава.
Tannit писал(а):
Чего-то мнится мне, что оба мужика пользовались Ольгой ради амбициозных целей.
Чего-то мнится мне, что оба мужика пользовались Ольгой ради амбициозных целей.
Увы, Ольгу нельзя назвать счастливой в этом смысле. Всякое там было
Виктория В:
Tannit писал(а):
Чего-то мнится мне, что оба мужика пользовались Ольгой ради амбициозных целей.
Чего-то мнится мне, что оба мужика пользовались Ольгой ради амбициозных целей.
Таня, думаю, если такое было, то в самом начале. Оба выглядят всерьез любящими Ольгу. Стас помешан на ней, а Дмитрий после отлета Ольги на "Фехтовальщике", посвятил себя воспитанию дочери и не устраивал личную жизнь во второй раз.
The Loving Soul:
Нат, привет!
Ох, вот и вторая часть!
Буду стараться читать по мере возможности, но не уверена, что получится.
Обязательно по прочитанному буду отписываться.
Не теряй!
натаниэлла:
Добрый день!
Марина,
Рада, что ты заглянула ко мне!
The Loving Soul писал(а):
Буду стараться читать по мере возможности, но не уверена, что получится
Буду стараться читать по мере возможности, но не уверена, что получится
У каждого свой темп, так что все в порядке
тем более, до Нового года главы я приношу 1 раз, а не два. Еще не все доделала 
Очень сложный материал в самых разных областях, и чтобы максимально безошибочно все описать, приходится вникать досконально. А квантовая физика - то такое.
Приятного чтения!
*
Виктория В писал(а):
Оба выглядят всерьез любящими Ольгу.
Вика, все верно, но путь ее любви усыпан не лепестками роз, а стеблями с шипами. Там всякое бывало. Наверное, как у многих реальных людей.
Одно то, что Ольга улетела на "Фехтовальщике", оставив семью позади, говорит само за себя. Значит, не семья, не чувства были у нее на первом месте. Счастливой она ощущала себя в ином.
Виктория В:
натаниэлла писал(а):
Одно то, что Ольга улетела на "Фехтовальщике", оставив семью позади, говорит само за себя. Значит, не семья, не чувства были у нее на первом месте. Счастливой она ощущала себя в ином.
Нат, я думала, что Ольга улетела в космос, поскольку ставила науку на первое место, а не семью. Нередко женщины ради карьеры вообще отказываются от рождения детей. Буду ждать рассказа, что у нее были за проблемы в личной жизни.
натаниэлла:
Виктория В писал(а):
Нат, я думала, что Ольга улетела в космос, поскольку ставила науку на первое место, а не семью. Нередко женщины ради карьеры вообще отказываются от рождения детей
Нат, я думала, что Ольга улетела в космос, поскольку ставила науку на первое место, а не семью. Нередко женщины ради карьеры вообще отказываются от рождения детей
В том и дело, что Ольга не отказывалась от семьи ради карьеры. Вышла замуж, родила дочь (хотя мы помним, при каких трагических обстоятельствах она ее выносила и родила).
Мне кажется, она мечтала о семейном счастье. Или мечтала совместить семью.и карьеру. Конечно, поездка на "Сокол" не должна была отнять больше года, но и год это много, когда у тебя пятилетняя дочь. Похоже, ей захотелось взять паузу
Виктория В писал(а):
Буду ждать рассказа, что у нее были за проблемы в личной жизн
Конечно, все будет
Хотя и фрагментарно