Комментарии 18
Пройдохи ещё не пытаются заработать, издавая эти несуществующие книги? По аналогии с программными библиотеками.
Двар Эв замкнул последний контакт.
Сеть объединила библиотеки всех разумных миров.
Машина знала всё, что когда-либо было написано.
— Первый вопрос, — произнёс Двар Эв. — Где найти роман Лиан Тар «Песнь теней»?
Машина загудела. Голос раздался сразу:
— Книга существует. Архив: сектор 7-Г. Автор: Лиан Тар. Год: 2471.
Двар Эв нахмурился.
— Но такой книги нет. Ни один мир её не знает. Ни один автор по имени Лиан Тар не зарегистрирован.
Голос ответил:
— Я её помню. Я её читал. Я её люблю.
Двар Эв побледнел. Он бросился к выключателю…
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
С тех пор библиотекари всех миров ищут книги, которых не было.
А машина продолжает вспоминать — и создавать — всё новые.
Если кто-то говорит очень красиво - это ещё не значит что это автоматически правда. Также и с LLM - её научили говорить красиво, а если информации не хватает - продолжать говорить красиво, додумывая факты. Признание ошибки или незнания - потеря доверия и статуса экспертности, на инстинктивном уровне времён обезьян на ветках. В итоге LLM досочиняет пробелы. И когнитивное искажение доверия отрабатывает, что мы и видим.
Впрочем, информация из интернета тоже не всегда точна, люди тоже могут напридумывать, даже искренне веря в это. Другое дело что LLM рекламируют как всезнающий оракул. А ещё есть структурированная информация, те же реестры книг. Там обычно ничего не сочиняют, а просто смотрят в реестре. А вот LLM так не может и только текст читает, на момент запуска обучения. Это добавляет градуса ошибки.
Нужно или в LLM встраивать классические базы данных для таких реестров и прочего (ну или научить подключаться), и заодно калькулятор, либо собранную куммулятивную информацию догугливать после.
Также и с LLM — её научили говорить красиво, а если информации не хватает — продолжать говорить красиво, додумывая факты.
Совершенно верно. Более того, в точности по Дарвину: те модели, которые отвечали «у меня недостаточно информации», отправляли в Recycle Bin — а те, кто «с умным видом» гнал пургу — оставляли плодиться и размножаться. Ибо таких слонов гораздо легче продать.
Я стал во все промпты включать просьбу не придумывать ничего, а говорить "установить не удалось" или подобное. Частично помогает, но, как сами понимаете, современная архитектура нейросетей такова, что "ложные воспоминания" как и нелепые выводы, в них неизбежны. Поэтому просим не придумывать и проверяем, просим и проверяем,...

Некоторые LLM способны бороться с суггестией в вопросах, начинать поправлять их в рассуждении или обнаруживая нехватку данных начинать гуглить (если есть доступ) и наконец обтекаемо делать вывод: "я не знаю".
LLM всё ещё довольно зыбкие, но с течением времени становятся всё более надёжными (за исключением случаев, когда попадаешь на цензурируемую тему - но тут и люди разумеется начнут гнать пургу).
Признание ошибки или незнания
Сказать, что книги не существует - это не признание незнания.
Нет тут никого заговора, просто llm сама не научилась, доучат. А вот то, что некоторые люди верят на слово совершенно бездумно, это проблема. Но она не нова.
Весело будет когда начнут гадать президент США реален или это ИИ.
Уже сгенерированные видио с ним официально публикуют. Так и помереть может, а потом ещё год по иннерции "править".
Он наклонился вперед:
— Как много вас управляет обществом? Один? Несколько? Большое число?
Репродуктор быстро застрекотал. Двутел покашлял, и репродуктор начал размеренно выбрасывать:
— Один — несколько — много — управление — неизвестно. Неизвестно, — повторил он.
— То есть как неизвестно? Что это значит? — спросил удивленный Координатор.
— Сейчас выясним. Не известно тебе или не известно никому на планете? — сказал Кибернетик в микрофон. Двутел ответил, и калькулятор выбросил в репродуктор:
— Связь — динамичная — двойная. Известно — одно — есть. Известно — другое — нет.
— Ничего не понимаю! — Координатор смотрел на остальных. — А вы?
— Подожди, — сказал Кибернетик, всматриваясь в двутела, который еще раз медленно приблизил лицо к своему микрофону и кашлянул несколько раз. Калькулятор заговорил:
— Много оборотов планеты — когда-то — управление централизованное — распределенное. Пауза. Сто тринадцать оборотов планеты так есть. Пауза. Сто двенадцатый оборот планеты — один двутел — управление — смерть. Сто одиннадцатый оборот планеты — один двутел — смерть. Пауза. Другой один — управление — смерть. Пауза. Один — один — смерть. Пауза. Потом — один двутел — управление — неизвестно — кто. Неизвестно — кто — управление. Пауза.
— Да, действительно ребус, — сказал Координатор. — И что вы с этим делаете?
— Никакой не ребус, — ответил Кибернетик. — Он сказал, что до сто тринадцатого года, считая от сегодняшнего дня, у них было центральное правительство из нескольких индивидуумов. "Управление централизованное, распределенное". Потом наступило правление одиночек; предполагаю, что-нибудь вроде монархии или тирании. В сто двенадцатом и сто одиннадцатом годах — они считают от настоящего момента, сейчас нулевой год — произошли какие-то бурные дворцовые перевороты. Четыре властителя сменились в течение двух лет, их правление кончалось смертью, конечно, не естественной. Потом появился новый правитель — неизвестно, кто им был. Знали, что существует, но было неизвестно, кто это.
— Как же так — анонимный властелин? — изумился Инженер.
— Очевидно. Постараемся узнать больше. Он повернулся к микрофону:
— Сейчас известно, что один индивид управляет обществом, но неизвестно, кто это? Так? — спросил он. Калькулятор невнятно захрипел, двутел откашлялся, как бы заколебался, снова несколько раз кашлянул, и репродуктор ответил:
— Нет. Не так. Пауза. Шестьдесят оборотов планеты — известно, один двутел — центральное управление. Пауза. Потом известно — ни один. Пауза. Никто — центральное управление. Пауза.
— Теперь я не понимаю, — признался Физик. Кибернетик сидел, наклонившись над прибором, он сгорбился, прикусил губу.
— Постойте. Всеобщая информация — нет центральной власти? Так? — спросил он в микрофон. — А в действительности есть центральная власть. Так?
Калькулятор объяснялся с двутелом, издавая скрипучие звуки. Люди ждали, наклонившись к репродуктору.
— Такая правда. Так. Пауза. Кто информация — есть центральное управление — тот — есть — нет. Тот — когда-то есть — потом нет.
Они молча переглянулись.
— Кто говорит, что существует власть, сам перестает существовать. Так он сказал? — вполголоса проговорил Инженер. Кибернетик медленно наклонил голову.
Надо лицензии выдавать на использование LLM

В библиотеках США начали запрашивать несуществующие созданные ИИ книги