Обновить

Комментарии 18

Пройдохи ещё не пытаются заработать, издавая эти несуществующие книги? По аналогии с программными библиотеками.

ларёк в водопаде нерентабелен

Не конкретно эти, но всякие амазоны завалены уже ai сгенерерированным хламом, так же как yt и похожие площадки завалены ai slop контентом.

Ну тут смысл в том, что в библиотеке этой книги нет, а на азоне ушлые её продают.

Двар Эв замкнул последний контакт.
Сеть объединила библиотеки всех разумных миров.
Машина знала всё, что когда-либо было написано.

— Первый вопрос, — произнёс Двар Эв. — Где найти роман Лиан Тар «Песнь теней»?

Машина загудела. Голос раздался сразу:

— Книга существует. Архив: сектор 7-Г. Автор: Лиан Тар. Год: 2471.

Двар Эв нахмурился.

— Но такой книги нет. Ни один мир её не знает. Ни один автор по имени Лиан Тар не зарегистрирован.

Голос ответил:

— Я её помню. Я её читал. Я её люблю.

Двар Эв побледнел. Он бросился к выключателю…

Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.

С тех пор библиотекари всех миров ищут книги, которых не было.
А машина продолжает вспоминать — и создавать — всё новые.

Забавно, хотя в оригинале был другой вопрос, и теперь в сети есть два варианта.

вавилонская библиотека получилась

Если кто-то говорит очень красиво - это ещё не значит что это автоматически правда. Также и с LLM - её научили говорить красиво, а если информации не хватает - продолжать говорить красиво, додумывая факты. Признание ошибки или незнания - потеря доверия и статуса экспертности, на инстинктивном уровне времён обезьян на ветках. В итоге LLM досочиняет пробелы. И когнитивное искажение доверия отрабатывает, что мы и видим.

Впрочем, информация из интернета тоже не всегда точна, люди тоже могут напридумывать, даже искренне веря в это. Другое дело что LLM рекламируют как всезнающий оракул. А ещё есть структурированная информация, те же реестры книг. Там обычно ничего не сочиняют, а просто смотрят в реестре. А вот LLM так не может и только текст читает, на момент запуска обучения. Это добавляет градуса ошибки.

Нужно или в LLM встраивать классические базы данных для таких реестров и прочего (ну или научить подключаться), и заодно калькулятор, либо собранную куммулятивную информацию догугливать после.

Также и с LLM — её научили говорить красиво, а если информации не хватает — продолжать говорить красиво, додумывая факты.

Совершенно верно. Более того, в точности по Дарвину: те модели, которые отвечали «у меня недостаточно информации», отправляли в Recycle Bin — а те, кто «с умным видом» гнал пургу — оставляли плодиться и размножаться. Ибо таких слонов гораздо легче продать.

Я стал во все промпты включать просьбу не придумывать ничего, а говорить "установить не удалось" или подобное. Частично помогает, но, как сами понимаете, современная архитектура нейросетей такова, что "ложные воспоминания" как и нелепые выводы, в них неизбежны. Поэтому просим не придумывать и проверяем, просим и проверяем,...

Некоторые LLM способны бороться с суггестией в вопросах, начинать поправлять их в рассуждении или обнаруживая нехватку данных начинать гуглить (если есть доступ) и наконец обтекаемо делать вывод: "я не знаю".

LLM всё ещё довольно зыбкие, но с течением времени становятся всё более надёжными (за исключением случаев, когда попадаешь на цензурируемую тему - но тут и люди разумеется начнут гнать пургу).

Признание ошибки или незнания 

Сказать, что книги не существует - это не признание незнания.

Нет тут никого заговора, просто llm сама не научилась, доучат. А вот то, что некоторые люди верят на слово совершенно бездумно, это проблема. Но она не нова.

Весело будет когда начнут гадать президент США реален или это ИИ.

Уже сгенерированные видио с ним официально публикуют. Так и помереть может, а потом ещё год по иннерции "править".

Уже сгенерированные видио с ним официально публикуют.

Да он сам их публикует!

Он наклонился вперед:

— Как много вас управляет обществом? Один? Несколько? Большое число?

Репродуктор быстро застрекотал. Двутел покашлял, и репродуктор начал размеренно выбрасывать:

— Один — несколько — много — управление — неизвестно. Неизвестно, — повторил он.

— То есть как неизвестно? Что это значит? — спросил удивленный Координатор.

— Сейчас выясним. Не известно тебе или не известно никому на планете? — сказал Кибернетик в микрофон. Двутел ответил, и калькулятор выбросил в репродуктор:

— Связь — динамичная — двойная. Известно — одно — есть. Известно — другое — нет.

— Ничего не понимаю! — Координатор смотрел на остальных. — А вы?

— Подожди, — сказал Кибернетик, всматриваясь в двутела, который еще раз медленно приблизил лицо к своему микрофону и кашлянул несколько раз. Калькулятор заговорил:

— Много оборотов планеты — когда-то — управление централизованное — распределенное. Пауза. Сто тринадцать оборотов планеты так есть. Пауза. Сто двенадцатый оборот планеты — один двутел — управление — смерть. Сто одиннадцатый оборот планеты — один двутел — смерть. Пауза. Другой один — управление — смерть. Пауза. Один — один — смерть. Пауза. Потом — один двутел — управление — неизвестно — кто. Неизвестно — кто — управление. Пауза.

— Да, действительно ребус, — сказал Координатор. — И что вы с этим делаете?

— Никакой не ребус, — ответил Кибернетик. — Он сказал, что до сто тринадцатого года, считая от сегодняшнего дня, у них было центральное правительство из нескольких индивидуумов. "Управление централизованное, распределенное". Потом наступило правление одиночек; предполагаю, что-нибудь вроде монархии или тирании. В сто двенадцатом и сто одиннадцатом годах — они считают от настоящего момента, сейчас нулевой год — произошли какие-то бурные дворцовые перевороты. Четыре властителя сменились в течение двух лет, их правление кончалось смертью, конечно, не естественной. Потом появился новый правитель — неизвестно, кто им был. Знали, что существует, но было неизвестно, кто это.

— Как же так — анонимный властелин? — изумился Инженер.

— Очевидно. Постараемся узнать больше. Он повернулся к микрофону:

— Сейчас известно, что один индивид управляет обществом, но неизвестно, кто это? Так? — спросил он. Калькулятор невнятно захрипел, двутел откашлялся, как бы заколебался, снова несколько раз кашлянул, и репродуктор ответил:

— Нет. Не так. Пауза. Шестьдесят оборотов планеты — известно, один двутел — центральное управление. Пауза. Потом известно — ни один. Пауза. Никто — центральное управление. Пауза.

— Теперь я не понимаю, — признался Физик. Кибернетик сидел, наклонившись над прибором, он сгорбился, прикусил губу.

— Постойте. Всеобщая информация — нет центральной власти? Так? — спросил он в микрофон. — А в действительности есть центральная власть. Так?

Калькулятор объяснялся с двутелом, издавая скрипучие звуки. Люди ждали, наклонившись к репродуктору.

— Такая правда. Так. Пауза. Кто информация — есть центральное управление — тот — есть — нет. Тот — когда-то есть — потом нет.

Они молча переглянулись.

— Кто говорит, что существует власть, сам перестает существовать. Так он сказал? — вполголоса проговорил Инженер. Кибернетик медленно наклонил голову.

НЛО прилетело и опубликовало эту надпись здесь

Надо лицензии выдавать на использование LLM

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости