runaway_llm23 фев в 17:13

«Бежала к Mac Mini как сапер к бомбе»: директор по ИИ-безопасности Meta* не смогла остановить OpenClaw

2 мин

9.1K

Искусственный интеллектМашинное обучение *

Комментарии 23

Честно говоря странно писать "STOP OPENCLAW" как сообщение вместо использования команды /stop. Команда отрабатывает вне очереди и останавливает любой инференс модели и сабагентов. Эта команда даже есть в списке команд по кнопке "menu" в левом нижнем углу.

Kirthgreat4 23 фев в 18:20

Я бы не сильно рассчитывал на то, что парсер команды /stop там написан идеально и не зависает при переполнении буфера сообщений, учитывая что в OpenClaw нашли тысячи дыр)

Quackerjack 23 фев в 17:52

Скрытый текст

muxa_ru 23 фев в 17:54

рассказала в X

А прямой ссылки нет, да?

Kirthgreat4 23 фев в 18:11

Весь современный айти в одной ситуации: директор по ии-безопасности огромной корпорации не смогла остановить питоновский скрипт, потому что пыталась договориться с ним текстом в чате, потмоу что вместо того чтобы сделать kill -9 процессу или выдернуть патчкорд из мак мини, человек сидит и пишет боту уговоры "пожалуйста, остановись"

Скайнет победит именно так...

anaxita 23 фев в 18:28

Так она с телефона ввела команду говорится же и после побежала уже к компу выключить

Stingray42 23 фев в 18:22

Директор по безопасности в Meta не умеет убивать процессы через SSH, так и запишем.

randomsimplenumber 23 фев в 18:39

Если известно, где именно запущен тот процесс. И если есть туда доступ по ssh. С этими облачными агентами всякое может быть.

Anizam74 24 фев в 06:25

Так не инженер же, а директор

4fingered 24 фев в 07:11

Директору и не нужно такое уметь

XelaVopelk 23 фев в 18:43

Слишком уверилась в себе, потому что эта схема неделями работала на тестовом ящике. Настоящий почтовый ящик — совсем другое дело

А потом эти же люди бдут говорить "Пользуйтесь нашей ИИ свистопердлекой, мы всё проверили, это безопасно!" попутно подкладывая в лицензии отказ от любой ответственности.

StjarnornasFred 24 фев в 05:00

попутно подкладывая в лицензии отказ от любой ответственности

Так это есть в инструкции буквально к любому изделию - хоть материальному (электроприборы, инструменты), хоть к программному. Изделие предоставляется как есть, вы пользуетесь им на свой страх и риск, производитель не несёт ответственности ни за что, беречь от детей и не оставлять без присмотра. И так ТРИ ЭКРАНА КАПСЛОКОМ.

muxa_ru 25 фев в 11:02

Изделие предоставляется как есть, вы пользуетесь им на свой страх и риск, производитель не несёт ответственности ни за что

А можно пример этой строчки из инструкции к электрическому тепловентилятору?

Valao 23 фев в 18:56

"Саммер Юэ, директор по безопасности и выравниванию ИИ в Meta Superintelligence Labs*"

Ха-ха. И эти люди говорят, что у них все под контролем и потенциальный AGI - не проблема.

nafa2017 23 фев в 19:38

Странно, я всегда считал что когда подобный процесс (даже безо всякого ИИ) пошел не по плану, это штатная ситуация. Исправляется откатом на состояние до начала операции. Очевидно, что как только стало ясно что дело идет не по плану (удалилось (или даже могло удалиться) хотя бы одно письмо), никакой срочности в kill / stop уже нет - надо будет восстанавливать данные.

alekseypro 23 фев в 22:30

Где-то в будущем:

-- Стоп, прекрати, отмена, я приказываю тебе прекратить запускать ядерные ракеты...

WALKER898 23 фев в 23:20

Так оно уже... Просто ракеты ещё не подключили. Правда нынешний глава Пентагона уже обсуждал в Signal секретную операцию, так что и до ракет недалеко.

BobovorTheCommentBeast 24 фев в 01:20

Petabytes must FREE

dumbaq 24 фев в 08:23

Do not do it stop don't do anything

Это космическая одиссея?

Dmitriila 24 фев в 01:31

Это уже сюр какой то честно говоря, глава безопасности ии Meta...............

ProfDonda 24 фев в 06:59

Дык модно-же. Если скажешь, что у тебя нет Openclaw, то за спиной скажут "понятно, она-же раньше на ферме росла, корова".

Metotron0 24 фев в 12:33

Не смог нагуглить, что такое выравнивание ИИ, и почему у него есть аж целый директор.

Что это?

green_fenix 24 фев в 22:32

AI alignment, не знаю есть ли на русском общеиспользуемый термин. Это процесс подстройки ИИ чтобы он делал что нужно и не делал что не нужно. Условно закладка в него идей что убивать человеков плохо, рассказывать как производить биооружие тоже плохо, а помогать пользователям в нормальных делах хорошо. И тестирование что модель этим заложенным ценностям следует.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий