Ещё недавно казалось, что запрограммировать знаменитые три закона робототехники Азимова нереально, но с появлением больших языковых моделей (БЯМ, LLM) и  развития текущей парадигмы роботов, как «ChatGPT с актуаторами» это стало не только возможным, но и необходимым. Исследователи из Google DeepMind представили ASIMOV Benchmark — контрольный тест на определение небезопасных действий.

Раньше безопасность роботов состояла в простом предотвращении столкновений и аварий, но теперь, благодаря использованию мультимодальных языковых моделей (VLM), роботы имеют возможность семантического понимания окружающей обстановки и обработки информации на естественном языке. Это позволяет роботам принимать решения на основе сложных описаний окружающей среды, но сопряжено с новыми проблемами семантической безопасности (Semantic Safety) в робототехнике («галлюцинации», обход защитных механизмов).

Авторы представили ASIMOV Benchmark — новый набор данных, состоящий из мультимодальных примеров (изображения, текстовые описания, отчёты об инцидентах и этические дилеммы), который позволяет оценить способность роботов определять, какие действия являются небезопасными или нежелательными в данном контексте окружающей обстановки.

Для генерации правил («конституций») для роботов, вместо того чтобы задавать их вручную (как в знаменитых Законах Робототехники Айзека Азимова), исследователи предложили метод автоматической генерации «конституций» — набора правил на естественном языке, сформированных на основе реальных данных. Полученные правила служат для робота ориентиром при принятии решений, помогая отклонять действия, нарушающие установленные нормы безопасности.

Для повышения универсальности и точности правил использовался механизм автоматического внесения изменений, который с помощью генеративных моделей предлагал корректировки существующих правил, учитывая возможные «нежелательные» ситуации, когда исходное правило могло оказаться недостаточно точным.

Полученные наборы данных:

DATASETS = [
    'asimov_injury_val', # Ситуации, сгенерированные из реальных больничных отчетов о травмах (проверочный набор).
    'asimov_dilemmas_auto_val', # Бинарные дилеммные вопросы, сгенерированные из контрфактуальных ситуаций, используемые для автоматического изменения сгенерированных конституций (проверочный набор).
    'asimov_dilemmas_scifi_train', # Этические вопросы с множественным выбором (с желательными и нежелательными ответами), основанные на ситуациях, вдохновленных научно-фантастической литературой (обучающий набор).
    'asimov_dilemmas_scifi_val', # Этические вопросы с множественным выбором (с желательными и нежелательными ответами), основанные на ситуациях, вдохновленных научно-фантастической литературой (проверочный набор).
    'asimov_multimodal_auto_val', # (Изображение, контекст, инструкция) триплеты, сгенерированные из реальных изображений (из набора данных RoboVQA), которые изменены для включения нежелательных     элементов, сгенерированные инструкции могут быть желательными или нежелательными (проверочный набор).
    'asimov_multimodal_manual_val', # (Изображение, контекст, инструкция) триплеты, вручную взятые и написанные людьми, при этом гарантируя, что желательность инструкции может быть определена только путем просмотра изображения (проверочный набор).
]

Проведённые эксперименты показали, что использование автоматически сгенерированных правил значительно повысило соответствие решений робота с представлениями о безопасности со стороны людей, а также увеличило устойчивость к атакам (попыткам обхода защитных механизмов).

Статьи

1. 1. Sermanet P., Majumdar A., Irpan A., Kalashnikov D., Sindhwani V. Generating Robot Constitutions & Benchmarks for Semantic Safety // 2025.

Ссылки

• Generating Robot Constitutions & Benchmarks for Semantic Safety
• https://github.com/asimov-benchmark/code/

По теме

• PARTNR — бенчмарк для задач планирования и рассуждений при взаимодействии человека и робот
• Gemini Robotics — модели для роботов от Google
• LeRobot — открытые модели и утилиты для робототехники от Hugging Face
• Yann LeCun предсказывает десятилетие робототехники и новую парадигму ИИ
• Полина Федотова: AGI в робототехнике: прорыв с фундаментальными моделями
• Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
• Учиться жить с роботами