HuggingFace опубликовали свою открытую реализацию нейросети Gato. Назвали эту сеть — «Мастер на все руки» (Jack of All Trades (JAT)).
Целью данного проекта является построение универсального агента (на основе архитектуры трансформер), способного выполнять как зрительно-языковые задачи, так и задачи по принятию решений.
Для проекта был подготовлен открытый набор данных JAT Dataset, на котором затем и обучалась мультимодальная модель.
Статьи
- Gallouédec Q. et al. Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent //arXiv preprint arXiv:2402.09844. – 2024.
Ссылки
- Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent
- Model Card for Jat
- JAT Dataset
- https://github.com/huggingface/jat
По теме
- Нейросеть Gato от Deepmind способна выполнять более 600 задач
- Thomas Wolf показал как можно сделать умного робота в 250 строчек кода
- Полина Федотова: AGI в робототехнике: прорыв с фундаментальными моделями
- Dobb·E — открытый проект по обучению робота выполнять домашние дела
- Awesome-LLM-Robotics — список статей про использование больших языковых моделей в робототехнике
- TidyBot — персонализированный робот-помощник на основе больших языковых моделей