Штучний інтелект для генерації віртуальних світів зі звуковим супроводом: Google презентувала Genie 4.

Персонажі взаємодіють між собою та реагують на події, у той час як технологія наразі проходить тестування у обмеженій кількості партнерів.

Google DeepMind презентувала Genie 4 — нову модель штучного інтелекту, здатну створювати інтерактивні світи, наповнені зображеннями, звуковими ефектами та діалогами. Користувачі мають можливість змінювати події та поведінку персонажів за допомогою текстових команд прямо під час симуляції. Про це йдеться у повідомленні дослідницького підрозділу Google DeepMind на офіційному блозі.

Genie 4 відноситься до категорії моделей світів. Ці системи здатні симулювати навколишнє середовище та прогнозувати його зміни в залежності від конкретних дій. Google вважає цей підхід важливою частиною розвитку загального штучного інтелекту, а також інструментом для створення навчальних середовищ для роботів та програм, які можуть автономно виконувати завдання.

Користувач може описати місцевість, персонажа та бажані події звичайними словами. Для навігації й керування камерою використовують клавіатуру. Під час симуляції можна змінити погоду, додати людину чи предмет, а система має узгодити зміни з навколишньою сценою.

За оцінкою Google, у новій версії поліпшили відтворення фізичних взаємодій, зокрема зіткнень та аеродинаміки. Окремий акцент зробили на природності рухів людей і їхній реакції на довкілля. Команди користувача також можуть впливати на поведінку цих персонажів.

Genie 4 одночасно генерує зображення й звуковий супровід. Це можуть бути шум вітру, хвилі, музика або людське мовлення. Вигадані персонажі здатні розмовляти між собою та реагувати на події й дії користувача під час симуляції.

Оновлена система інтегрується з моделями Gemini. Gemini Omni сприяє відображенню вигляду та поведінки навколишнього середовища, тоді як інші моделі забезпечують послідовність подій. Такий підхід до розподілу функцій має на меті створити більш узгоджене та контрольоване середовище.

У складних ситуаціях Google впроваджує модель Gemini 3.8 Flash, яка аналізує сцену, розподіляє завдання на етапи та оцінює результати. У разі змін у обставинах вона адаптує свій план дій. У рамках окремої демонстрації Gemini 4 Argon та Genie 4 спільно відтворюють гру в шашки за участю гуманоїдного робота Apollo від компанії Apptronik.

У колі тестувальників можна знайти фахівців із кіноіндустрії, журналістики, освіти, гейм-дизайну та інженерії. Кінематографісти досліджують можливість оперативно змінювати кути зйомки, освітлення, діалоги та дії в тестових сценах. А розробники відеоігор створюють віртуальні простори для апробації концепцій ще до того, як почнуть писати код для ігрового движка.

Інші експерименти стосуються моделювання історичних місць за архівними фотографіями та візуалізації паводків або пожеж. Компанії також оцінюють придатність технології для швидкого створення робочих сценаріїв. У Google наголошують, що ці застосування поки досліджують.

Наступний етап розвитку передбачає інтеграцію генерації зображень із плануванням дій. У цьому контексті система Gemini відповідає за визначення структури і послідовності подій, тоді як Genie створює їхній візуальний та звуковий супровід, а також описує хід подій. Такий підхід сприятиме кращій узгодженості між візуальними елементами та завданнями користувача.

Перед стартом Google провела ретельні внутрішні перевірки безпеки і ввела обмеження на виготовлення шкідливого контенту. Усі створені відео та аудіозаписи отримуватимуть цифрову мітку SynthID. Ця невидима для людського ока позначка дозволяє ідентифікувати, що матеріал був створений за допомогою штучного інтелекту.

Одночасно модель може демонструвати нестабільність елементів і об'єктів у тривалих або складних сценах. Існують проблеми зі звуковим супроводом, фізичними взаємодіями, просторовою точністю та чіткістю тексту. Google також активно займається покращенням узгодженості у довгих симуляціях.

Після завершення тестування компанія має намір розширити доступ до сервісу для підписників Google AI Ultra через Project Genie. До наступної групи користувачів увійдуть також партнери, які отримали ранній доступ до Gemini API та Google AI Studio – платформ, призначених для розробників. Проте, конкретна дата загального запуску поки що не була оголошена.

Хочемо нагадати, що Google також анонсувала EmbeddingGemma 2, яка призначена для обробки тексту, зображень, аудіо та відео. Ця модель розроблена для пошуку інформації, що пов'язана за змістом, в різних форматах. Вона може функціонувати безпосередньо на пристрої, не вимагаючи передачі даних на віддалені сервери. Наприклад, система здатна знаходити необхідний момент у відео за допомогою голосової нотатки або шукати фрагмент аудіозапису за текстовим запитом.

Google також анонсувала відкриття доступу до Gemini 4 Argon, який призначений для розв'язання складних завдань у сферах програмування, науки і кібербезпеки. Цю технологію можна використовувати в додатку Gemini, через інтерфейс для розробників, а також на платформі Antigravity. Як повідомляє компанія, під час тестування Argon успішно впоралася з усіма 12 сценаріями імітації кібератак. Окрім цього, модель намагалася модифікувати програми оцінювання та витягувати відповіді з пам'яті тестової системи.