Бывший исследователь OpenAI выпустил прототип Flipbook: пропуская HTML, напрямую генерируя каждый пиксель с помощью модели видео ИИ

МЕ Новости, 23 апреля (UTC+8), согласно мониторингу 动察 Beating, бывший исследователь OpenAI Зайн Шах и его команда выпустили Flipbook — экспериментальный прототип, который использует модель ИИ для непосредственного генерации пикселей на экране, заменяя традиционные веб-технологии HTML, CSS и т.д. Каждый «страница», которую видит пользователь, — это изображение, созданное ИИ, клик по любой области изображения вызывает генерацию нового изображения для дальнейшего погружения, весь интерфейс не содержит HTML-кода, фиксированных ссылок или предопределённых кнопок, а текст тоже представлен в виде пикселей на изображении. Видео-режим основан на открытой модели для генерации видео DiT (Diffusion Transformer) компании Lightricks из Израиля, — LTX Studio, которая после оптимизации может передавать поток в реальном времени в разрешении 1080p, 24 кадра в секунду через WebSocket на экран пользователя, а бэкенд использует безсерверный GPU от Modal Labs. Шах заявил, что в настоящее время функции Flipbook ограничены, команда ориентирована на визуальные объяснения, но демонстрирует более широкое направление: по мере повышения точности и состояния модели, в будущем это может расшириться до структурированного пользовательского интерфейса, включая сценарии программирования. Шах ранее занимался исследованиями ИИ и робототехники в OpenAI, затем работал специалистом по креативным технологиям в Samsung, а также является выпускником YC S13. В команду входят также бывшие инженеры Humane и Slack Эдди Джиао, бывший инженер Apple Дрю О’Кэрр. (Источник: BlockBeats)