В среду совместный разработчик приложений для досок под названием «tldraw» произвел фурор в Интернете, выпустив прототип функции под названием «Make it Real», которая позволяет пользователям рисовать изображение программного обеспечения и воплощать его в жизнь с помощью искусственного интеллекта. Эта функция использует API GPT-4V OpenAI для визуальной интерпретации векторного рисунка в функционирующий веб-код Tailwind CSS и JavaScript, который может копировать пользовательские интерфейсы или даже создавать простые реализации таких игр, как Разразиться.
«Думаю, мне пора прилечь», — написал дизайнер Кевин Кэннон в начале вирусной темы X, в которой рассказывалось о создании функционирующих ползунков, которые вращают объекты на экране, интерфейсе для изменения цвета объектов и работающей игре «Тик-тик». нолики. Вскоре за ним последовали и другие, продемонстрировавшие рисование клона Разразитьсясоздание работающих часов с циферблатом, которые тикают, рисование игры со змеями, создание Понг игра, интерпретация визуальной диаграммы состояний и многое другое.
Пользователи могут поэкспериментировать с онлайн-демоверсией Make It Real. Однако для его запуска требуется предоставить ключ API от OpenAI, что представляет собой угрозу безопасности. Если другие перехватят ваш ключ API, они могут использовать его, чтобы выставить очень большой счет на ваше имя (OpenAI взимает плату за объем данных, поступающих в его API и исходящих из него). Те, кто технически подкован, могут запускать код локально, но для этого все равно потребуется доступ к OpenAI API.
Tldraw, разработанный Стив Руис в Лондоне — это инструмент для совместной работы с доской с открытым исходным кодом. Он предлагает базовый бесконечный холст для рисования, текста и мультимедиа без необходимости входа в систему. Проект, запущенный в 2021 году, получил стартовое финансирование в размере 2,7 миллиона долларов и поддерживается спонсорами GitHub. Когда недавно был запущен API GPT-4V, Руис интегрировал прототип дизайна под названием «draw-a-ui», созданный Сойером Худом, чтобы привнести в tldraw функциональность на основе искусственного интеллекта.
GPT-4V — это версия большой языковой модели OpenAI, которая может интерпретировать визуальные изображения и использовать их в качестве подсказок. Как объясняет на X эксперт по искусственному интеллекту Саймон Уиллисон, Make it Real работает путем «генерации PNG из нарисованных компонентов в кодировке Base64, а затем передачи его в GPT-4 Vision» с системным приглашением и инструкциями по преобразованию изображения в файл с помощью Tailwind. Фактически, вот полная системная подсказка, которая сообщает GPT-4V, как обрабатывать входные данные и превращать их в функционирующий код:
const systemPrompt=”Вы опытный веб-разработчик, специализирующийся на CSS попутного ветра.
Пользователь предоставит вам низкоточный каркас приложения.
Вы вернете один HTML-файл, в котором используются HTML, CSS и JavaScript для создания высококачественного веб-сайта.
Включите любой дополнительный CSS и JavaScript в html-файл.
Если у вас есть изображения, загрузите их из Unsplash или используйте однотонные прямоугольники.
Пользователь предоставит вам примечания синим или красным текстом, стрелками или рисунками.
Пользователь также может включать изображения других веб-сайтов в качестве ссылок на стиль. Как можно лучше перенесите стили, сопоставив шрифты/цвета/раскладки.
Они также могут предоставить вам HTML-код предыдущего дизайна, который они хотят, чтобы вы повторили.
Внесите любые изменения, которые они от вас запросят.
В каркасе HTML-код предыдущего дизайна будет выглядеть как белый прямоугольник.
Используйте творческую лицензию, чтобы сделать приложение более детальным.
Используйте модули JavaScript и unpkg для импорта любых необходимых зависимостей».
По мере того, как все больше людей будут экспериментировать с GPT-4V и комбинировать его с другими платформами, в ближайшие недели мы, вероятно, увидим появление новых приложений технологии анализа изображений OpenAI. Также в среду разработчик использовал API GPT-4V для создания живого повествования в реальном времени видеопотока фальшивым голосом Дэвида Аттенборо, сгенерированного искусственным интеллектом, о котором мы рассказывали отдельно.
На данный момент создается впечатление, что нам дали предварительный обзор возможного будущего способа разработки программного обеспечения — или, по крайней мере, дизайна интерфейса — где создание рабочего прототипа так же просто, как создание визуального макета и наличие искусственного интеллекта. модель сделает все остальное. Как написал разработчик Михаил Дубаков, демонстрируя свое собственное творение Make It Real: «Хорошо, @tldraw официально безумен. Действительно интересно, чем мы окажемся через 5 лет… Я больше не могу идти в ногу с темпом инноваций».
English