Уиллисон разработал метод автоматизации сбора данных с экранов, используя видеозапись и ИИ-модель Gemini 1.5 Pro. Это решение позволяло извлекать и формировать информацию в JSON, вызвав вопросы о конфиденциальности из-за растущего интереса крупных компаний к этой технологии.
Столкнувшись с задачей ручного сбора данных о платежах из двенадцати различных электронных писем, Уиллисон принял решение использовать инновационный подход.
Он создал короткую 35-секундную видеозапись экрана и применил модель Gemini 1.5 Pro для извлечения необходимой информации и её преобразования в требуемый формат. Искусственный интеллект успешно обработал данные, касающиеся цен и дат, из видео и структурировал их в формате JSON. Весь процесс обошелся менее чем в одну десятую цента.
Уиллисон полагает, что подобный метод способен существенно изменить взаимодействие ИИ-ассистентов с экранными данными, автоматизируя такие сложные задачи, как навигация по веб-ресурсам или обработка информации с экранов.Несмотря на преимущество автоматизации, метод под названием «видеоскрейпинг» вызывает вопросы относительно конфиденциальности данных, что становится особенно актуальным в свете исследований, проводимых такими компаниями, как Microsoft и OpenAI. Некоторые наблюдатели отметили, что метод Уиллисона выглядит для них «жутким».
Свежие комментарии