Nvidia представляет раннюю версию Chat with RTX – демонстрационное приложение, которое позволяет запускать на вашем компьютере личного чат-бота с искусственным интеллектом. Вы можете передавать ему видеоролики YouTube и свои собственные документы, чтобы создавать сводки и получать релевантные ответы на основе ваших собственных данных. Все это работает локально на ПК, и все, что вам нужно, – это графический процессор RTX 30-й или 40-й серии с как минимум 8 ГБ видеопамяти.
Чат с RTX может обрабатывать видео YouTube, поэтому вы просто вводите URL-адрес, и он позволяет вам искать в расшифровках конкретные упоминания или резюмировать все видео. Имеется поддержка различных форматов файлов, включая PDF, doc/docx и xml. Достаточно указать приложению папку, содержащую ваши файлы, и чат за считанные секунды загрузит их в библиотеку. Кроме того, пользователь сможет указать URL-адрес плейлиста YouTube, и приложение загрузит транскрипции видео в плейлисте, что позволит вам запросить контент, который они охватывают.
Однако, Chat with RTX имеет некоторые недостатки, например, он напоминает раннюю демо-версию для разработчиков. Чат с RTX по сути устанавливает веб-сервер и экземпляр Python на ваш компьютер, который затем использует модели Mistral или Llama 2 для запроса данных, которые вы ему передаете. Затем он использует ядра Nvidia Tensor на графическом процессоре RTX для ускорения ваших запросов.