Описание проекта:
Мы представляем веб-сервис для быстрой генерации виральных видео. Система использует искусственный интеллект для анализа оригинального видео, автоматически выделяя ключевые моменты и нарезая видео на короткие клипы, которые привлекают внимание зрителей и повышают узнаваемость. Каждый клип сопровождается субтитрами и визуальными элементами для усиления эмоционального воздействия на аудиторию.
Стек: Whisper, PyTorch, NumPy, Pandas, NLTK, librosa, Scikit-image, Scipy, OpenCV, FastAPI, React, PostgreSQL, Docker.
Александр Ергучев (Backend)
Александр Скороходов (Frontend)
Данила Ильин (ML-Специалист)
Илья Богданов (Product Manager)
Полина Назарова (ML-Специалист)
Перейти на сайт: Website
Эмоциональный и уникальный контент привлекает пользователей и становится виральным. Наше решение разработано для быстрого и комплексного анализа видеороликов, что делает его идеальным для обработки больших объемов данных. Оно значительно дешевле аналогов, использующих нейросетевые методы.
Из видео мы анализируем аудиодорожку, видеоряд, а также выполняем транскрибацию текста с помощью Whisper (base) и оценку эмоциональной тональности с использованием ruBERT. На основе этих данных формируются фрагменты видео, каждому из которых присваивается "коэффициент виральности". Мы группируем пики коэффициентов, размещая их в центре отрезков, чтобы создать яркие и привлекательные ролики.
Для каждого преобразования добавляется дополнительный множитель. В рамках хакатона мы использовали "нулевые коэффициенты", но предполагается, что с обратной связью их можно будет оптимизировать с использованием градиентного бустинга, генетических алгоритмов и других методов.
Анализ аудиодорожки и видеоряда выполняется с помощью статистических методов:
- Видеоряд: гистограмма направленных градиентов (HOG), энтропия изображений
- Аудио: RMS и Onset_strength
Эти методы делают наше решение легким и быстрым — обработка видео занимает не более 15% от его длительности.
Мы также автоматически создаём название, теги и описание видео с помощью статистических методов:
- Извлечение ключевых слов с использованием TF-IDF
- Приведение ключевых слов к начальной форме
- Экстракция ключевых предложений с использованием TextRank