Telegram Chat Parser

Парсер для анализа экспорта чатов Telegram с использованием OpenRouter API. Анализирует сообщения о пересечении границ и извлекает истории с ответами на вопросы о военной службе.

Установка

1. Установите Poetry (если еще не установлен):

curl -sSL https://install.python-poetry.org | python3 -

2. Установите зависимости:

poetry install

3. Создайте файл .env с настройками API:

cp .env.template .env
# Отредактируйте .env и добавьте ваш реальный API ключ

Использование

Основной скрипт (последовательная обработка)

poetry run python telegram_parser.py

🚀 Быстрая параллельная обработка

poetry run python telegram_parser_async.py

Тестирование

poetry run python test_parser.py

Тестирование с образцом данных

# Последовательная обработка
poetry run python run_sample.py

# Параллельная обработка (быстрее!)
poetry run python run_sample_async.py

Активация виртуального окружения

poetry shell

Настройка

В файле config.py можно настроить:

• MAX_MESSAGES_TO_PROCESS - лимит обрабатываемых сообщений (по умолчанию 10, None для всех)
• OPENROUTER_MODEL - модель для анализа (по умолчанию: openai/gpt-4o-mini)
• MAX_TOKENS и TEMPERATURE - параметры API

Настройки параллельной обработки:

• CONCURRENT_REQUESTS - количество одновременных запросов (по умолчанию: 5)
• REQUEST_DELAY - задержка между батчами запросов в секундах (по умолчанию: 0.2)

Можно также настроить через переменные окружения:

export CONCURRENT_REQUESTS=3
export REQUEST_DELAY=0.5

Что анализируется

Для каждой истории в сообщениях определяется (0 или 1):

Основные вопросы:

1. Имеет ли военник - есть ли у человека военный билет
2. Вернулся в Россию - возвращался ли в Россию
3. Уехал из России - покидал ли Россию
4. Есть повестка - была ли повестка в любой момент истории
5. Не смог пересечь границу - отказали в пересечении границы
6. Вернулся в Россию, дали повестку, а надо уезжать из России - специфический сценарий

Демография:

7. Возраст до 30 лет
8. IT профессия
9. Военная профессия/офицер
10. Студент

Обстоятельства поездки:

11. Путешествует один
12. Путешествует с семьей
13. Авиаперелет
14. Железная дорога
15. Автомобиль/автобус

География:

16. Москва (аэропорты)
17. Санкт-Петербург
18. Сухопутная граница

Процедуры на границе:

19. Задавали вопросы о службе
20. Проверяли документы дополнительно
21. Долгий опрос (более 30 минут)
22. Успешно пересек границу
23. Отказ в пересечении

Цель поездки:

24. Деловая поездка
25. Туризм/отдых
26. Переезд на ПМЖ
27. Есть обратный билет
28. Билет в одну сторону

Выходные данные

Результат сохраняется в Excel файл со следующими колонками:

• Message ID - ID сообщения
• Message Date - дата сообщения в Telegram
• Story Date - дата события (определяется ИИ из текста истории или берется дата сообщения)
• Story - краткое описание истории
• Колонки с ответами на каждый вопрос (0/1)

Структура проекта

• telegram_parser.py - основной скрипт парсера (последовательная обработка)
• telegram_parser_async.py - ⚡ быстрый парсер с параллельной обработкой
• config.py - конфигурация API, вопросов и системного промпта
• test_parser.py - тестирование компонентов
• run_sample.py - тестирование с ограниченным количеством сообщений
• run_sample_async.py - ⚡ тестирование с параллельной обработкой
• pyproject.toml - конфигурация Poetry
• .env.template - шаблон переменных окружения
• README.md - документация

Настройка OpenRouter

1. Зарегистрируйтесь на https://openrouter.ai
2. Получите API ключ
3. Добавьте его в файл .env
4. Используйте модель, поддерживающую structured outputs (по умолчанию: openai/gpt-4o-mini)

Особенности

• 🚀 Параллельная обработка: Async версия обрабатывает несколько сообщений одновременно, значительно ускоряя анализ
• Structured Outputs: Использует OpenRouter Structured Outputs для гарантированного получения валидного JSON
• Без пре-фильтрации: Все сообщения обрабатываются ИИ (кроме очень коротких)
• Интеллектуальное определение дат: ИИ сам определяет наиболее релевантную дату для каждой истории
• Множественные истории: Сообщения могут содержать несколько историй, разделенных линиями (—————————)
• Расширенная аналитика: 28 различных параметров для каждой истории
• Гибкая настройка: Лимиты обработки и параметры API настраиваются в config.py
• Управление нагрузкой: Настраиваемые лимиты concurrent requests и задержки для избежания ограничений API

Производительность

Последовательная обработка (telegram_parser.py):

• ⏱️ ~3 секунды на сообщение (с учетом задержек API)
• 📊 1 запрос в момент времени

Параллельная обработка (telegram_parser_async.py):

• ⚡ Значительно быстрее при большом количестве сообщений
• 📊 До 5 одновременных запросов (настраивается)
• 🎯 Оптимально для обработки сотен сообщений

Рекомендация: Используйте telegram_parser_async.py для обработки более 10 сообщений.