Парсер осуществляет сбор данных о документах PEP и документации на Python:
- сравнивает статус на странице PEP со статусом в общем списке;
- считает количество PEP в каждом статусе и общее количество PEP;
- собирает ссылки на статьи о нововведениях в Python, информацию об авторах и редакторах статей.
- собирает информацию о статусах версий Python.
- скачивает архив с актуальной документацией.
В парсере настроено логирование и обработка исключений. Функции программы и режимы парсера запускаются через аргументы командной строки. Данные можно выводить в csv-файл или в терминал (в том числе в виде prettytable).
Для запуска парсера посмотреть справку:
cd src/python main.py -h
usage: main.py [-h] [-c] [-o {pretty,file}] {whats-new,latest-versions,download,pep}
Парсер документации Python
positional arguments:
{whats-new,latest-versions,download,pep}
Режимы работы парсера
options:
-h, --help show this help message and exit
-c, --clear-cache Очистка кеша
-o {pretty,file}, --output {pretty,file}
Пример запуска парсера:
python main.py pep -o file
Логи можно посмотреть:
srs/logs
Файлы-csv:
srs/results
Загруженные документы:
srs/downloads