Skip to content

caoyuan0816/PySpider

Repository files navigation

Python Spider

模块列表

模块名称 功能
mini_spider 主运行逻辑
config_load 读取并存储配置信息
seedfile_load 读取种子文件
log 提供logger的初始化
define 定义异常、装饰器和一些工具类
webpage_parse 解析HTML
webpage_save 保存HTML到磁盘
url_table 集合类,对url求集合运算
craw_thread 工作线程类

About

A Mini-WebSpider written by Python.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages