Skip to content

Latest commit

 

History

History
204 lines (173 loc) · 7.66 KB

README.md

File metadata and controls

204 lines (173 loc) · 7.66 KB

Python 练习

新手勿喷

完成情况

  • 01-html和css作业
  • 02-javas语法作业
  • 03-jquery练习
  • 04-socket发送请求
  • 05-requests发送网络请求
  • 06-正则表达式
  • 07-xpath和bs4提取数据
  • 08-输出存储-mysql和mongodb
  • 09-多任务爬虫
  • 10-异步请求作业
  • 11-寒假作业
    • 3g壁纸
    • 360图片数据
    • B站评论采集
    • 凤凰网视频采集
    • 千千小说文本数据采集
    • 垃圾焚烧站数据采集
    • 获取到好看视频的视频数据
    • 获取淘宝数据信息
    • 采集站长素材的音效数据
    • 采集网易新闻数据
    • 获取腾讯动漫的动漫数据
    • 阴阳师壁纸采集
  • 12-自动化作业
  • 13-免费ip采集测试
  • 14-前程无忧 [ 51job.com ]
  • 15-企查查 [ qcc.com ]
  • 16-红人点集 [ hh1024.com ]
  • 17-有道翻译 [ fanyi.youdao.com ]
  • 18-国家医疗保障 [ fuwu.nhsa.gov.cn ]

01-html和css作业

/img/01-1.png /img/01-1.png 参考当前表单图片，写好html代码

02-javas语法作业

Javascript基础语法——是否闰年

03-jquery练习

  1. 使用jquery修改div元素的背景色(随意颜色)
  2. 使用jquery修改div的子元素p的内容为"我是子元素"
  3. 使用jquery修改第二个p元素的背景色为"orange"
  4. 使用jQuery添加文本的方式将“添加的文本”追加到p标签的后方
  5. 删除列表元素中最后一个li元素里的内容
  6. 使用ajax方法对网址：http://www.liulongbin.top:3006/api/getbooks 发送请求；并使用循环的方式将作者展示在id为box1的标签里面

html代码：

<button id="change1">点击改变背景颜色</button>
<button id="change2">点击修改子元素内容</button>
<button id="change3">点击修改p元素背景</button>
<button id="cv">点击克隆p元素</button>
<button id="del">点击删除最后的li元素</button>
<button id="ajax_req">发送ajax请求获取数据</button>
<div>
   <p>关关雎鸠，在河之洲。</p>
   <p>窈窕淑女，君子好逑。</p>
   <p>参差荇菜，左右流之。</p>
   <p>窈窕淑女，寤寐求之。</p>
   <p>求之不得，寤寐思服。</p>
   <p>悠哉悠哉，辗转反侧。</p>
   <ul>
       <li>《西游记》</li>
       <li>《红楼梦》</li>
       <li>《水浒传》</li>
       <li>《三国演义》</li>
       <li>《金瓶梅》</li>
   </ul>
   <div id="box1"></div>
</div>

最后呈现的效果：

/img/03-1.png

04-socket发送请求

05-requests发送网络请求

目标网址：https://image.baidu.com/
获取到动态接口里面的图片数据进行下载；下载页数3页图图

06-正则表达式

目标网址：https://www.qqtxt.cc/list/1_1.html
通过正则获取到当前网页上更新列表里的所有小说名字(10页)

07-xpath和bs4提取数据

  1. 网址：http://ip.yqie.com/ipproxy.htm
    用bs4来做一个简单的爬虫，爬取某个ip网址里的免费ip，
    获取每个ip的代理IP地址、端口、服务器地址、是否匿名、类型、存活时间
  2. 网址：https://cs.lianjia.com/ershoufang/rs/
    用xpath做一个简单的爬虫，爬取链家网里的租房信息获取标题，位置，
    房屋的格局（三室一厅），关注人数，单价，总价

08-输出存储-mysql和mongodb

目标：

获取芒果tv视频电视剧一栏里的电视剧信息，提取名称、集数、描述，获取10个页面，将数据分别存储在mysql和MongoDB数据库

目标网址：

https://www.mgtv.com/lib/2?lastp=list_index&lastp=ch_tv&kind=19&area=10&year=all&sort=c2&chargeInfo=a1&fpa=2912&fpos=

09-多任务爬虫

网址：https://so.tv.sohu.com/list_p1101_p2_p3_p4-1_p5_p6_p77_p80_p92_p104_p11_p12_p13_p14.html

需求：通过多线程队列的方式，获取30页数据信息存储在mongo

需要的字段：标题，主演，周播放量，集数

10-异步请求作业

要求：通过异步的方式获取到英雄联盟官网的英雄皮肤图片
网址：https://101.qq.com/#/hero

11-寒假作业

12-自动化作业

地址：https://category.vip.com/suggest.php?keyword=%E5%8F%A3%E7%BA%A2&ff=235|12|1|1
技术：selenium自动化
字段：价格、标题 可以自行拓展
保存：mongo
交付：数据入库截图

13-免费ip采集测试

采集快代理30页ip数据进行测试，获取到有效的ip地址
网址：https://www.kuaidaili.com/free/

14-前程无忧 [ 51job.com ]

地址：https://we.51job.com/pc/search?jobArea=190200&keyword=%E7%88%AC%E8%99%AB&searchType=2&sortType=0&metro=
要求：破解签名采集对应数据

15-企查查 [ qcc.com ]

要求：逆向请求头 headers 中的加密 key 和 value 的值

16-红人点集 [ hh1024.com ]

地址：http://www.hh1024.com/#/login?redirect=%2FrealTimeLiving
需求：协议分析进行模拟登陆获取返回的token信息

17-有道翻译 [ fanyi.youdao.com ]

地址：https://fanyi.youdao.com/index.html#/
需求：使用webpack技术提取响应数据

18-国家医疗保障 [ fuwu.nhsa.gov.cn ]

地址：https://fuwu.nhsa.gov.cn/nationalHallSt/#/search/medical?code=90000&flag=false&gbFlag=true
需求：破解参数，并解密返回的数据