前言

近期对于小说网站需要学习爬虫知识，除了基本的requests和bs4这些使用一些好用的框架简单语法使用

Scrapy和PySpider

Scrapy

是用纯 Python 实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

安装教程

1.下载python

2.配置环境变量

3.升级pip安装包

1	python -m pip install --upgrade pip

pip安装命令后面加上-i https://pypi.tuna.tsinghua.edu.cn/simple ，链接还可以换成其他国内镜像链接：

清华大学：https://pypi.tuna.tsinghua.edu.cn/simple
豆瓣 http://pypi.douban.com/simple --trusted-host pypi.douban.com

xxxxxxxxxx public static void main(String[] args){ Map map = new HashMap(); //定义Map对象 map.put(“apple”,”新鲜的苹果”); //向集合中添加对象 map.put(“computer”,”配置优良的计算机”); map.put(“book”,”堆积成山的图书”); map.put(“time”,new Date()); String key = “book”; boolean contains=map.containsKey(key); //判断是否包含指定的键值 if(contains){ //如果条件为真 System.out.println(“在Map集合中包含键名”+key); //输出信息 }else{ System.out.println(“在Map集合中不包含键名”+key); }}java

(1)点击下载地址,进入后按 ctrl+f ,搜索twisted,然后下载对应版本

cp27:表示python2.7版本 cp36:表示python3.6版本

win32:表示Windows32位操作系统