更多VJ素材请店内搜索
【声明】VJ师網所有原创作品（含预览图）均受著作权法保护著作权及相关权利归上传用户所有，未经许可任何人不得擅自使用否则将依法被要求承担高达人民币50万元的赔偿责任。
音频: 仅供参考 禁止商用
设计师近30天收入：2,610元
这个简单的代码爬取的是百度的網页信息没有经过任何修饰，可以看到很多换行符啊占位符啊相当杂乱。所以爬取的网页数据肯定还要继续处理
要对爬取的网站信息做处理，就要进行正则匹配了正则是怎么样的这里也不多说，在Python3中对于一个字符串进行正则表达大概是如下形式：
pattern = pile完成一个匹配模式，然后按照该模式对文本进行匹配具体的匹配肯定要通过分析网页信息决定。这大概就是目前进行的一些粗略的针对oj的爬虫学习如果未来爬其他oj的时候需要用到cookie等技术的话酌情再更新博客吧，不过按情况国内的网站好像都不怎么反爬
update5-14 处于标准化和简单化的原则，学***了scrapy和Xpath的一些知识准备使用框架完成爬虫的任务。下面将记录学习这些东西的情况
所谓Scrapy，是一个为了爬取网站数据提取结构性数据洏编写的应用框架。 可以应用在包括数据挖掘信息处理或存储历史数据等一系列的程序中。
Scrapy 使用 Twisted这个异步网络库来处理网络通讯架构清晰，并且包含了各种中间件接口可以灵活的完成各种需求。