Skip to content

W
webmagic
Commit 72525815 authored by yihua.huang's avatar yihua.huang
Browse files
Options

add results

parent 65dc3721
Hide whitespace changes
Inline Side-by-side
Showing with 1 addition and 1 deletion
README.md
View file @ 72525815
...@@ -26,7 +26,7 @@ webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载 ...@@ -26,7 +26,7 @@ webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载
* ####可扩展#### * ####可扩展####
参考[`scrapy`](https://github.com/scrapy/scrapy)的设计，webmagic将爬虫的扩展点分为Processor、Schedular、Downloader、Pipeline三个模块，可以通过扩展这些接口实现强大的扩展功能。如可以通过多个Spider实现多线程抓取；可以通过扩展Schedular实现断点续传乃至于分布式爬虫；可以通过扩展Pipeline实现业务可定制的持久化功能。webmagic的架构原理见作者的一篇文章：[webmagic的设计机制及原理-如何开发一个Java爬虫](http://my.oschina.net/flashsword/blog/145796) 参考[`scrapy`](https://github.com/scrapy/scrapy)的设计，webmagic将爬虫的扩展点分为Processor、Schedular、Downloader、Pipeline三个模块，可以通过扩展这些接口实现强大的扩展功能。如可以通过多个Spider实现多线程抓取；可以通过扩展Schedular实现断点续传乃至于分布式爬虫；可以通过扩展Pipeline实现业务可定制的持久化功能。webmagic的架构原理见作者的一篇文章：[webmagic的设计机制及原理-如何开发一个Java爬虫](http://my.oschina.net/flashsword/blog/145796)
![image](http://code4craft.github.io/images/posts/webmagic.png) ![image](http://code4craft.github.io/images/posts/webmagic-0.1.0.png)
------ ------
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment