最新公告
  • 本站一直秉承服务宗旨:履行“站长”责任,销售只是起点 服务永无止境!”的经营理念立即加入
  • WebMagic(Java爬虫框架) v0.7.2

    • 授权方式:开源软件
    • 界面语言:简体中文
    • 文件大小:729 KB
    • 更新时间:2020-08-13
    • 资源类型:国产软件
    • 推荐等级:★★★☆☆
    • 平台环境:JАVA
    • 作者主页:点击查看
    • 演示地址:点击查看

    详细介绍 - [ WebMagic(Java爬虫框架) v0.7.2 ]

    webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

    webmagic的主要特色

    1、完全模块化的设计,强大的可扩展性。
    2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
    3、提供丰富的抽取页面API。
    4、无配置,但是可通过POJO+注解形式实现一个爬虫。
    5、支持多线程。
    6、支持分布式。
    7、支持爬取js动态渲染的页面。
    8、无框架依赖,可以灵活的嵌入到项目中去。

    WebMagic(Java爬虫框架)页面展示WebMagic(Java爬虫框架) v0.7.2插图相关阅读

    同类推荐:站长常用源码

    猜你在找

    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
    3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    7. 如有侵权麻烦联系邮箱2697381891@qq.com删除文章!

    源码库 » WebMagic(Java爬虫框架) v0.7.2
    • 3031会员总数(位)
    • 37766资源总数(个)
    • 650本周发布(个)
    • 8 今日发布(个)
    • 1173稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情