软件基本功能:
软件蜘蛛爬取站内URL链接(软件蜘蛛非深度爬取),非站内链接自动过滤
软件根会据日志判定,以防止浪费URL配额数量
软件提交URL记录日志,一天一记
全自动推送至百d站长平台。
版本更新内容:
支持设置爬虫爬取网页深度
优化软件运行
优化部分细节
上一篇 先驱电脑版QQ多账号多线程框架
下一篇 自写网络验证系统开源版
软件基本功能:
软件蜘蛛爬取站内URL链接(软件蜘蛛非深度爬取),非站内链接自动过滤
软件根会据日志判定,以防止浪费URL配额数量
软件提交URL记录日志,一天一记
全自动推送至百d站长平台。
版本更新内容:
支持设置爬虫爬取网页深度
优化软件运行
优化部分细节