• SEO文章推广! 合作联系qq:122325244 正式全面改版 !免费SEO地址:https://www.seozhan.cn/tool 站长QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏SEO站长博客吧

Superl-url:一款开源枢纽词URL收罗器械

脚本编程 SEO站长博客 4个月前 (08-01) 75次浏览 已收录 0个评论

摘要

superl-url 是一款开源的,而且成效壮健的环节词 URL采撷器械,能够依照环节词,对探求引擎实质检索结果的网址实质实行采撷

法式首要使用于安详分泌测试项目,以及批量评估各式 CMS 编制 0DAY 的影响水平,同时也是批量采撷本人获取感乐趣的网站的一个小法式~~

从来几年前就写好了,没什么技艺含量,没思到小伙伴的操纵需求还蛮大的,不敢私藏~~

立了flag,git 的 star 过 200 就必然抽期间去升级,这个flag仍旧完毕,目前仍旧是 4.0 版本~~ 更新后就正在这里发出来了。

   上风先容

1.救援众探求引擎,很简单增添集成。(已内置了百度,搜狗,360),构造模块化,很简单实行扩展,能够无穷增添。

2.开源,跨平台,操纵 python 斥地;

3.做了兼容性优化,同时救援 python2 和 python3;

4.救援自愿过滤反复实质,救援过滤题目中存正在指定环节词的实质,救援过滤域名;

5.保管体例同时救援当地 txt 和 mysql 数据库;

6.从探求引擎采撷到的所在,是的确网站所在,不是像百度速照那样的三方所在;

7.众经过同时采撷。每个探求引擎都单唯一个经过;

8.可活泼的通过装备文献自界说要保管的结果式子。譬喻只输出带参数的原始的确 URL,或者只输出域名,或者同时输出题目,探求引擎名称。

9.可自界说每页采撷期间间隔,提防被障蔽;

   运转成绩

   操纵证明

1.安设 python2 或者 python3 运转处境;

2.借使提示没有找到库,则须要安设依赖:

借使是 python3,则:

pip install ConfigParser

pip install tldextract

借使是 Python2,则:

pip install tldextract

pip install -i configparser

3.依照本人的须要,点窜根目次下的 config.cfg 装备文献。

   装备文献证明 节点 参数 示例值 证明 global save_type mysql 保管类型,可挑选 file 或者 mysql,借使是 file 则保管为当地 txt global sleep_time 1 每次探求治理完一页后的等候期间,提防太一再被探求引擎障蔽 url url_type realurl 保管文献 txt 内中显示的url类型。realurl=的确网站所在,baseurl=原始探求引擎所在,urlparam=带参数的的确网站所在 filter filter_status True 是否开启过滤器,借使开启,则过滤域名和题目都不生效 filter filter_domain True 是否过滤域名 filter filter_title True 是否过滤题目 log write_title True 是否显示题目 log write_name True 是否显示探求引擎名称 engine baidu True 百度探求引擎模块是否开启 engine sougou True 搜狗模块是否开启 engine so False 搜搜模块是否开启 (搜搜现正在抓取不到了) pagesize baidu_pagesize 50 每页条数 pagesize sougou_pagesize 50 每页条数 pagesize so_pagesize 10 每页条数 mysql host 127.0.0.1 借使保管类型为 Mysql,则此节点必需装备精确 mysql port 3306 端口 mysql user root 用户名 mysql password root 暗码 mysql database superldb 数据库名称 mysql table search_data 外名称 file save_pathdir result 借使保管类型为 file,则这里成立的是保管的途径,今朝为法式根目次的 result 文献夹 plugin pr True 预留的插件成效,短促不救援

借使保管体例为 Mysql,还须要推行以下 sql 创修外:

CREATE TABLE `search_data` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`engine` varchar(20) NOT NULL DEFAULT ,

`keyword` varchar(100) NOT NULL DEFAULT ,

`baseurl` varchar(255) NOT NULL DEFAULT ,

`realurl` varchar(255) NOT NULL DEFAULT ,

`urlparam` varchar(255) NOT NULL DEFAULT ,

`webtitle` varchar(255) NOT NULL DEFAULT ,

`create_time` int(10) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

项目所在:【GitHub 传送门】


SEO站长博客 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Superl-url:一款开源枢纽词URL收罗器械
喜欢 (0)
[h4ck3st@126.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址