SEO Spider Tool(网络爬虫工具) v7.2

SEO Spider Tool（全称：Screaming Frog SEO Spider）是来自国外的一款著名网络爬虫工具。很多人都不知道什么叫网络爬虫，网络爬虫就是按照一定的规则，自动的在网络上抓取万维网信息的程序或者脚本，从中找到一些自己需要的信息，那么今天小编就给各位推荐一款非常好用的爬虫工具——SEO Spider Tool，SEO Spider Tool允许你抓取网站的网址，并获取关键元素现场分析现场搜索引擎优化。支持快速分析一个网站的链接、图片、CSS、Script等元素。软件操作简单，只需要输入网站中的一个网页URL，该工具就会以这个URL为起点，自动在这个网站内的网页爬行，一次最多可以爬行500页，但根据版本的不同，也可以自己设定爬行页数。SEO Spider可以精湛、灵活、非常快地爬行，使您可以实时分析结果。它收集关键的现场数据，以允许SEO做出明智的决定。有需要特别是喜欢玩渗透的朋友不要错过哦！

软件功能

1、查找断链
立即抓取网站，找到破坏的链接（404s）和服务器错误。批量导出错误和源URL以修复或发送给开发人员。
2、审核重定向
查找临时和永久重定向，识别重定向链和循环，或上传网站列表以在站点迁移中进行审核。
3、分析页面标题和元数据
在爬网期间分析页面标题和元说明，并确定在您的网站上过长，缩短，丢失或复制的页面标题和元说明。
4、发现重复的内容
使用md5算法检查来发现确切的重复URL，部分复制的元素，如页面标题，描述或标题，并找到低内容页面。
5、使用XPath提取数据
使用CSS Path，XPath或者regex从网页的HTML收集任何数据。这可能包括社交元标记，附加标题，价格，SKU或更多！
6、审查机器人和指令
查看由robots.txt，元机器人或X-Robots-Tag指令（例如“noindex”或“nofollow”）阻止的网址，以及规范和rel =“next”，rel =“prev”。
7、生成XML站点地图
快速创建XML Sitemaps和Image XML Sitemaps，通过URL进行高级配置，以包括最后修改，优先级和更改频率。
8、与Google Analytics（分析）集成
连接到Google Analytics（分析）API，并获取用户数据，例如会话或跳出率和转化次数，目标，交易和收益，以达到登录页面的爬网。

异常分析

错误 - 客户端错误，如链接断开和服务器错误（无响应，4XX，5XX）
重定向 - 永久或临时重定向（3XX响应）。
已阻止的网址 - 查看和审核robots.txt协议不允许的网址。
阻止资源 - 在呈现模式下查看和审核阻止的资源。
外部链接 - 所有外部链接及其状态代码。
协议 - URL是否安全（HTTPS）还是不安全（HTTP）。
URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。
重复页面 - 哈希值/ MD5检查算法检查精确的重复页面。
页面标题 - 缺少，重复，超过65个字符，短，像素宽度截断，与h1相同或多个。
元描述 - 缺少，重复，超过156个字符，短，像素宽度截断或多个。
元关键字 - 主要供参考，因为它们不被Google，Bing或Yahoo使用
文件大小 - URL和图像的大小。
响应时间。
最后修改标题。
页面深度级别。
字数。
H1 - 缺少，重复，超过70个字符，多个。
H2 - 缺少，重复，超过70个字符，多个。
元机器人 - 索引，noindex，跟随，nofollow，noarchive，nosnippet，noodp，noydir等
元刷新 - 包括目标页面和时间延迟。
hreflang属性 - 审计缺少确认链接，不一致和不正确的语言代码，非规范的hreflang等。
渲染 - 通过在内置的Chromium库中渲染内容并执行JS来抓取JavaScript框架，如AngularJS。
AJAX - 选择遵守Google现在已弃用的AJAX爬网计划。
图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图片超过100kb，缺少alt文字，alt文字超过100个字符。

安装教程

1、首先到本页面下方下载数据压缩包然后进行解压，解压出的文件夹里有个“ScreamingFrogSEOSpider-7.2.exe”可执行文件，双击可执行文件进入安装。
2、软件默认的安装路径是C:Program Files (x86)Screaming Frog SEO Spider，如需安装到其他盘符下请点击“Browse”，选后路径后点击确定，然后点击next。

3、默认创建安装文件夹Screaming Frog SEO Spider，点击install

4、进入自动安装，因各电脑配置不同安装消耗的时间也不同，请耐心等待。

5、安装Java程序运行包双击chromeinstall-8u144.exe进行安装

6、下载安装程序过程可能较长，请耐心等待

7、安装Java程序，请耐心等待

8、Java程序安装完成

常见问题

1、为什么SEO蜘蛛不会开始？
①这几乎总是由于Java的过时版本。如果您正在运行PC版本，请确保您拥有最新版本的Java，并且您选择安装64位版本
②请卸载，然后重新安装SEO蜘蛛，然后重试。
2、为什么用户在启动时遇到“无法创建Java虚拟机”消息？
①用户正在使用32位版本的Java（这是最常见的原因）。需要手动选择并安装64位版本的Java。如果用户已经拥有64位版本的Java，那么请卸载所有版本的Java并重新手动重新安装64位版本。
②用户分配了比实际可用的更多的内存。请检查您有多少RAM，并相应降低。如果用户有一台旧的32位机器，可能无法增加内存超过1,024MB。
③内存设置中有一个打字错误 - 仔细检查文件中的示例