软件简介：
官方网站：https://www.screamingfrog.co.uk/seo-spider
SEO Spider 是一款功能强大且灵活的网站爬虫，能够高效地爬取小型和大型网站，并允许您实时分析结果。它收集关键的站内数据，帮助 SEO 人员做出明智的决策。立即抓取网站，查找无效链接（404）和服务器错误。批量导出错误和源 URL 进行修复，或发送给开发人员。查找临时和永久重定向、识别重定向链和循环，或上传 URL 列表以在站点迁移中进行审核。在抓取过程中分析页面标题和元描述，并找出网站中过长、过短、缺失或重复的内容。使用 md5 算法检查发现完全重复的 URL、部分重复的元素（例如页面标题、描述或标题）并查找内容较少的页面。使用 CSS Path、XPath 或正则表达式从网页 HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 等等！查看被 robots.txt、meta robots 或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及规范和 rel=“next” 和 rel=“prev” 阻止的 URL。
快速创建 XML 站点地图和图像 XML 站点地图，并对 URL 进行高级配置以包含上次修改、优先级和更改频率。连接到 Google Analytics、Search Console 和 PageSpeed Insights API，并获取抓取的所有 URL 的用户和性能数据，以获得更深入的洞察。使用集成的 Chromium WRS 渲染网页，以抓取动态、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。使用交互式爬行和目录力导向图和树形图站点可视化来评估内部链接和 URL 结构。设定抓取间隔，并自动将抓取数据导出至任意位置，包括 Google 表格。或者，您也可以通过命令行完全自动化操作。跟踪 SEO 问题和机遇的进展，并查看爬取之间发生的变化。使用高级 URL 映射，将暂存环境与生产环境进行比较。