选择数据流 导航至“配置标签设置

mdasadseo265686

在管理中选择“配置标签设置”选项 单击“显示更多”，然后导航至“定义内部流量”。 在“设置”窗口下选择“定义内部流量” 单击“创建”按钮。 “创建”内部交通规则按钮 输入规则名称、流量类型值（例如“bot”）以及要过滤的 IP 地址。如果您不想为每个地址创建单独的过滤器，请从多种匹配类型（等于、范围等）中进行选择，并添加多个地址作为条件。

“创建内部流量规则”设置页面 再次单击“创建”按钮，就完成了。允许 24 至 48 小时的处理延迟。 进一步阅读：抓取错误：它们是什么以及如何修复它们 如何确保好的机器人可以抓取您的网站 一旦您在分析中阻止了不良机器人并过滤了机器人流量，请确 电话号码数据库 良好的机器人仍然可以轻松抓取您的网站。 为此，请使用站点审核工具来识别 140 多个潜在问题，包括可抓取性。 就是这样： 导航到 Semrush，然后单击左侧导航栏中“页面和技术 SEO”下的网站审核工具。

从 Semrush 仪表板导航到站点审核工具 输入您的域名并单击“开始审核”按钮。 在站点审核工具中输入您的域名 接下来，您将看到“站点审核设置”菜单。 单击您的域所在的“抓取范围”行旁边的铅笔图标。 站点审核设置窗口中的抓取分数 选择是否要抓取整个域、子域或文件夹。 如果您希望站点审核对整个域进行爬网（我们建议这样做），请保持一切不变。 接下来，从限制下拉列表中选择要爬网的页面数。