所以这是一种反直觉的好方法。。通常不清楚网站上的哪些页面或参数实际上耗尽了您的所有抓取预算。大型站点上的日志分析通常会产生令人惊讶的结果，因此您可能需要考虑这一点。然后实际使用其中一些工具。
我们认为用户甚至不需要看到如此多的冗余 URL，我们可以对它们进行 301。对于用户需要查看的变量，我们可以看到规范标签或无索引标签。但我们也希望避免预先添加它们，这样我们就不会因为它们的规范化或无索引变体的衰减或衰减而失去一些 PageRank。
正如我所经历的那样，Robots.txt 和 nofollow 是您很少使用的策略，因为它们会造成 PageRank 死胡同。最后，我不久前从 Ollie HG Mason 的博客文章中得到了一种最近或更有趣的提示（我可能会在下面链接到该提示），那就是，如果您的网站上有一个站点地图，仅用于新的或最近的 URL、您最近更改的 URL，那么因为 Googlebot 非常渴望新鲜内容，正如我所说，它通常会开始抓取该网站。因此，您可以使用此策略将抓取预算定向到新的 URL，这样每个人都会受益。
Googlebot 只想查看新的网址。您可能只是希望 Googlebot 看到新的网址。因此，如果您有一个专门用于此目的的站点地图，那么每个人都会受益，这可能是一个很好且易于实施的技巧。就是这样。我希望您觉得这很有用。如果没有，请随时在 Twitter 上告诉我您的建议或挑战。我想看看其他人如何处理这个话题。
布列塔尼·米勒
作者：布列塔尼·穆勒
2021 年 10 月 1 日 阅读 5 分钟
Python 简介 [第 2 部分]
星期五 | 白板技术搜索引擎优化 |高级搜索引擎优化
想使用Python，但不知道从哪里开始？布列塔尼和南瓜作为第二集的联合主持人，提供了更多有关如何开始的精彩提示！
概述了 Python 基础知识的白板图像。
单击上面的白板图像可在新选项卡中打开更大的版本！
视频转录
哈喽，驼鹿迷们。欢