您的网站地图爬虫是自己写的吗?

新浪网问答类别: 抓取和收录您的网站地图爬虫是自己写的吗?
james 提问于 1月 之前

请问Zac大佬,您的爬虫是自己写的吗,可以付费或者免费分享吗?

1 个回答
Zac 管理员 回答于 1月 之前

当然不是啊。生成网站地图是任何CMS的标配,或至少有插件可用。我博客用的WordPress,WordPress本身从5.5版本已经有内置生成sitemap.xml功能,也有很多插件,搜索wordpress sitemap.xml plugin可以看到一大堆。我博客的sitemap.xml是All in One 新浪网插件生成的。
 
如果CMS不能生成sitemap.xml就不要用了。
 
如果是自己开发的CMS,通常是从数据库中直接提取URL,应该不会是靠爬虫抓取生成的。

你的回答

2 + 1 =