网站内的链接应采用网状结构,即每个网页都要有指向上、下级网页以及相关内容的链接,避免出现链接孤岛:
首页有到频道页的链接;
频道页有到首页和普通内容页的链接;
普通内容页有到上级频道以及首页的链接;
内容相关的网页间互相有链接。
URL:简单易懂这样才能使baiduspider更完全的遍历网站的每个页面。需要注意的一点是:重要内容应该距离首页更近,有利于价值传递。
具有良好描述性、规范、简单的URL,有利于用户更方便地记忆和直观判断网页内容,也有利于搜索引擎更有效地抓取和理解网页:
1、移动站首页一般采用m.a.com/3g.a.com/wap.a.com;
2、频道页采用m.a.com/n1/、m.a.com/n2/(其对应于PC站点的频道n2.a.com),当然,n1、n2直接可读更佳;
3、详情页的URL尽量短,减少无效参数,例如统计参数等,保证同一页面只有一套URL地址,不同形式的URL301跳转到正常URL上;
4、通过Robots设置是的不想展示给用户的URL形式以及不愿被百度抓取的私密数据不被抓取。
锚文本(anchor):简洁明确、涵盖主旨
anchor即锚文本,对一个链接的描述性文字,锚文本写得越简洁明确,用户越易明白该指向网页的主旨内容。用户发现你的网页是从其他网页上的链接,锚文本是该网页的唯一介绍。跟普通用户相同,搜索引擎spider在刚发现一个网页时,锚文本也是对该页面理解的唯一因素,同时对于最终的排序起到具有一定的作用。
百度工具
1、工具“移动sitemap”:百度站长平台提供了移动sitemap提交工具,通过提交sitemap,可以使百度更快更全地抓取收录网站内容。
2、工具“移动索引量”:百度站长平台同时提供了移动索引量工具,可以使站长及时了解到自己网站在移动端的收录情况。
3、工具“移动死链提交”:百度站长平台还提供了移动死链提交工具,通过提交死链sitemap,可以使百度更快地发现网站死链进行更新删除。
返回码:404、301等
百度spider在进行抓取和处理时,是根据http 协议规范来设置相应逻辑的,常用的几个返回码如下:
标签: