2011年的时候,我在 Qing 做产品设计师。
刚入行时最长做的任务就是竞品分析,当时国内的轻博客产品有很多,Qing、点点、Lofter、人人小站等,如何分析竞品的数据变为一个重要的问题。
这类内容开放的产品,一般搜索引擎的爬取率很高。当时突发奇想是不是我通过搜索 Google 高级搜索来获取竞品的数据。
首先,我们来了解下 Google 的高级搜索功能。
传送门:http://www.google.com.hk/advanced_search
表单功能很强大,可以通过关键词进行搜索,也可以选择字词出现的位置。比如,我们现在想看简书有多少文章。根据文章的链接,http://www.jianshu.com/p/cba3e43cd5b0
我们可设置参数,包含关键字: "p" ,域名为:"www.jianshu.com"。
allinurl: "p" site:www.jianshu.com
可以看出简书大概 1,100,000 条发布的文章,那么这个数据是不是准确的呢?除了 Google 这个渠道,还有另外获得数据的方式么!
通常我们还可以通过 URL 来看数据,以知乎的链接为例,很多网站的链接中均会包含数字,有些数字是未经过处理的自增 ID 。也就是说你想知道该产品的数据,可以通过创建一个用户、一个文章、一个问题的方式,来让对象+1,然后查看链接中的数字,就可以大致判断出。
https://www.zhihu.com/question/24325481
但对于简书这种在 URL 中做过放爬处理的产品,就很难看出,这个时候我们可以通过 API 调用来查看,比如喜爱文章、关注用户等。
http://www.jianshu.com/p/cba3e43cd5b0
正常情况下,产品很难把所有的路径都堵上。比如简书虽然在 URL 和前端 API 上都做了 hash 处理。但是当用户新建文章时,URL中依然有对应的文集ID、文章ID。
http://www.jianshu.com/writer#/notebooks/3126817/notes/2938972
由此通过重新创建用户创建文章,可推测出文集数为 3126817(通过文集数可以大致推测用户数),文章数为 2938972。
这与我们通过 Google 获取的数据相比,差了3倍左右。可能的原因:一是搜索引擎没有全量抓取,二是有大量的草稿被创建而没有发布。
尽管通过这些方式获得的数据不是完全准确,但是也可以通过数据曲线的变化,了解产品发展的趋势。