3月 082013
 

新浪微博是中国最大最流行的微博平台,注册用户据说达到了五亿,基本上每个中国网民都注册了一个帐号。不同于西方的Twitter,新浪微博必须承担起审查任务。休斯顿莱斯大学的研究人员收集了数百万帖子,分析和识别新浪微博审查员(或者叫微博小秘书)的规模和删贴速度。论文(PDF)发 表在预印本网站arxiv上。研究人员观察到,三成的删贴活动发生在发帖后5到10分钟内,九成的删贴发生在24小时内。假设新浪微博的一个审查员平均每 分钟能阅读50个帖子,那么扫描每分钟涌入的7万新帖子新浪需要有1400人同时工作,假设他们每天工作8小时,那么需要有4200人才能满足审查需要。

鉴于微博API的限制,研究人员主要跟踪了最可能会发敏感帖子的敏感用户组。从2012年7月20日到9月8日,研究人员利用API以每分钟一次的频率搜 索3500位用户的时间线,以每四秒一次的频率搜索公共时间线。由于新浪微博不支持匿名查询,所以他们利用Tor隐藏IP后创建虚假用户帐号。他们共收集 了238万用户时间线帖子,删贴率是12.75%。考虑到新浪需要处理的大数据集规模,发帖后5到10分钟的删贴峰值,尤其是考虑到删贴无法完全用自动方 式处理,新浪是如何做到迅速发现和删除敏感帖子?研究人员提出了六个假说: Continue reading »