凌晨两点,千度办公室只剩下何明一个人。四台显示器亮着蓝光,一台屏幕上密密麻麻全是代码,另一台跑着实时监控曲线。日搜索量从十九万跌到七万的那根断崖线,在图表上格外刺眼。
何明揉了揉发红的眼睛,端起凉透的咖啡灌了一口。草稿纸上画满了架构图——分布式爬虫系统,这是他立下的军令状,十五天完成。
过去三天,他写了四千多行代码,把单点爬虫拆成了六个分布式节点。但每当三个以上节点同时请求任务分配时,调度模块就会锁死。
何明走到白板前,把调度模块的逻辑流程重写了一遍。写完后盯着看了五分钟,又全部擦掉。
"不对。锁的粒度太大了。"
他重新坐下,从头写调度核心。凌晨五点,五个节点同时启动,任务分配正常。六个节点—