Meta爬虫致创作者网站遭55万余次访问

驱动中国11月3日消息，美国圣地亚哥创作者切尔西·保卢斯的网站被Meta爬虫带来55万余次访问，主机资源被耗尽，她不得不与服务商SiteGround协作排查并拦截自动访问程序。

保卢斯是儿童绘本作家、插画师，经营相关事业已有十年，去年转为全职创作者。她向Business Insider表示，自动访问程序耗尽网站主机资源，她从未遇到类似情况，即便具备一定技术能力，本周也承受较大压力。

保卢斯此前有科技和网页设计从业背景。10月24日，她收到SiteGround邮件预警，称分配给她的CPU资源已使用80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。

保卢斯在周一查看网站安全面板时发现，网站每秒出现多次访问请求。她打开WordFence后，访问记录持续刷新；通过详情中的IP地址查询，该IP归属Meta位于达拉斯的节点。访问程序标识名称为Meta External Agent，SiteGround工作人员后来确认该标识。

Meta开发者页面说明，Meta External Agent会在全网抓取内容，用途包括基础大模型训练、直接收录内容以优化产品。保卢斯偶尔投放Meta广告，此前网站也曾出现Facebook爬虫访问，但如此规模的访问量属首次出现。

保卢斯修改robots.txt文件并配置防火墙，但相关规则通常需24小时生效，无法满足即时拦截需求，因此她联系主机服务商。SiteGround提供一段代码，需添加至网站隐藏配置文件。普通建站者通常不会接触此类文件，但这是当时能够阻挡爬虫的办法。

保卢斯表示，她不认为这是Meta蓄意发起的恶意攻击，但小微企业主需要知道此类风险，并应有可用工具阻挡爬虫。