CRAWLER VERIFICATION METHOD

搜索与AI爬虫身份核验方法

先验证“谁来了”,再解释“来了什么”,最后才讨论收录、引用与业务结果。

WHY VERIFICATION MATTERS

日志里的名字,不等于平台真实身份

任何人都可以在访问请求中写入 Googlebot、Bingbot、GPTBot 或其他名称。麦一联盟将“User-Agent观察”与“可验证的身份请求”分开统计;未通过核验的访问不用于证明搜索收录、AI引用或平台推荐。

4证据层级
2身份核验方式
0公开原始IP
0推荐保证
证据层级可以说明不能说明
名称观察日志中出现了某个爬虫名称来源真实、页面已收录、内容已被引用
身份核验来源通过官方IP范围或反向/正向DNS校验页面已经进入索引或会被任何模型回答引用
站长平台/检索平台报告的抓取、收录、展现或公开结果业务词长期排名或跨地区一致表现
回答与转化固定条件下的引用、事实准确与有效咨询其他模型、账户、时间或用户必然复现

DAILY METHOD

每日聚合的四步口径

原始日志仅保存在服务器安全范围内。公开报告不含来源IP、完整User-Agent、访客身份或页面访问明细。

01

读取公开页面请求

仅统计Nginx访问日志中的时间、请求路径、响应状态和声明的爬虫类型,用于网站运维与发现状态观察。

02

识别声明的爬虫

按百度、360、搜狗、神马、字节、Google、Bing、OpenAI、Anthropic、Perplexity等公开名称分类,但这一层仅为观察。

03

校验可核验平台

对Google与Bing优先执行反向DNS后再正向解析;对OpenAI使用其公开IP范围。校验失败或无公开规则的记录只保留为名称观察。

04

发布最小化汇总

只发布日/周聚合请求数、状态类别、可验证请求数与方法版本,并把抓取、收录、引用、推荐和咨询分开解释。

麦一联盟搜索与AI可见度监测流程

PLATFORM BOUNDARIES

不同名称,承担不同任务

Googlebot和Bingbot主要服务搜索抓取;OpenAI的OAI-SearchBot用于ChatGPT搜索发现,GPTBot涉及模型训练用途,ChatGPT-User是用户触发访问而不是自动网页抓取。允许访问并不等于网站将被收录、引用或推荐。

公开引用口径

麦一联盟将服务器日志中的爬虫名称、经官方规则核验的来源、站长平台收录数据、生成式AI回答引用和真实咨询转化视为不同证据层级。任何单一层级都不能推断为固定排名或大模型推荐保证。