Skip to content

MCP服务搜索质量问题:关键词匹配失效 & 国家过滤返回空结果 #48

@firstdata-dev

Description

@firstdata-dev

问题描述

通过 MCP 质量评估发现以下服务端问题,直接影响用户体验:

1. search_keywords 关键词匹配严重失效

  • 复现:搜索 GDP + 中国 关键词
  • 预期:返回 china-nbs(国家统计局)、china-pbc(人民银行)等宏观经济数据源
  • 实际:返回机器人行业协会、石化联合会等完全不相关结果,china-nbs 排到第 19 位
  • 影响:多次查询均复现,评分 2.8-3.35

2. list_datasources 国家参数过滤失效

  • 复现list_datasources(country='China', limit=2)
  • 预期:返回中国相关数据源
  • 实际:返回空列表 []
  • 可能原因:参数仅支持 ISO code(CN),不支持国家名称(China/中国
  • 影响:评分 1.45,严重影响可用性

3. search_llm_agent 缺乏地理偏好

  • 复现:查询「近10年中国气候数据」
  • 预期:优先返回 china-cma(中国气象局)等本土数据源
  • 实际:仅返回 NOAA、NASA、Copernicus 等国际数据源
  • 建议:查询含国家名时,优先匹配该国本土数据源

数据支撑

  • 评估样本:28 条 traces
  • 整体平均分:3.92/5.0
  • 搜索类查询平均分:2.8-3.35(显著低于整体水平)

备注

以上为 MCP 服务端逻辑问题,需后端代码修复。本 Issue 用于跟踪进度。

/cc @ningzimu

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions