Skip to content

疑似classify类型数据有错误 #8

Description

@wjfwzzc

以下现象在所有子集中都存在,以pCLUE_dev.json为例:

  1. 第9行的target是辅助工具,但answer_choices中没有该项;
  2. 第70行的target是电竞,但answer_choices中没有该项;
  3. 第150行的target是医疗服务,但answer_choices中没有该项;
  4. 第171行的target是休闲益智,但answer_choices中没有该项;
  5. ……

我简单统计了一下,在pCLUE_dev.json中,classify数据总共有44414条,其中5394条的target不在answer_choices中,占比约12%。
想问下这个问题官方能否修复一下?还是比较影响评测结果的。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions