Skip to content

【2026犀牛鸟开源人才专属】【中高难度】MoT(mixture of Transformer):消融对比、路由可解释性与混合架构探索 #54

Description

@isLinXu

在 COCO 或 VisDrone 数据集上,使用 scripts/compare_mot_ablation.py 作为参考脚本,训练至少 3 种模型变体:YOLO-Master-EsMoE-N(MoE 基线)、YOLO-Master-v0.10-MoT-N(MoT 实验模块)、YOLO-Master-v0.10-MoA-N(MoA 对比组)
对比测量每种变体的:mAP50-95、mAP50、Latency(ms,P50/P95/P99)、FLOPs(实际)、Params(M)、训练稳定性(loss 曲线是否发散、是否出现 NaN)
路由行为可解释性分析:
对 MoT:使用 diagnose_model 或自定义 hook 分析 MoTBlock 中各 Transformer expert(LocalConvTransformer / WindowTransformer / DeformableTransformer)的 token 路由分布,绘制专家激活热力图
对比不同场景(密集 vs 稀疏、小目标 vs 大目标)下的专家激活模式,验证 DeformableTransformer 是否在遮挡/不规则目标场景激活率显著上升
混合架构探索:尝试将 MoT 与 MoE 进行层级组合(如 backbone 用 MoE、neck 用 MoT),或与 MoA 进行交叉组合,评估是否产生协同增益(mAP 提升 > 1% 或延迟降低 > 10% 视为有意义)
边界测试与稳定性修复:
补全 tests/test_mot.py 的边界测试(至少覆盖:MoTBlock 在 window_size 大于 feature map 时的降级处理、_WindowTransformerExpert 的 shift 操作在奇数尺寸输入时的边界、MoT 的 exploration_eps 在 eval 模式下是否被正确禁用)
若发现边界缺陷(如 IndexError、NaN、shape mismatch),需定位并修复
场景化洞察产出:基于对比数据,提出至少 3 条场景化推荐(如「密集小目标场景 MoT 的 WindowTransformer 激活率最高」;「复杂遮挡场景 DeformableTransformer 专家被优先路由」;「MoE + MoT 组合在 backbone 层带来 +X% mAP 但延迟增加 Y%」),每条需附数据支撑
完成后,在 GitHub Discussion 发表技术总结文章并提供实验脚本仓库链接
边界测试修复代码可提交 Pull Request;混合架构实验若产生稳定增益,可提交 Pull Request 补充新 YAML 配置
https://github.com/Tencent/YOLO-Master
https://github.com/Tencent/YOLO-Master/blob/main/scripts/compare_mot_ablation.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/mot/mot.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moa/moa.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/diagnostics.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/nn/modules/moe/pruning.py
https://github.com/Tencent/YOLO-Master/blob/main/tests/test_mot.py
https://github.com/Tencent/YOLO-Master/blob/main/tests/test_moa.py
https://github.com/Tencent/YOLO-Master/blob/main/ultralytics/cfg/models/master/v0_10/det/yolo-master-n.yaml
难度:中


本issue为2026犀牛鸟开源人才培养活动专属issue,仅供已报名参与犀牛鸟活动的同学认领
【认领时间】7月1日~7月31日(7月1日前认领视为无效❗️)
【认领方式】在本issue评论区回复“已认领本任务”,即视为认领成功
【活动报名】需提前完成犀牛鸟报名问卷,问卷将用于活动登记和奖励发放:https://wj.qq.com/s2/26888567/gh2q

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions