[Bug] websocket强制连接在多个子代理存在的时候貌似有问题

[a1073185067]

Before I submit

• I searched existing issues and didn't find a duplicate
• I redacted tokens, API keys, passwords, and other secrets from logs/configs

Which area is affected?

Gateway API (/v1/chat/completions, /responses, /messages, Images)

Severity

Blocker — feature is completely unusable

What went wrong?

开启了强制ws连接，在codex开启多个子代理的时候，“取得连接”时间变得很大，断断续续的，在只有单个窗口没有子代理是不会有这种情况的

How to reproduce? (optional)

No response

Environment (optional, fill what you know)

• Deploy shape: PG+Redis / SQLite+Memory / source / other
• Version or commit:
• Client: Codex CLI / Claude Code / OpenAI SDK / other
• Browser (for UI issues):

Anything else? (optional)

No response

[james-6-23]

感谢报告,这个现象的机制已经定位了。先说结论:这不是上游慢,是网关内 WS 连接排队。从你贴的日志可以拆出来:上游真实首字耗时只有 5~7s(首字 21.8s − 取连 16.4s ≈ 5.4s),异常全部发生在"取得连接"这一段。

机制:强制 WS 下,每个会话在绑定账号上对应一条 WS 长连接,一条连接同一时刻只能跑一个请求;每个账号的连接数上限 = 账号动态并发上限(默认每账号并发 = 2,健康档掉到 warm 还会减半到 1)。

开多个子代理时,并发长流从 12 条暴涨到 parent + N 个子代理,每条流要占连接 2060s(你日志里"耗时"列就是 1758s)。槽位打满后,后来的请求在网关内指数退避排队(上限 30s),前一条流结束才放行——就是你看到的 520s、断断续续。单窗口并发 ≤ 2,永远有槽,所以没症状。

两个立即可做的缓解:

1. 打开"busy 会话溢出兄弟连接"开关(就在你截图那个 WebSocket 设置页):同会话并发请求等待超过 patience(默认 2s)后,溢出到同账号的兄弟连接,不再干等。
2. 调大每账号并发上限(系统设置,默认 2 → 建议 4),或增加账号数。注意调高会相应增加上游限流风险。

想请你帮忙确认两件事,用于判断主因是哪条排队路径:

1. 网关日志里有没有出现 waiting for busy session 或 waiting for account connection capacity 字样(等满 30s 超时才打),或者 会话粘性容量溢出 开头的行?
2. 号池里有几个可用账号、每账号并发设置的是多少?

另外网关侧后续会做两个改进:等待期间目前完全无日志(只有 30s 超时才报),会补上等待原因的可观测性;busy 溢出开关目前默认关闭,会评估改为默认开启。