[Bug] 上游流读取失败: stream error: stream ID 353; INTERNAL_ERROR; received from peer

[zzzhouuu]

提交前我已确认

• 我搜过 已有 issues，没找到一样的问题
• 我已经把日志/配置里的 Token、API Key、密码等敏感信息打码

我遇到的问题在哪块？

网关 API（/v1/chat/completions、/responses、/messages、Images）

严重程度

一般 — 偶尔触发或影响次要功能

我遇到了什么状况？

请问这个错误主要是那边引起的，上游节点问题还是什么情况额？

我是怎么触发的？（可选）

No response

我的环境信息（可选，能填就填）

• 我的部署形态：PG+Redis
• 我的版本或 commit：v2.7.2
• 我用的客户端：Codex CLI
• 我的浏览器（前端问题填）：

我的补充信息（可选）

No response

[james-6-23]

感谢报告,截图里的错误形态信息量很足。逐一排查后结论:两类错误都不是网关产生的,均来自上游侧,细节如下。

归因

5 条 598(stream error: stream ID N; INTERNAL_ERROR; received from peer)

• received from peer 这个后缀是 Go 官方 http2 库的哨兵文本,整个库里只在收到上游对端主动发来 RST_STREAM 帧时才会出现——即上游(或其边缘)重置了这条流。网关自身中断产生的是 client connection force closed / http2: client connection lost 等完全不同的文本。
• 598 不是上游返回的状态码,是网关内部给"流中途断开"记账用的哨兵值:上游 HTTP 状态其实是 200,断在流式传输中途,所以它会出现在 5xx 筛选里。

2 条 503(upstream connect error ... reset reason: connection timeout)

• 这段文案在本项目代码里零命中,是 Envoy 的标准措辞——上游的边缘代理连不上它自己的后端,响应体被原样落库了。

怎么读这些日志行

• 598 的行都是客户端真实经历过的失败:首字节之前的断流会被静默换号重试、成功不落日志;能在日志里看到的 598 基本都已经吐过字了,此时客户端会收到流内的 response.failed(v2.7.2 起显式可见,之前是静默截断——所以升级后感知失败会变多,上游失败率本身并没有变化)。
• 503 的行每次尝试都会记录且可重试,带重试的行很可能已换号成功、终端无感。每行"复制 JSON"里的 attempt_index 可以区分。

v2.7.3 已发布的针对性改进

1. 断流消息带传输层埋点:附上下游写阻塞时长 / 上游帧计数 / 距上游最后一帧的间隔,直接区分"慢客户端背压拖停读取"与"上游自行重置"两种互斥根因。
2. HTTP/2 连接按最大寿命轮转(默认 30 分钟,CODEX_HTTP_CLIENT_MAX_AGE,0 关闭):你截图里 stream ID 已到 353,说明一条连接被复用了数百条流——持续繁忙的连接永远不会空闲进既有的 TTL 清理,老化连接更容易撞上上游边缘的回收窗口。轮转只影响新请求,在途请求在旧连接上自然跑完。
3. 保活可配:CODEX_HTTP2_READ_IDLE_TIMEOUT / CODEX_HTTP2_PING_TIMEOUT 覆盖原先写死的 15 秒——高延迟出口下一次迟到的 PING 会拆掉整条连接上所有复用流。
4. 孤立断流不再降账号并发:此前单次传输失败就把账号并发砍半,现在需连续 3 次、任一成功即重置,上游背景噪声不再牵连健康账号。

建议

• 升级 v2.7.3;
• 网络抖动环境可把重试间隔 retry_interval_ms 设为 2000 左右;
• 保持 codex_preflight_sse_passthrough_enabled 关闭(默认关)——开启会提前提交响应头,毁掉首包前的静默换号窗口,让症状更明显。

升级后如再遇到断流,把新的错误明细(带埋点后缀)贴上来,可以进一步判断是背压还是上游重置。

[zzzhouuu]

@james-6-23 更新到最新版，都是默认设置

[zzzhouuu]

上游流读取失败: stream error: stream ID 1; INTERNAL_ERROR; received from peer [上游帧 47, 下游写阻塞 0ms, 距上游末帧 7994ms]
上游流读取失败: http2: client connection lost [上游帧 65, 下游写阻塞 1ms, 距上游末帧 30002ms]