Android 相机断流后卡在最后一帧:从 releaseTexImage 到同纹理 ID 切黑

Posted by shensunbo on November 16, 2026

Android 车机的环视画面遇到了一个问题:相机断流或被拔掉后,纹理里仍残留最后一帧,屏幕持续显示这张历史图像,看起来像画面卡住了。 此时渲染循环可能仍在运行,只是没有新的相机图像可供绘制。

要解决的是断流后的显示行为:超过设定时间没有新帧,就把对应相机区域切成纯黑;相机恢复出流后,再恢复实时画面。本文以 Android 12 台架上的四路独立相机为例,记录两种改法的原理和验证结果:先尝试 releaseTexImage() 释放当前图像,再改为给原纹理 ID 绑定纯黑 EGLImage。

1. 背景:相机停止出流,为什么纹理还能显示旧画面

理解这个问题,需要区分相机、缓冲队列和纹理这三个环节。

相机是图像的生产者,将帧送入 Android 的 BufferQueue。SurfaceTexture 是消费者,通过 updateTexImage() 取得图像,并将它关联到一个 GL_TEXTURE_EXTERNAL_OES 纹理。环视渲染器再采样这个纹理,生成单路画面和拼接画面。Android SurfaceTexture 文档

1
2
3
4
5
相机生产帧 → BufferQueue → SurfaceTexture.updateTexImage()
                                      ↓
                             OES 纹理关联相机图像
                                      ↓
                               渲染器采样并绘制

相机停止生产帧,并不等于已经交给渲染器的图像自动变黑。只要纹理仍关联最后一帧,下一次绘制就还能采样到它。清空屏幕的颜色缓冲也解决不了这个问题:随后绘制相机画面时,旧纹理又会覆盖上去。

在本次排查中,断流期间纹理更新调用次数仍以约 30 FPS 增长,但没有消费到新帧。因此,调用 updateTexImage() 的次数不能当作相机出流帧率。AOSP 在队列没有可用新帧时,可以只重新选中纹理而不替换它的图像。AOSP GLConsumer 的 updateTexImage 实现

两种改法共用的超时判断

应用按每路相机记录最近一次消费到新帧的时间。这里把 updateTexImage() 返回后时间戳变为一个新的非零值,作为消费到新帧的依据;超时间隔则使用单调时钟计算。

  • 曾经消费到非零时间戳的帧,才开始判断断流;首帧一直未到的情况不在这项逻辑的覆盖范围内。
  • 距离最近一次新帧超过 500 ms,进入 STALE;恰好 500 ms 不触发。
  • 每次进入断流状态,只执行一次对应的显示处理;绘制和新帧消费继续运行。
  • 后续消费到新帧,更新时间基线,并在后续检查中记录 RECOVERED。

这个检测器关心的是“有没有新帧”,而不是仅看相机是否处于打开状态。相机还开着但不出流,或者相机已经断开而渲染仍在继续,都可能触发它。前提是渲染循环仍执行检测,相关纹理和帧记录也仍存在。

2. 第一种改法:超时后调用 releaseTexImage

为什么先尝试这个方法

旧画面来自 SurfaceTexture 当前持有的图像,因此第一种思路是:检测到断流后,调用 releaseTexImage() 释放当前图像,让渲染器不再继续显示它。这个改法直接作用于已有的 SurfaceTexture,不需要给渲染器传入另一组纹理 ID。

但这个 API 的语义是释放消费者当前持有的图像缓冲。它也用于单缓冲模式下把缓冲交还给生产者,并不是将纹理像素清零的接口,更没有承诺释放后一定显示纯黑。Android releaseTexImage 文档

第一版实现是在 GL 线程检测到 STALE 后,对对应的 SurfaceTexture 调用一次 releaseTexImage(),随后记录 RELEASE_TEX_IMAGE,包含释放前后的时间戳。后续仍然调用 updateTexImage(),等待相机恢复。

实际效果:有时仍卡帧,有时显示调试图

下面两种显示结果是在加入 releaseTexImage() 改法后观察到的,属于这次改法的验证结果。原始待解决的问题是最后一帧残留;灰白调试图则出现在新增释放逻辑触发之后。

同一台台架两次拔掉相机,一次仍停在最后一帧,另一次显示灰白底和模糊黑块。两次都触发了超时,应用也都打印了 RELEASE_TEX_IMAGE。对齐应用与相机服务日志后,可以看到以下差异:

第一种改法的屏幕结果 超时时无新帧时长 释放调用与相机关闭通知的顺序 四路释放后时间戳
仍停在最后一帧 532 ms 四路收到 onClosed 后 54–109 ms 才调用释放 等于各自的旧值
显示灰白调试图 531 ms 调用释放后 385–392 ms,HAL 才把四路标记为 NOT_PRESENT 全部归零

RELEASE_TEX_IMAGE 是应用在调用返回后打印的日志。它能证明调用已返回,不能单独证明旧图像已经被替换,更不能证明已经切成黑色。

为什么这个改法会出现两种结果

关键在于,BufferQueue 的当前帧槽位与纹理仍引用的图像不是同一个状态。槽位是队列管理缓冲的索引;槽位失效时,已经被消费者引用的图像不一定同时消失。

生产端断开会引发缓冲清理和消费者通知。在所查阅的 AOSP 实现中,GLConsumer::freeBufferLocked() 可以将当前槽位置为无效,却没有同时清除 mCurrentTextureImage。AOSP BufferQueueProducer 断开处理 · AOSP GLConsumer 槽位清理

这会影响 releaseTexImage() 走哪条路径:

  • 当前槽位有效:在释放成功、纹理仍附着到 GL 上下文的路径中,绑定系统的调试占位图,并把时间戳归零。
  • 当前槽位已经无效:可以直接返回成功,不再执行替换图像的步骤,原纹理仍可能显示最后一帧。

这里的调试占位图在 AOSP 中是一张 15×12 的黑白图案。经放大、畸变校正和拼接后,外观与现场的灰白底、模糊黑块相符。它不是相机输出的新帧,也不是应用准备的黑图。AOSP releaseTexImage 与调试图实现

现场日志记录了关闭通知与释放调用的先后关系,但没有直接记录 BufferQueue 槽位状态。因此,“卡帧时当前槽位已经失效”是结合日志和 AOSP 源码得到的解释,尚不能当成对板端内部状态的直接观测;设备的厂商实现也需要与对应源码核对。

这个实验暴露了第一种改法的问题:把“释放缓冲”当作“清除显示内容”,无法保证得到目标画面。即使进入替换路径,得到的也是调试图,而不是要求的纯黑。

3. 第二种改法:给原纹理 ID 绑定纯黑 EGLImage

为什么改为替换纹理关联的图像

第一种改法依赖 SurfaceTexture 的释放路径。第二种改法直接控制渲染器将要采样的内容:保留相机原来的 OES 纹理 ID,给这个纹理对象关联一张由应用创建的黑图。

纹理 ID 是 OpenGL 对象的名称,并不是某一帧图像的永久标识。同一个纹理对象可以先关联相机图像,再关联黑图,随后重新关联相机的新帧。因此,渲染器可以继续使用原有纹理 ID 和四路映射。

这里也需要区分两个操作:glBindTexture() 选择要操作的纹理对象;glEGLImageTargetTexture2DOES() 才把图像存储关联到该对象。仅重新绑定同一个纹理 ID,不会让旧图像变黑。

普通二维纹理可以通过 glTexImage2D() 或 glTexSubImage2D() 上传像素,但相机使用的 GL_TEXTURE_EXTERNAL_OES 不支持这类上传方式。它可以通过 glEGLImageTargetTexture2DOES() 关联 EGLImage,因此采用这条路径。Khronos 外部纹理扩展规范

黑图如何创建和绑定

AHardwareBuffer 提供可供 CPU 和 GPU 使用的原生图像缓冲;EGLImage 则让这块图像存储能够被关联到 GL 纹理。实现中的 bindBlackCameraImage() 在持有正确 EGL 上下文的 GL 线程上完成以下步骤:

  1. 检查当前 EGL 上下文、目标纹理以及所需扩展函数。
  2. 分配一块 1×1、RGBA 格式的 AHardwareBuffer,允许 CPU 写入和 GPU 采样。
  3. 锁定缓冲,写入不透明黑色 (0, 0, 0, 255),再解锁。
  4. 通过 eglGetNativeClientBufferANDROID() 取得原生缓冲表示,用 eglCreateImageKHR() 创建 EGLImageKHR。
  5. 选中原相机 OES 纹理,将黑图关联到它,然后恢复此前的纹理绑定状态。

纯色只需一个像素即可表达。黑图由应用自己分配,绑定过程不需要先成功释放相机的当前帧槽位。Android NDK HardwareBuffer 文档 · Khronos Android 原生缓冲扩展

下面只展示绑定步骤,省略前面的资源创建和错误处理。imageTarget 是通过 eglGetProcAddress() 取得的 glEGLImageTargetTexture2DOES 函数指针。

1
2
3
4
5
6
GLint previousTexture = 0;
glGetIntegerv(GL_TEXTURE_BINDING_EXTERNAL_OES, &previousTexture);

glBindTexture(GL_TEXTURE_EXTERNAL_OES, cameraTexture);
imageTarget(GL_TEXTURE_EXTERNAL_OES, blackImage);
glBindTexture(GL_TEXTURE_EXTERNAL_OES, static_cast<GLuint>(previousTexture));

假设当前纹理单元选中的是 17,而需要切黑的相机纹理是 42。代码先选中 42,将黑图关联到 42,再恢复选中 17。最后一步只恢复 GL 的选择状态,不会把 42 的图像换回旧相机帧。下一次渲染器采样 42,读到的仍然是黑色。恢复此前的选择状态,是为了减少对渲染器已有 GL 状态管理的干扰。

绑定完成后,销毁临时 EGLImageKHR 句柄并释放应用持有的 AHardwareBuffer 引用。已经关联图像的纹理仍持有图像存储;销毁临时句柄并不等于立即销毁纹理正在使用的像素。Khronos EGLImage 生命周期规范

这个方案改变的是纹理的采样来源,不会把相机原缓冲区中的历史像素逐字节清零,也没有清空整个 BufferQueue。

为什么黑屏后还能自动恢复

切黑时保留了原来的 SurfaceTexture 和纹理 ID,并继续消费相机帧。当 updateTexImage() 成功取得新帧后,它会将新相机图像重新关联到这个 OES 纹理,覆盖黑图;应用不需要保存旧图像并手动绑回去。Android updateTexImage 文档

当前工程每轮执行的顺序是:

1
2
3
4
5
6
7
检查超时,首次进入 STALE 时绑定黑图
    ↓
绘制:采样当前纹理关联的图像
    ↓
updateTexImage:尝试消费新相机帧
    ↓
若取得新帧,更新时间基线;下一轮恢复实时绘制

这一顺序使切黑可以作用于本轮绘制,恢复的新帧则在下一轮绘制时显示。它并不要求所有工程都采用“先绘制、再更新”:也可以先消费帧,再判断是否超时并按需绑定黑图,最后绘制。关键是渲染器采样时,纹理已经关联到本轮应显示的图像。

另一个前提是无新帧时不会把黑图覆盖回旧图。所查阅的 AOSP 无帧路径只重新选中纹理,板端独立实验也验证了这种行为。由于该改法直接改变了 SurfaceTexture 管理的纹理关联图像,仍需在目标设备实现上验证黑图保持和新帧恢复,不能仅凭调用成功判断兼容性。

实际效果:同一 ID 可以切黑,也能由新帧覆盖

在同一台 Android 台架上,用独立测试程序通过 EGL 输出端向 SurfaceTexture 送入纯色帧,再从渲染后的帧缓冲读回像素。测试包含生产端断开、无新帧时继续更新、生产端重连三个阶段:

验证步骤 OES 纹理 ID 读回 RGBA
已取到绿色测试帧 1 0, 255, 0, 255
生产端断开,仍能采样旧帧 1 0, 255, 0, 255
绑定黑图,无新帧时仍调用 updateTexImage() 1 0, 0, 0, 255
生产端重连并取到蓝色新帧 1 0, 0, 255, 255

这组读回结果验证了第二种改法的核心机制:相机纹理对象不变,采样内容可以从历史图像切为黑色,再由新帧恢复。

该实验使用测试生产端,并不等同于完整环视的实物拔插验收。四路相机、拼接画面、2D/3D 切换和退出重进,还需要在实际链路上复测。

4. 两种改法的差异与后续验证

对比项 第一种:releaseTexImage 第二种:原纹理绑定黑色 EGLImage
基本动作 释放 SurfaceTexture 当前持有的图像缓冲 更换原 OES 纹理关联的图像存储
断流画面由谁决定 依赖释放路径及系统占位图 应用明确提供不透明黑图
对相机槽位的依赖 当前槽位状态影响是否进入替换路径 黑图创建、绑定不依赖相机当前槽位有效
已观察到的效果 实物拔插中出现旧帧残留和调试图两种结果 独立程序验证切黑、黑图保持和新帧恢复
仍需关注 API 返回不代表已清除显示内容 设备兼容性、绑定失败、重建流程及完整环视验证

在开发机连接测试设备后,可先抓取日志,再执行断流和恢复测试:

1
2
3
adb logcat -b main -b system -v threadtime -T 1 |
  rg --line-buffered 'camera stream|bindBlackCameraImage|onDisconnected|onClosed' |
  tee camera-fallback.log

验证时同时看画面和日志,重点覆盖以下场景:

  • 相机已关闭、环视仍在绘制:这是第一种改法可能保留旧帧的场景。第二种改法应出现 STALE → BLACK_IMAGE_BOUND,对应相机区域应切黑。
  • 只有一路断流与四路同时断流:检查切黑区域与相机映射,其他正常相机应继续更新;恢复后应出现 RECOVERED 和实时画面。
  • 黑屏期间继续绘制和更新纹理:确认黑图不会被旧帧重新覆盖;不能只观察绑定成功的瞬间。
  • 2D/3D 切换、退出重进与上下文重建:确认新的纹理仍能正常出图,后续断流也能再次切黑。
  • 四路同轮切黑的耗时:当前实现会分配并绑定四份黑图,可用 Perfetto 对比这轮 GL 绘制与正常帧的耗时。
  • 绑定失败:保留 BLACK_IMAGE_FAILED、同一时段 EGL 错误和实际画面。当前实现每次断流只尝试绑定一次,失败后仍可能显示旧帧。

验收应以“断流后显示预期黑色、恢复后显示实时图像”为准。STALE 证明检测触发,BLACK_IMAGE_BOUND 证明绑定调用成功;最终呈现是否正确,仍要通过画面观察或像素读回确认。