Android SurfaceTexture简析

概况

最近工作中接触到SurfaceTexture,因此打算分析一下SurfaceTexture的原理,提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView,这几个都可以将图形生产者的数据(比如Camera)送到SurfaceFlinger中显示,而SurfaceTexture可以看做Surface和Texture的组合,是将图形生产者的数据送到Texture,然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念,由于本人对这块不熟,等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示:

图一

应用程序会先创建一个SurfaceTexture,然后将SurfaceTexture传递给图形生产者对象(比如Camera,通过调用setPreviewTexture传递),图形生产者对象生产一帧数据后,会回调onFrameAvailable通知应用程序有新的图像数据可以使用,应用程序就可以调用updateTexImage将图像数据先送到Texture,之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture,在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext,BufferQueue提供图形生产者消费者机制,具体内容请见Android BufferQueue简析,GLConsumer就是SurfaceTexture的图形消费者,即通过调用opengl接口将图形生产者的图像数据送到Texture,JNISurfaceTextureContext是个简单的代理对象,持有java层的SurfaceTexture对象,完成帧可用事件回调。

主要类的关系如下所示,绿色的为java层的SurfaceTexture对象,黄色的都是native层的对象,可见SurfaceTexture功能基本都在native层实现,java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象,mProducer成员指向的是native层的BufferQueueProducer对象,当将SurfaceTexture对象传给图形生产者对象比如Camera时,就可以从该成员获取到native层的BufferQueueProducer,用于生产者对象输出。如下所示:

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,
        jobject thiz, jobject jSurfaceTexture)
{
    ALOGV("setPreviewTexture");
    sp<Camera> camera = get_native_camera(env, thiz, NULL);
    if (camera == 0) return;

    sp<IGraphicBufferProducer> producer = NULL;
    if (jSurfaceTexture != NULL) {
        producer = SurfaceTexture_getProducer(env, jSurfaceTexture);
        if (producer == NULL) {
            jniThrowException(env, "java/lang/IllegalArgumentException",
                    "SurfaceTexture already released in setPreviewTexture");
            return;
        }

    }

    if (camera->setPreviewTarget(producer) != NO_ERROR) {
        jniThrowException(env, "java/io/IOException",
                "setPreviewTexture failed");
    }
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象,JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像,那张类图说的是显示流程中的主要类之间的关系,可见SurfaceTexture和SurfaceView原理上基本相似,BufferQueue都是其核心,当然也有一些不同的地方,比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的,而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后,通过BufferQueueCore层层调用,最后回调OnFrameAvailableListener的onFrameAvailable,通知Listener有新的图像数据可以使用,一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer,然后调用opengl接口将GraphicBuffer更新到Texture上,等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息,这些信息是在调用updateTexImage时更新的。

通过以上分析,可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl,BufferQueue已经分析过了,opengl等后续熟悉了再抽空分析吧。

推荐阅读更多精彩内容