在前面的章节中,我们学会了怎么使用GStreamer编写一个应用程序,这节开始我们对GStreamer更高级的特性进行探索
一些章节主要用于解释GStreamer内部的工作原理,比如涉及调度、自动插入和同步的部分,这是实际应用程序开发通常不需要的知识。其他章节会讨论更高级的管道-应用程序交互方法,这些方法对于某些应用程序非常有用。这些章节包括关于元数据、查询和事件、接口、动态参数和管道数据操作。
之前我们已经学习了,使用GStreamer创建一个多媒体处理的pipeline,不过在多媒体应用中,我们通常需要查询媒体文件的总时间、当前播放位置,以及跳转到指定的时间点。GStreamer提供了相应的接口来实现此功能,在本文中,我们将通过示例了解如何查询时间信息,以及如何进行跳转到指定位置。
GStreamer提供了GstQuery的查询机制,用于查询Element或Pad的相应信息。例如:查询当前的播放速率,产生的延迟,是否支持跳转等。可查看GstQuery文档了解所支持的类型。
要查询所需的信息,首先需要构造一个查询的类型,然后使用Element或Pad的查询接口获取数据,最终再解析相应结果。 下面的例子介绍了如何使用GstQuery查询Pipeline的总时间:
- GstQuery *query = gst_query_new_duration (GST_FORMAT_TIME);
- gboolean res = gst_element_query (pipeline, query);
- if (res) {
- gint64 duration;
- gst_query_parse_duration (query, NULL, &duration);
- g_print ("duration = %"GST_TIME_FORMAT, GST_TIME_ARGS (duration));
- } else {
- g_print ("duration query failed...");
- }
- gst_query_unref (query);
在常见的媒体文件中,通常包含一些数据(例如:歌手,专辑,编码类型等),用于描述媒体文件。通常称这些数据为元数据(Metadata:data that provides information about other data)。我们可以通过这些元数据对媒体进行归类,同时可以在播放的过程中通过界面显示。本文将介绍GStreamer是如何快速获取元数据。
GStream将元数据分为了两类:
Stream-info可以通过Pipeline中所有的GstCap获取,使用方式在媒体类型与Pad中有描述,本文将不再复述。
Stream-tag可以通过GstBus,监听GST_MESSAGE_TAG消息,从消息中提取相应信息。
需要注意的是,Gstreamer可能触发多次GST_MESSAGE_TAG消息,应用程序可以通过gst_tag_list_merge ()合并多个标签,再在适当的时间显示,当切换媒体文件时,需要清空缓存。
使用此函数时,需要采用GST_TAG_MERGE_PREPEND,这样后续更新的元数据会有更高的优先级。
可以很容易从GstPad中获取媒体信息,不过这需要访问所有的pads信息,这种方法已经在Using capabilities for metadata.中讲过,所以这里不再重复。
可以通过GStreamer的总线读取Tag,可以通过监听GST_MESSAGE_TAG消息,然后处理他们,需要注意的是,GST_MESSAGE_TAG可能会发射多次,最好用gst_tag_list_merge ()处理一下。
下面的demo程序展示了如何获取tags
- /* compile with:
- * gcc -o tags tags.c `pkg-config --cflags --libs gstreamer-1.0` */
- #include <gst/gst.h>
-
- /*
- 此函数用于输出一个标签的值。GStreamer会将多个标签都放在同一个GstTagList中。每一个标签可以包含多个值,所以首先通过gst_tag_list_get_tag_size ()接口及标签名(tag)获取其值的数量,然后再获取相应的值。
- 本例使用GValue来进行通用的处理,所以需要先判断数据的类型,再通过GValue接口获取。实际处理标签时,可以根据规范(例如ID3Tag)得到标签值的类型,直接通过GstTagList接口获取,例如:当标签名为title时,我们可以直接使用gst_tag_list_get_string()取得title的字符串,不需要再通过GValue转换,
- */
-
- static void
- print_one_tag (const GstTagList * list, const gchar * tag, gpointer user_data)
- {
- int i, num;
-
- num = gst_tag_list_get_tag_size (list, tag);
- for (i = 0; i < num; ++i) {
- const GValue *val;
-
- /* Note: when looking for specific tags, use the gst_tag_list_get_xyz() API,
- * we only use the GValue approach here because it is more generic */
- val = gst_tag_list_get_value_index (list, tag, i);
- if (G_VALUE_HOLDS_STRING (val)) {
- g_print ("\t%20s : %s\n", tag, g_value_get_string (val));
- } else if (G_VALUE_HOLDS_UINT (val)) {
- g_print ("\t%20s : %u\n", tag, g_value_get_uint (val));
- } else if (G_VALUE_HOLDS_DOUBLE (val)) {
- g_print ("\t%20s : %g\n", tag, g_value_get_double (val));
- } else if (G_VALUE_HOLDS_BOOLEAN (val)) {
- g_print ("\t%20s : %s\n", tag,
- (g_value_get_boolean (val)) ? "true" : "false");
- } else if (GST_VALUE_HOLDS_BUFFER (val)) {
- GstBuffer *buf = gst_value_get_buffer (val);
- guint buffer_size = gst_buffer_get_size (buf);
-
- g_print ("\t%20s : buffer of size %u\n", tag, buffer_size);
- } else if (GST_VALUE_HOLDS_DATE_TIME (val)) {
- GstDateTime *dt = g_value_get_boxed (val);
- gchar *dt_str = gst_date_time_to_iso8601_string (dt);
-
- g_print ("\t%20s : %s\n", tag, dt_str);
- g_free (dt_str);
- } else {
- g_print ("\t%20s : tag of type '%s'\n", tag, G_VALUE_TYPE_NAME (val));
- }
- }
- }
-
- /*由于我们只需要提取相应的媒体信息,不需要关心具体的数据,所以这里使用了fakesink,fakesink会直接丢弃掉所有收到的数据。同时在此处监听了"pad-added"的信号,用于动态连接Pipeline,这种处理方式已在动态连接Pipeline中进行了详细的介绍。*/
-
- static void
- on_new_pad (GstElement * dec, GstPad * pad, GstElement * fakesink)
- {
- GstPad *sinkpad;
-
- sinkpad = gst_element_get_static_pad (fakesink, "sink");
- if (!gst_pad_is_linked (sinkpad)) {
- if (gst_pad_link (pad, sinkpad) != GST_PAD_LINK_OK)
- g_error ("Failed to link pads!");
- }
- gst_object_unref (sinkpad);
- }
-
- int
- main (int argc, char ** argv)
- {
- GstElement *pipe, *dec, *sink;
- GstMessage *msg;
- gchar *uri;
-
- gst_init (&argc, &argv);
-
- if (argc < 2)
- g_error ("Usage: %s FILE or URI", argv[0]);
-
- if (gst_uri_is_valid (argv[1])) {
- uri = g_strdup (argv[1]);
- } else {
- uri = gst_filename_to_uri (argv[1], NULL);
- }
-
- pipe = gst_pipeline_new ("pipeline");
-
- dec = gst_element_factory_make ("uridecodebin", NULL);
- g_object_set (dec, "uri", uri, NULL);
- gst_bin_add (GST_BIN (pipe), dec);
-
- sink = gst_element_factory_make ("fakesink", NULL);
- gst_bin_add (GST_BIN (pipe), sink);
-
- g_signal_connect (dec, "pad-added", G_CALLBACK (on_new_pad), sink);
-
- gst_element_set_state (pipe, GST_STATE_PAUSED);
-
- while (TRUE) {
- GstTagList *tags = NULL;
-
- msg = gst_bus_timed_pop_filtered (GST_ELEMENT_BUS (pipe),
- GST_CLOCK_TIME_NONE,
- GST_MESSAGE_ASYNC_DONE | GST_MESSAGE_TAG | GST_MESSAGE_ERROR);
-
- if (GST_MESSAGE_TYPE (msg) != GST_MESSAGE_TAG) /* error or async_done */
- break;
-
- gst_message_parse_tag (msg, &tags);
-
- g_print ("Got tags from element %s:\n", GST_OBJECT_NAME (msg->src));
- gst_tag_list_foreach (tags, print_one_tag, NULL);
- g_print ("\n");
- gst_tag_list_unref (tags);
-
- gst_message_unref (msg);
- }
-
- if (GST_MESSAGE_TYPE (msg) == GST_MESSAGE_ERROR) {
- GError *err = NULL;
-
- gst_message_parse_error (msg, &err, NULL);
- g_printerr ("Got error: %s\n", err->message);
- g_error_free (err);
- }
-
- gst_message_unref (msg);
- gst_element_set_state (pipe, GST_STATE_NULL);
- gst_object_unref (pipe);
- g_free (uri);
- return 0;
- }
Tag的写入主要使用GstTagSetter
接口,需要你的管道中的元素支持tag设置,可以通过gst_bin_iterate_all_by_interface (pipeline, GST_TYPE_TAG_SETTER)
.函数查看是否支持写入,
GStreamer的标记支持中有一个很好的额外特性,就是标记被保存在管道中。 将标记包含到另一种支持标记的媒体类型中,然后将标记作为数据流的一部分处理,并将其合并到新编写的媒体文件中。