• Android平台轻量级RTSP服务模块编码前后数据源对接探究

    技术背景

    好多开发者可能有个疑惑，什么时候轻量级RTSP服务？为什么需要有轻量级RTSP服务模块？实际上，轻量级RTSP服务解决的核心痛点是不需要用户额外部署RTSP或者RTMP流媒体服务，实现本地的音视频（如摄像头、麦克风）或编码后数据，汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL。

    轻量级RTSP服务，适用于内网环境下，对并发要求不高的场景，支持H.264/H.265，支持RTSP鉴权、单播、组播模式，考虑到单个服务承载能力，我们支持同时创建多个RTSP服务，并支持获取当前RTSP服务会话连接数。

    技术实现

    以大牛直播SDK的Android平台轻量级RTSP服务为例，我们大概介绍下设计的常用的数据源对接接口。

    标准功能

    • 音频编码：AAC；
    • 视频编码：H.264、H.265；
    • 协议：RTSP；
    • [音视频]支持纯音频/纯视频/音视频；
    • [摄像头]支持采集过程中，前后摄像头实时切换；
    • 支持帧率、关键帧间隔(GOP)、码率(bit-rate)设置；
    • 支持软编码、特定机型硬编码；
    • 支持横屏、竖屏采集；
    • 支持Android屏幕采集；
    • 支持RTSP端口设置；
    • 支持RTSP鉴权用户名、密码设置；
    • 支持获取当前RTSP服务会话连接数；
    • 支持Android 5.1及以上版本。

    YV12的数据接口

    YV12的数据接口，主要是用于第三方的设备对接居多，这个接口的u_stride, v_stride分别是(width+1)/2，如果出来的数据需要旋转，通过rotation_degree来控制旋转角度即可。

    1.     /**
    2.      * YV12数据接口
    3.      *
    4.      * @param data: YV12 data
    5.      *
    6.      * @param width: 图像宽
    7.      *
    8.      * @param height: 图像高
    9.      *
    10.      * @param y_stride:  y面步长
    11.      *
    12.      * @param v_stride: v面步长
    13.      *
    14.      * @param u_stride: u面步长
    15.      *
    16.      * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    17.      *
    18.      * @return {0} if successful
    19.      */
    20.     public native int SmartPublisherOnYV12Data(long handle, byte[] data, int width, int height, int y_stride,  int v_stride, int u_stride, int rotation_degree);

    YUV数据接口

    支持标准的I420数据接口对接，不再赘述：

    1.   /**
    2. 	 * 投递层I420图像
    3. 	 *
    4. 	 * @param index: 层索引, 必须大于等于0
    5. 	 *
    6. 	 * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    7. 	 *
    8. 	 * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    9. 	 *
    10. 	 * @param y_plane: y平面图像数据
    11. 	 *
    12. 	 * @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    13. 	 *
    14. 	 * @param y_row_stride: stride information
    15. 	 *
    16. 	 * @param u_plane: u平面图像数据
    17. 	 *
    18. 	 * @param u_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    19. 	 *
    20. 	 * @param u_row_stride: stride information
    21. 	 *                    *
    22. 	 * @param v_plane: v平面图像数据
    23. 	 *
    24. 	 * @param v_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    25. 	 *
    26. 	 * @param v_row_stride: stride information
    27. 	 *
    28. 	 * @param width: width, 必须大于1, 且必须是偶数
    29. 	 *
    30. 	 * @param height: height, 必须大于1, 且必须是偶数
    31. 	 *
    32. 	 * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    33. 	 *
    34. 	 * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    35. 	 *
    36. 	 * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    37. 	 *
    38. 	 * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    39. 	 *
    40. 	 * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    41. 	 *
    42. 	 * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    43. 	 *
    44. 	 * @return {0} if successful
    45. 	 */
    46. 	public native int PostLayerImageI420ByteBuffer(long handle, int index, int left, int top,
    47. 												   ByteBuffer y_plane, int y_offset, int y_row_stride,
    48. 												   ByteBuffer u_plane, int u_offset, int u_row_stride,
    49. 												   ByteBuffer v_plane, int v_offset, int v_row_stride,
    50. 												   int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    51. 												   int scale_width,  int scale_height, int scale_filter_mode,
    52. 												   int rotation_degree);

    NV21转I420并旋转接口

    这个接口也是主要用于特定的数据类型对接，NV21的数据，直接转I420后，对接即可，接口参数比较简单，不再赘述。

    1.   /**
    2. 	 * NV21转换到I420并旋转
    3. 	 *
    4. 	 * @param src: nv21 data
    5. 	 *
    6. 	 * @param dst: 输出I420 data
    7. 	 *
    8. 	 * @param width: 图像宽
    9. 	 *
    10. 	 * @param height: 图像高
    11. 	 *
    12. 	 * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    13. 	 *
    14. 	 * @return {0} if successful
    15. 	 */
    16. 	public native int SmartPublisherNV21ToI420Rotate(long handle, byte[] src, int src_y_stride, int src_uv_stride, byte[] dst,
    17. 													 int dst_y_stride, int dst_u_stride, int dst_v_stride,
    18. 													 int width, int height,
    19. 													 int rotation_degree);

    支持RGBA数据接入

    RGBA的主要用于屏幕共享场景下。

    1.    /**
    2.     * Set live video data(no encoded data).
    3.     *
    4.     * @param data: RGBA data
    5.     * 
    6.     * @param rowStride: stride information
    7.     * 
    8.     * @param width: width
    9.     * 
    10.     * @param height: height
    11.     *
    12.     * @return {0} if successful
    13.     */
    14.     public native int SmartPublisherOnCaptureVideoRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height);
    15.  
    16.     /**
    17.      * 投递裁剪过的RGBA数据
    18.      *
    19.      * @param data: RGBA data
    20.      *
    21.      * @param rowStride: stride information
    22.      *
    23.      * @param width: width
    24.      *
    25.      * @param height: height
    26.      *
    27.      * @param clipedLeft: 左;  clipedTop: 上; clipedwidth: 裁剪后的宽; clipedHeight: 裁剪后的高; 确保传下去裁剪后的宽、高均为偶数
    28.      *
    29.      * @return {0} if successful
    30.      */
    31.     public native int SmartPublisherOnCaptureVideoClipedRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height, int clipedLeft, int clipedTop, int clipedWidth, int clipedHeight);
    32.  
    33.     /**
    34.      * Set live video data(no encoded data).
    35.      *
    36.      * @param data: ABGR flip vertical(垂直翻转) data
    37.      *
    38.      * @param rowStride: stride information
    39.      *
    40.      * @param width: width
    41.      *
    42.      * @param height: height
    43.      *
    44.      * @return {0} if successful
    45.      */
    46.     public native int SmartPublisherOnCaptureVideoABGRFlipVerticalData(long handle,  ByteBuffer data, int rowStride, int width, int height);

    支持RGB565数据接入（主要用于同屏场景）

    RGB565数据类型也主要用于屏幕采集这块。

    1.     /**
    2.      * Set live video data(no encoded data).
    3.      *
    4.      * @param data: RGB565 data
    5.      *
    6.      * @param row_stride: stride information
    7.      *
    8.      * @param width: width
    9.      *
    10.      * @param height: height
    11.      *
    12.      * @return {0} if successful
    13.      */
    14.     public native int SmartPublisherOnCaptureVideoRGB565Data(long handle,ByteBuffer data, int row_stride, int width, int height);

    NV12、NV21格式

    1.   /**
    2. 	 * 投递层NV21图像
    3. 	 *
    4. 	 * @param index: 层索引, 必须大于等于0
    5. 	 *
    6. 	 * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    7. 	 *
    8. 	 * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    9. 	 *
    10. 	 * @param y_plane: y平面图像数据
    11. 	 *
    12. 	 * @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    13. 	 *
    14. 	 * @param y_row_stride: stride information
    15. 	 *
    16. 	 * @param uv_plane: uv平面图像数据
    17. 	 *
    18. 	 * @param uv_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    19. 	 *
    20. 	 * @param uv_row_stride: stride information
    21. 	 *
    22. 	 * @param width: width, 必须大于1, 且必须是偶数
    23. 	 *
    24. 	 * @param height: height, 必须大于1, 且必须是偶数
    25. 	 *
    26. 	 * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    27. 	 *
    28. 	 * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    29. 	 *
    30. 	 * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    31. 	 *
    32. 	 * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    33. 	 *
    34. 	 * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    35. 	 *
    36. 	 * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    37. 	 *
    38. 	 * @return {0} if successful
    39. 	 */
    40. 	public native int PostLayerImageNV21ByteBuffer(long handle, int index, int left, int top,
    41. 													   ByteBuffer y_plane, int y_offset, int y_row_stride,
    42. 												       ByteBuffer uv_plane, int uv_offset, int uv_row_stride,
    43. 												       int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    44. 													   int scale_width,  int scale_height, int scale_filter_mode,
    45. 													   int rotation_degree);
    46.  
    47.  
    48. 	/**
    49. 	 * 投递层NV21图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    50. 	 *
    51. 	 * @return {0} if successful
    52. 	 */
    53. 	public native int PostLayerImageNV21ByteArray(long handle, int index, int left, int top,
    54. 												   byte[] y_plane, int y_offset, int y_row_stride,
    55. 												   byte[] uv_plane, int uv_offset, int uv_row_stride,
    56. 												   int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    57. 												   int scale_width,  int scale_height, int scale_filter_mode,
    58. 												   int rotation_degree);
    59.  
    60.  
    61. 	/**
    62. 	 * 投递层NV12图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    63. 	 *
    64. 	 * @return {0} if successful
    65. 	 */
    66. 	public native int PostLayerImageNV12ByteBuffer(long handle, int index, int left, int top,
    67. 												   ByteBuffer y_plane, int y_offset, int y_row_stride,
    68. 												   ByteBuffer uv_plane, int uv_offset, int uv_row_stride,
    69. 												   int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    70. 												   int scale_width,  int scale_height, int scale_filter_mode,
    71. 												   int rotation_degree);
    72.  
    73.  
    74. 	/**
    75. 	 * 投递层NV12图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    76. 	 *
    77. 	 * @return {0} if successful
    78. 	 */
    79. 	public native int PostLayerImageNV12ByteArray(long handle, int index, int left, int top,
    80. 												  byte[] y_plane, int y_offset, int y_row_stride,
    81. 												  byte[] uv_plane, int uv_offset, int uv_row_stride,
    82. 												  int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    83. 												  int scale_width,  int scale_height, int scale_filter_mode,
    84. 												  int rotation_degree);

    RGBA8888、RGBX8888接口

    1.   /**
    2. 	 * 投递层RGBA8888图像,如果不需要Aplpha通道的话, 请使用RGBX8888接口, 效率高
    3. 	 *
    4. 	 * @param index: 层索引, 必须大于等于0, 注意:如果index是0的话，将忽略Alpha通道
    5. 	 *
    6. 	 * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    7. 	 *
    8. 	 * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    9. 	 *
    10. 	 * @param rgba_plane: rgba 图像数据
    11. 	 *
    12. 	 * @param offset: 图像偏移, 这个主要目的是用来做clip的, 一般传0
    13. 	 *
    14. 	 * @param row_stride: stride information
    15. 	 *
    16. 	 * @param width: width, 必须大于1, 如果是奇数, 将减1
    17. 	 *
    18. 	 * @param height: height, 必须大于1, 如果是奇数, 将减1
    19. 	 *
    20. 	 * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    21. 	 *
    22. 	 * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    23. 	 *
    24. 	 * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    25. 	 *
    26. 	 * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    27. 	 *
    28. 	 * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    29. 	 *
    30. 	 * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    31. 	 *
    32. 	 * @return {0} if successful
    33. 	 */
    34. 	public native int PostLayerImageRGBA8888ByteBuffer(long handle, int index, int left, int top,
    35. 											 ByteBuffer rgba_plane, int offset, int row_stride, int width, int height,
    36. 											 int is_vertical_flip,  int is_horizontal_flip,
    37. 											 int scale_width,  int scale_height, int scale_filter_mode,
    38. 											 int rotation_degree);
    39.  
    40.  
    41. 	/**
    42. 	 * 投递层RGBA8888图像, 详细说明请参考PostLayerImageRGBA8888ByteBuffer
    43. 	 *
    44. 	 * @return {0} if successful
    45. 	 */
    46. 	public native int PostLayerImageRGBA8888ByteArray(long handle, int index, int left, int top,
    47. 													  byte[] rgba_plane, int offset, int row_stride, int width, int height,
    48. 													  int is_vertical_flip,  int is_horizontal_flip,
    49. 													  int scale_width,  int scale_height, int scale_filter_mode,
    50. 													  int rotation_degree);
    51.  
    52.  
    53. 	/**
    54. 	 * 投递层RGBA8888图像, 详细说明请参考PostLayerImageRGBA8888ByteBuffer
    55. 	 *
    56. 	 * @return {0} if successful
    57. 	 */
    58. 	public native int PostLayerImageRGBA8888Native(long handle, int index, int left, int top,
    59. 												   long rgba_plane, int offset, int row_stride, int width, int height,
    60. 												   int is_vertical_flip,  int is_horizontal_flip,
    61. 												   int scale_width,  int scale_height, int scale_filter_mode,
    62. 												   int rotation_degree);
    63.  
    64.  
    65. 	/**
    66. 	 * 投递层RGBX8888图像
    67. 	 *
    68. 	 * @param index: 层索引, 必须大于等于0
    69. 	 *
    70. 	 * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    71. 	 *
    72. 	 * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    73. 	 *
    74. 	 * @param rgbx_plane: rgbx 图像数据
    75. 	 *
    76. 	 * @param offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    77. 	 *
    78. 	 * @param row_stride: stride information
    79. 	 *
    80. 	 * @param width: width, 必须大于1, 如果是奇数, 将减1
    81. 	 *
    82. 	 * @param height: height, 必须大于1, 如果是奇数, 将减1
    83. 	 *
    84. 	 * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    85. 	 *
    86. 	 * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    87. 	 *
    88. 	 * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    89. 	 *
    90. 	 * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    91. 	 *
    92. 	 * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    93. 	 *
    94. 	 * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    95. 	 *
    96. 	 * @return {0} if successful
    97. 	 */
    98. 	public native int PostLayerImageRGBX8888ByteBuffer(long handle, int index, int left, int top,
    99. 													   ByteBuffer rgbx_plane, int offset, int row_stride, int width, int height,
    100. 													   int is_vertical_flip,  int is_horizontal_flip,
    101. 													   int scale_width,  int scale_height, int scale_filter_mode,
    102. 													   int rotation_degree);
    103.  
    104.  
    105. 	/**
    106. 	 * 投递层RGBX8888图像, 详细说明请参考PostLayerImageRGBX8888ByteBuffer
    107. 	 *
    108. 	 * @return {0} if successful
    109. 	 */
    110. 	public native int PostLayerImageRGBX8888ByteArray(long handle, int index, int left, int top,
    111. 													  byte[] rgbx_plane, int offset, int row_stride, int width, int height,
    112. 													  int is_vertical_flip,  int is_horizontal_flip,
    113. 													  int scale_width,  int scale_height, int scale_filter_mode,
    114. 													  int rotation_degree);
    115.  
    116.  
    117. 	/**
    118. 	 * 投递层RGBX8888图像, 详细说明请参考PostLayerImageRGBX8888ByteBuffer
    119. 	 *
    120. 	 * @return {0} if successful
    121. 	 */
    122. 	public native int PostLayerImageRGBX8888Native(long handle, int index, int left, int top,
    123. 												   long rgbx_plane, int offset, int row_stride, int width, int height,
    124. 												   int is_vertical_flip,  int is_horizontal_flip,
    125. 												   int scale_width,  int scale_height, int scale_filter_mode,
    126. 												   int rotation_degree);
    127.  
    128.  
    129. 	/**
    130. 	 * 投递层RGB888图像
    131. 	 *
    132. 	 * @param index: 层索引, 必须大于等于0
    133. 	 *
    134. 	 * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    135. 	 *
    136. 	 * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    137. 	 *
    138. 	 * @param rgb_plane: rgb888 图像数据
    139. 	 *
    140. 	 * @param offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    141. 	 *
    142. 	 * @param row_stride: stride information
    143. 	 *
    144. 	 * @param width: width, 必须大于1, 如果是奇数, 将减1
    145. 	 *
    146. 	 * @param height: height, 必须大于1, 如果是奇数, 将减1
    147. 	 *
    148. 	 * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    149. 	 *
    150. 	 * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    151. 	 *
    152. 	 * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    153. 	 *
    154. 	 * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    155. 	 *
    156. 	 * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    157. 	 *
    158. 	 * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    159. 	 *
    160. 	 * @return {0} if successful
    161. 	 */
    162. 	public native int PostLayerImageRGB888Native(long handle, int index, int left, int top,
    163. 													   long rgb_plane, int offset, int row_stride, int width, int height,
    164. 													   int is_vertical_flip,  int is_horizontal_flip,
    165. 													   int scale_width,  int scale_height, int scale_filter_mode,
    166. 													   int rotation_degree);

    编码后音视频数据

    像前文所说，如无人机等264/HEVC数据，或者本地解析的MP4音视频数据，均可通过实时流的形式，接入到GB28181平台，设计接口如下：

    1. /**
    2.      * 设置编码后视频数据(H.264)
    3.      *
    4.      * @param codec_id, H.264对应 1
    5.      *
    6.      * @param data 编码后的video数据
    7.      *
    8.      * @param size data length
    9.      *
    10.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    11.      *
    12.      * @param timestamp video timestamp
    13.      *
    14.      * @param pts Presentation Time Stamp, 显示时间戳
    15.      *
    16.      * @return {0} if successful
    17.      */
    18.     public native int SmartPublisherPostVideoEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp, long pts);
    19.  
    20.     /**
    21.      * 设置编码后视频数据(H.264)
    22.      *
    23.      * @param codec_id, H.264对应 1
    24.      *
    25.      * @param data 编码后的video数据
    26.      *
    27.      *@param offset data的偏移
    28.      *
    29.      * @param size data length
    30.      *
    31.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    32.      *
    33.      * @param timestamp video timestamp
    34.      *
    35.      * @param pts Presentation Time Stamp, 显示时间戳
    36.      *
    37.      * @return {0} if successful
    38.      */
    39.     public native int SmartPublisherPostVideoEncodedDataV2(long handle, int codec_id,
    40.                                                            ByteBuffer data, int offset, int size,
    41.                                                            int is_key_frame, long timestamp, long pts,
    42.                                                            byte[] sps, int sps_len,
    43.                                                            byte[] pps, int pps_len);
    44.  
    45.     /**
    46.      * 设置编码后视频数据(H.264)，如需录制编码后的数据，用此接口，且设置实际宽高
    47.      *
    48.      * @param codec_id, H.264对应 1
    49.      *
    50.      * @param data 编码后的video数据
    51.      *
    52.      *@param offset data的偏移
    53.      *
    54.      * @param size data length
    55.      *
    56.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    57.      *
    58.      * @param timestamp video timestamp
    59.      *
    60.      * @param pts Presentation Time Stamp, 显示时间戳
    61.      *
    62.      * @param width, height: 编码后视频宽高
    63.      *
    64.      * @return {0} if successful
    65.      */
    66.     public native int SmartPublisherPostVideoEncodedDataV3(long handle, int codec_id,
    67.                                                            ByteBuffer data, int offset, int size,
    68.                                                            int is_key_frame, long timestamp, long pts,
    69.                                                            byte[] sps, int sps_len,
    70.                                                            byte[] pps, int pps_len,
    71.                                                            int width, int height);
    72.  
    73.     /**
    74.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    75.      *
    76.      * @param codec_id:
    77.      *
    78.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    79.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    80.      *   NT_MEDIA_CODEC_ID_PCMU,
    81.      *   NT_MEDIA_CODEC_ID_AAC,
    82.      *   NT_MEDIA_CODEC_ID_SPEEX,
    83.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    84.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    85.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    86.      *
    87.      * @param data audio数据
    88.      *
    89.      * @param size data length
    90.      *
    91.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    92.      *
    93.      * @param timestamp video timestamp
    94.      *
    95.      * @param parameter_info 用于AAC special config信息填充
    96.      *
    97.      * @param parameter_info_size parameter info size
    98.      *
    99.      * @return {0} if successful
    100.      */
    101.     public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp,ByteBuffer parameter_info, int parameter_info_size);
    102.  
    103.     /**
    104.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    105.      *
    106.      * @param codec_id:
    107.      *
    108.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    109.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    110.      *   NT_MEDIA_CODEC_ID_PCMU,
    111.      *   NT_MEDIA_CODEC_ID_AAC,
    112.      *   NT_MEDIA_CODEC_ID_SPEEX,
    113.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    114.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    115.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    116.      *
    117.      * @param data audio数据
    118.      *
    119.      * @param offset data的偏移
    120.      *
    121.      * @param size data length
    122.      *
    123.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    124.      *
    125.      * @param timestamp video timestamp
    126.      *
    127.      * @param parameter_info 用于AAC special config信息填充
    128.      *
    129.      * @param parameter_info_size parameter info size
    130.      *
    131.      * @return {0} if successful
    132.      */
    133.     public native int SmartPublisherPostAudioEncodedDataV2(long handle, int codec_id,
    134.                                                            ByteBuffer data, int offset, int size,
    135.                                                            int is_key_frame, long timestamp,
    136.                                                            byte[] parameter_info, int parameter_info_size);
    137.  
    138.  
    139.     /**
    140.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    141.      *
    142.      * @param codec_id:
    143.      *
    144.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    145.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    146.      *   NT_MEDIA_CODEC_ID_PCMU,
    147.      *   NT_MEDIA_CODEC_ID_AAC,
    148.      *   NT_MEDIA_CODEC_ID_SPEEX,
    149.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    150.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    151.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    152.      *
    153.      * @param data audio数据
    154.      *
    155.      * @param offset data的偏移
    156.      *
    157.      * @param size data length
    158.      *
    159.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    160.      *
    161.      * @param timestamp video timestamp
    162.      *
    163.      * @param parameter_info 用于AAC special config信息填充
    164.      *
    165.      * @param parameter_info_size parameter info size
    166.      *
    167.      * @param sample_rate 采样率,如果需要录像的话必须传正确的值
    168.      *
    169.      *@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2
    170.      *
    171.      * @return {0} if successful
    172.      */
    173.     public native int SmartPublisherPostAudioEncodedDataV3(long handle, int codec_id,
    174.                                                            ByteBuffer data, int offset, int size,
    175.                                                            int is_key_frame, long timestamp,
    176.                                                            byte[] parameter_info, int parameter_info_size,
    177.                                                            int sample_rate, int channels);
  • 相关阅读:
    【无标题】快速控制原型（RCP）丨内置式交流永磁同步电机开发试验系统
    golang语言的gofly快速开发框架如何设置多样的主题说明
    正则表达式
    code编译时报错undefined reference to ...
    【Java第29期】：Tomcat的安装和使用
    Vue3最佳实践 第六章 Pinia,Vuex与axios,VueUse 1（Pinia）
    使用MySQL存储过程提高数据库效率和可维护性
    物流路由线路配载前端算法逻辑实现方案
    Blend for Visual Studio 概述
    Vue项目的记录（十六）
  • 原文地址：https://blog.csdn.net/renhui1112/article/details/133810781