• Android平台GB28181设备接入端对接编码前后音视频源类型浅析

    前言

    今天主要对Android平台GB28181设备接入模块支持的接入数据类型，做个简单的汇总：

    1. 编码前数据（目前支持的有YV12/NV21/NV12/I420/RGB24/RGBA32/RGB565等数据类型），其中，Android平台前后摄像头数据，或者屏幕数据，或者Unity拿到的数据，均属编码前数据；
    2. 编码后数据（如无人机等264/HEVC数据，或者本地解析的MP4音视频数据）；
    3. 拉取RTSP或RTMP流并接入至GB28181平台（比如其他IPC的RTSP流，可通过Android平台GB28181接入到国标平台）。

    支持的音视频数据类型

    编码前音视频数据

    编码前音视频数据支持的类型接口如下，除了常规的音视频数据外，我们还设计支持了实时动态水印，比如实时文字水印、图片水印，音频这块，我们实现了混音机制，支持2路混音输入：

    1. /*
    2.  * SmartPublisherJniV2.java
    3.  * SmartPublisherJniV2
    4.  *
    5.  * WebSite: https://daniusdk.com
    6.  * Github: https://github.com/daniulive/SmarterStreaming
    7.  * 
    8.  * Created by DaniuLive on 2015/09/20.
    9.  */
    10.  
    11. /**
    12.     * Set live video data(no encoded data).
    13.     *
    14.     * @param cameraType: CAMERA_FACING_BACK with 0, CAMERA_FACING_FRONT with 1
    15.     * 
    16.     * @param curOrg:
    17.          * PORTRAIT = 1; //竖屏
    18.          * LANDSCAPE = 2;    //横屏 home键在右边的情况
    19.          * LANDSCAPE_LEFT_HOME_KEY = 3; //横屏 home键在左边的情况
    20.     *
    21.     * @return {0} if successful
    22.     */
    23.     public native int SmartPublisherOnCaptureVideoData(long handle, byte[] data, int len, int cameraType, int curOrg);
    24.  
    25.  
    26.     /**
    27.      * YV12数据接口
    28.      *
    29.      * @param data: YV12 data
    30.      *
    31.      * @param width: 图像宽
    32.      *
    33.      * @param height: 图像高
    34.      *
    35.      * @param y_stride:  y面步长
    36.      *
    37.      * @param v_stride: v面步长
    38.      *
    39.      * @param u_stride: u面步长
    40.      *
    41.      * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    42.      *
    43.      * @return {0} if successful
    44.      */
    45.     public native int SmartPublisherOnYV12Data(long handle, byte[] data, int width, int height, int y_stride,  int v_stride, int u_stride, int rotation_degree);
    46.  
    47.  
    48.     /**
    49.      * NV21数据接口
    50.      *
    51.      * @param data: nv21 data
    52.      *
    53.      * @param len: data length
    54.      *
    55.      * @param width: 图像宽
    56.      *
    57.      * @param height: 图像高
    58.      *
    59.      * @param y_stride:  y面步长
    60.      *
    61.      * @param uv_stride:  uv面步长
    62.      *
    63.      * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    64.      *
    65.      * @return {0} if successful
    66.      */
    67.     public native int SmartPublisherOnNV21Data(long handle, byte[] data, int len, int width, int height, int y_stride,  int uv_stride, int rotation_degree);
    68.  
    69.  
    70.     /**
    71.      * NV21数据接口
    72.      *
    73.      * @param data: nv21 data
    74.      *
    75.      * @param len: data length
    76.      *
    77.      * @param width: 图像宽
    78.      *
    79.      * @param height: 图像高
    80.      *
    81.      * @param y_stride:  y面步长
    82.      *
    83.      * @param uv_stride:  uv面步长
    84.      *
    85.      * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    86.      *
    87.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    88.      *
    89.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    90.      *
    91.      * @return {0} if successful
    92.      */
    93.     public native int SmartPublisherOnNV21DataV2(long handle, byte[] data, int len, int width, int height, int y_stride,  int uv_stride, int rotation_degree,
    94.                                                  int is_vertical_flip, int is_horizontal_flip);
    95.  
    96.  
    97.     /**
    98.      * NV21转换到I420并旋转
    99.      *
    100.      * @param src: nv21 data
    101.      *
    102.      * @param dst: 输出I420 data
    103.      *
    104.      * @param width: 图像宽
    105.      *
    106.      * @param height: 图像高
    107.      *
    108.      * rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    109.      *
    110.      * @return {0} if successful
    111.      */
    112.     public native int SmartPublisherNV21ToI420Rotate(long handle, byte[] src, int src_y_stride, int src_uv_stride, byte[] dst,
    113.                                                      int dst_y_stride, int dst_u_stride, int dst_v_stride,
    114.                                                      int width, int height,
    115.                                                      int rotation_degree);
    116.  
    117.  
    118.     /**
    119.     * Set live video data(no encoded data).
    120.     *
    121.     * @param data: I420 data
    122.     * 
    123.     * @param len: I420 data length
    124.     * 
    125.     * @param yStride: y stride
    126.     * 
    127.     * @param uStride: u stride
    128.     * 
    129.     * @param vStride: v stride
    130.     *
    131.     * @return {0} if successful
    132.     */
    133.     public native int SmartPublisherOnCaptureVideoI420Data(long handle,  byte[] data, int len, int yStride, int uStride, int vStride);
    134.  
    135.  
    136.     /**
    137.      * 传I420图像接口
    138.      *
    139.      * @param data: I420 data
    140.      *
    141.      * @param width: 图像宽
    142.      *
    143.      * @param height: 图像高
    144.      *
    145.      * @param y_stride: y stride
    146.      *
    147.      * @param u_stride: u stride
    148.      *
    149.      * @param v_stride: v stride
    150.      *
    151.      * @return {0} if successful
    152.      */
    153.     public native int SmartPublisherOnCaptureVideoI420DataV2(long handle, byte[] data, int width, int height, int y_stride, int u_stride, int v_stride);
    154.  
    155.  
    156.     /**
    157.      * Set live video data(no encoded data).
    158.      *
    159.      * @param buffer: RGB24 data
    160.      *
    161.      * @param length: data length
    162.      *
    163.      * @param rowStride: stride information
    164.      *
    165.      * @param width: width
    166.      *
    167.      * @param height: height
    168.      *
    169.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    170.      *
    171.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    172.      *
    173.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    174.      *
    175.      * @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放
    176.      *
    177.      * @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放
    178.      *
    179.      * @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认质量
    180.      *
    181.      * @return {0} if successful
    182.      */
    183.     public native int SmartPublisherOnCaptureVideoRGB24Data(long handle, long buffer, int length, int rowStride, int width, int height,
    184.                                                                int is_vertical_flip, int is_horizontal_flip,int rotation_degree,
    185.                                                                int scale_width, int scale_height, int scale_filter_mode);
    186.  
    187.     /**
    188.      * Set live video data(no encoded data).
    189.      *
    190.      * @param buffer: RGBA data
    191.      *
    192.      * @param length: data length
    193.      *
    194.      * @param rowStride: stride information
    195.      *
    196.      * @param width: width
    197.      *
    198.      * @param height: height
    199.      *
    200.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    201.      *
    202.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    203.      *
    204.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    205.      *
    206.      * @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放
    207.      *
    208.      * @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放
    209.      *
    210.      * @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认质量
    211.      *
    212.      * @return {0} if successful
    213.      */
    214.     public native int SmartPublisherOnCaptureVideoRGBA32Data(long handle, long buffer, int length, int rowStride, int width, int height,
    215.                                                               int is_vertical_flip, int is_horizontal_flip,int rotation_degree,
    216.                                                               int scale_width, int scale_height, int scale_filter_mode);
    217.  
    218.     /**
    219.     * Set live video data(no encoded data).
    220.     *
    221.     * @param data: RGBA data
    222.     * 
    223.     * @param rowStride: stride information
    224.     * 
    225.     * @param width: width
    226.     * 
    227.     * @param height: height
    228.     *
    229.     * @return {0} if successful
    230.     */
    231.     public native int SmartPublisherOnCaptureVideoRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height);
    232.  
    233.     /**
    234.      * 投递裁剪过的RGBA数据
    235.      *
    236.      * @param data: RGBA data
    237.      *
    238.      * @param rowStride: stride information
    239.      *
    240.      * @param width: width
    241.      *
    242.      * @param height: height
    243.      *
    244.      * @param clipedLeft: 左;  clipedTop: 上; clipedwidth: 裁剪后的宽; clipedHeight: 裁剪后的高; 确保传下去裁剪后的宽、高均为偶数
    245.      *
    246.      * @return {0} if successful
    247.      */
    248.     public native int SmartPublisherOnCaptureVideoClipedRGBAData(long handle,  ByteBuffer data, int rowStride, int width, int height, int clipedLeft, int clipedTop, int clipedWidth, int clipedHeight);
    249.  
    250.     /**
    251.      * Set live video data(no encoded data).
    252.      *
    253.      * @param data: ABGR flip vertical(垂直翻转) data
    254.      *
    255.      * @param rowStride: stride information
    256.      *
    257.      * @param width: width
    258.      *
    259.      * @param height: height
    260.      *
    261.      * @return {0} if successful
    262.      */
    263.     public native int SmartPublisherOnCaptureVideoABGRFlipVerticalData(long handle,  ByteBuffer data, int rowStride, int width, int height);
    264.  
    265.  
    266.     /**
    267.      * Set live video data(no encoded data).
    268.      *
    269.      * @param data: RGB565 data
    270.      *
    271.      * @param row_stride: stride information
    272.      *
    273.      * @param width: width
    274.      *
    275.      * @param height: height
    276.      *
    277.      * @return {0} if successful
    278.      */
    279.     public native int SmartPublisherOnCaptureVideoRGB565Data(long handle,ByteBuffer data, int row_stride, int width, int height);
    280.  
    281.  
    282.     /*
    283.     *  专门为android.media.Image的android.graphics.ImageFormat.YUV_420_888格式提供的接口
    284.     *
    285.     * @param  width: 必须是8的倍数
    286.     *
    287.     * @param  height: 必须是8的倍数
    288.     *
    289.     * @param  crop_left: 剪切左上角水平坐标, 一般根据android.media.Image.getCropRect() 填充
    290.     *
    291.     * @param  crop_top: 剪切左上角垂直坐标, 一般根据android.media.Image.getCropRect() 填充
    292.     *
    293.     * @param  crop_width: 必须是8的倍数, 填0将忽略这个参数, 一般根据android.media.Image.getCropRect() 填充
    294.     *
    295.     * @param  crop_height: 必须是8的倍数, 填0将忽略这个参数，一般根据android.media.Image.getCropRect() 填充
    296.     *
    297.     * @param y_plane 对应android.media.Image.Plane[0].getBuffer()
    298.     *
    299.     * @param y_row_stride 对应android.media.Image.Plane[0].getRowStride()
    300.     *
    301.     * @param u_plane 对应android.media.Image.Plane[1].getBuffer()
    302.     *
    303.     * @param v_plane 对应android.media.Image.Plane[2].getBuffer()
    304.     *
    305.     * @param uv_row_stride 对应android.media.Image.Plane[1].getRowStride()
    306.     *
    307.     * @param uv_pixel_stride 对应android.media.Image.Plane[1].getPixelStride()
    308.     *
    309.     * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270
    310.     *
    311.     * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    312.     *
    313.     * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    314.     *
    315.     * @param  scale_width: 缩放宽，必须是8的倍数, 0不缩放
    316.     *
    317.     * @param  scale_height: 缩放高, 必须是8的倍数, 0不缩放
    318.     *
    319.     * @param  scale_filter_mode: 缩放质量, 范围必须是[1,3], 传0使用默认速度
    320.     *
    321.     * @return {0} if successful
    322.     */
    323.     public native int SmartPublisherOnImageYUV420888(long handle, int width, int height,
    324.                                                      int crop_left, int crop_top, int crop_width, int crop_height,
    325.                                                      ByteBuffer y_plane, int y_row_stride,
    326.                                                      ByteBuffer u_plane, ByteBuffer v_plane, int uv_row_stride, int uv_pixel_stride,
    327.                                                      int rotation_degree, int is_vertical_flip, int is_horizontal_flip,
    328.                                                      int scale_width, int scale_height, int scale_filter_mode);
    329.  
    330.  
    331.     /**
    332.      * 启用或者停用视频层, 这个接口必须在StartXXX之后调用.
    333.      *
    334.      * @param index: 层索引, 必须大于0, 注意第0层不能停用
    335.      *
    336.      * @param  is_enable: 是否启用, 0停用, 1启用
    337.      *
    338.      * @return {0} if successful
    339.      */
    340.     public native int EnableLayer(long handle, int index, int is_enable);
    341.  
    342.  
    343.     /**
    344.      * 移除视频层, 这个接口必须在StartXXX之后调用.
    345.      *
    346.      * @param index: 层索引, 必须大于0, 注意第0层不能移除
    347.      *
    348.      * @return {0} if successful
    349.      */
    350.     public native int RemoveLayer(long handle, int index);
    351.  
    352.  
    353.     /**
    354.      * 投递层RGBA8888图像,如果不需要Aplpha通道的话, 请使用RGBX8888接口, 效率高
    355.      *
    356.      * @param index: 层索引, 必须大于等于0, 注意:如果index是0的话，将忽略Alpha通道
    357.      *
    358.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    359.      *
    360.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    361.      *
    362.      * @param rgba_plane: rgba 图像数据
    363.      *
    364.      * @param offset: 图像偏移, 这个主要目的是用来做clip的, 一般传0
    365.      *
    366.      * @param row_stride: stride information
    367.      *
    368.      * @param width: width, 必须大于1, 如果是奇数, 将减1
    369.      *
    370.      * @param height: height, 必须大于1, 如果是奇数, 将减1
    371.      *
    372.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    373.      *
    374.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    375.      *
    376.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    377.      *
    378.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    379.      *
    380.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    381.      *
    382.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    383.      *
    384.      * @return {0} if successful
    385.      */
    386.     public native int PostLayerImageRGBA8888ByteBuffer(long handle, int index, int left, int top,
    387.                                              ByteBuffer rgba_plane, int offset, int row_stride, int width, int height,
    388.                                              int is_vertical_flip,  int is_horizontal_flip,
    389.                                              int scale_width,  int scale_height, int scale_filter_mode,
    390.                                              int rotation_degree);
    391.  
    392.  
    393.     /**
    394.      * 投递层RGBA8888图像, 详细说明请参考PostLayerImageRGBA8888ByteBuffer
    395.      *
    396.      * @return {0} if successful
    397.      */
    398.     public native int PostLayerImageRGBA8888ByteArray(long handle, int index, int left, int top,
    399.                                                       byte[] rgba_plane, int offset, int row_stride, int width, int height,
    400.                                                       int is_vertical_flip,  int is_horizontal_flip,
    401.                                                       int scale_width,  int scale_height, int scale_filter_mode,
    402.                                                       int rotation_degree);
    403.  
    404.  
    405.     /**
    406.      * 投递层RGBA8888图像, 详细说明请参考PostLayerImageRGBA8888ByteBuffer
    407.      *
    408.      * @return {0} if successful
    409.      */
    410.     public native int PostLayerImageRGBA8888Native(long handle, int index, int left, int top,
    411.                                                    long rgba_plane, int offset, int row_stride, int width, int height,
    412.                                                    int is_vertical_flip,  int is_horizontal_flip,
    413.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    414.                                                    int rotation_degree);
    415.  
    416.  
    417.     /**
    418.      * 投递层RGBX8888图像
    419.      *
    420.      * @param index: 层索引, 必须大于等于0
    421.      *
    422.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    423.      *
    424.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    425.      *
    426.      * @param rgbx_plane: rgbx 图像数据
    427.      *
    428.      * @param offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    429.      *
    430.      * @param row_stride: stride information
    431.      *
    432.      * @param width: width, 必须大于1, 如果是奇数, 将减1
    433.      *
    434.      * @param height: height, 必须大于1, 如果是奇数, 将减1
    435.      *
    436.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    437.      *
    438.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    439.      *
    440.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    441.      *
    442.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    443.      *
    444.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    445.      *
    446.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    447.      *
    448.      * @return {0} if successful
    449.      */
    450.     public native int PostLayerImageRGBX8888ByteBuffer(long handle, int index, int left, int top,
    451.                                                        ByteBuffer rgbx_plane, int offset, int row_stride, int width, int height,
    452.                                                        int is_vertical_flip,  int is_horizontal_flip,
    453.                                                        int scale_width,  int scale_height, int scale_filter_mode,
    454.                                                        int rotation_degree);
    455.  
    456.  
    457.     /**
    458.      * 投递层RGBX8888图像, 详细说明请参考PostLayerImageRGBX8888ByteBuffer
    459.      *
    460.      * @return {0} if successful
    461.      */
    462.     public native int PostLayerImageRGBX8888ByteArray(long handle, int index, int left, int top,
    463.                                                       byte[] rgbx_plane, int offset, int row_stride, int width, int height,
    464.                                                       int is_vertical_flip,  int is_horizontal_flip,
    465.                                                       int scale_width,  int scale_height, int scale_filter_mode,
    466.                                                       int rotation_degree);
    467.  
    468.  
    469.     /**
    470.      * 投递层RGBX8888图像, 详细说明请参考PostLayerImageRGBX8888ByteBuffer
    471.      *
    472.      * @return {0} if successful
    473.      */
    474.     public native int PostLayerImageRGBX8888Native(long handle, int index, int left, int top,
    475.                                                    long rgbx_plane, int offset, int row_stride, int width, int height,
    476.                                                    int is_vertical_flip,  int is_horizontal_flip,
    477.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    478.                                                    int rotation_degree);
    479.  
    480.  
    481.     /**
    482.      * 投递层RGB888图像
    483.      *
    484.      * @param index: 层索引, 必须大于等于0
    485.      *
    486.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    487.      *
    488.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    489.      *
    490.      * @param rgb_plane: rgb888 图像数据
    491.      *
    492.      * @param offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    493.      *
    494.      * @param row_stride: stride information
    495.      *
    496.      * @param width: width, 必须大于1, 如果是奇数, 将减1
    497.      *
    498.      * @param height: height, 必须大于1, 如果是奇数, 将减1
    499.      *
    500.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    501.      *
    502.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    503.      *
    504.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    505.      *
    506.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    507.      *
    508.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    509.      *
    510.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    511.      *
    512.      * @return {0} if successful
    513.      */
    514.     public native int PostLayerImageRGB888Native(long handle, int index, int left, int top,
    515.                                                        long rgb_plane, int offset, int row_stride, int width, int height,
    516.                                                        int is_vertical_flip,  int is_horizontal_flip,
    517.                                                        int scale_width,  int scale_height, int scale_filter_mode,
    518.                                                        int rotation_degree);
    519.  
    520.  
    521.     /**
    522.      * 投递层NV21图像
    523.      *
    524.      * @param index: 层索引, 必须大于等于0
    525.      *
    526.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    527.      *
    528.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    529.      *
    530.      * @param y_plane: y平面图像数据
    531.      *
    532.      * @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    533.      *
    534.      * @param y_row_stride: stride information
    535.      *
    536.      * @param uv_plane: uv平面图像数据
    537.      *
    538.      * @param uv_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    539.      *
    540.      * @param uv_row_stride: stride information
    541.      *
    542.      * @param width: width, 必须大于1, 且必须是偶数
    543.      *
    544.      * @param height: height, 必须大于1, 且必须是偶数
    545.      *
    546.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    547.      *
    548.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    549.      *
    550.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    551.      *
    552.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    553.      *
    554.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    555.      *
    556.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    557.      *
    558.      * @return {0} if successful
    559.      */
    560.     public native int PostLayerImageNV21ByteBuffer(long handle, int index, int left, int top,
    561.                                                        ByteBuffer y_plane, int y_offset, int y_row_stride,
    562.                                                        ByteBuffer uv_plane, int uv_offset, int uv_row_stride,
    563.                                                        int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    564.                                                        int scale_width,  int scale_height, int scale_filter_mode,
    565.                                                        int rotation_degree);
    566.  
    567.  
    568.     /**
    569.      * 投递层NV21图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    570.      *
    571.      * @return {0} if successful
    572.      */
    573.     public native int PostLayerImageNV21ByteArray(long handle, int index, int left, int top,
    574.                                                    byte[] y_plane, int y_offset, int y_row_stride,
    575.                                                    byte[] uv_plane, int uv_offset, int uv_row_stride,
    576.                                                    int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    577.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    578.                                                    int rotation_degree);
    579.  
    580.  
    581.     /**
    582.      * 投递层NV12图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    583.      *
    584.      * @return {0} if successful
    585.      */
    586.     public native int PostLayerImageNV12ByteBuffer(long handle, int index, int left, int top,
    587.                                                    ByteBuffer y_plane, int y_offset, int y_row_stride,
    588.                                                    ByteBuffer uv_plane, int uv_offset, int uv_row_stride,
    589.                                                    int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    590.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    591.                                                    int rotation_degree);
    592.  
    593.  
    594.     /**
    595.      * 投递层NV12图像, 详细说明请参考PostLayerImageNV21ByteBuffer
    596.      *
    597.      * @return {0} if successful
    598.      */
    599.     public native int PostLayerImageNV12ByteArray(long handle, int index, int left, int top,
    600.                                                   byte[] y_plane, int y_offset, int y_row_stride,
    601.                                                   byte[] uv_plane, int uv_offset, int uv_row_stride,
    602.                                                   int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    603.                                                   int scale_width,  int scale_height, int scale_filter_mode,
    604.                                                   int rotation_degree);
    605.  
    606.  
    607.     /**
    608.      * 投递层I420图像
    609.      *
    610.      * @param index: 层索引, 必须大于等于0
    611.      *
    612.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    613.      *
    614.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    615.      *
    616.      * @param y_plane: y平面图像数据
    617.      *
    618.      * @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    619.      *
    620.      * @param y_row_stride: stride information
    621.      *
    622.      * @param u_plane: u平面图像数据
    623.      *
    624.      * @param u_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    625.      *
    626.      * @param u_row_stride: stride information
    627.      *                    *
    628.      * @param v_plane: v平面图像数据
    629.      *
    630.      * @param v_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    631.      *
    632.      * @param v_row_stride: stride information
    633.      *
    634.      * @param width: width, 必须大于1, 且必须是偶数
    635.      *
    636.      * @param height: height, 必须大于1, 且必须是偶数
    637.      *
    638.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    639.      *
    640.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    641.      *
    642.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    643.      *
    644.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    645.      *
    646.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    647.      *
    648.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    649.      *
    650.      * @return {0} if successful
    651.      */
    652.     public native int PostLayerImageI420ByteBuffer(long handle, int index, int left, int top,
    653.                                                    ByteBuffer y_plane, int y_offset, int y_row_stride,
    654.                                                    ByteBuffer u_plane, int u_offset, int u_row_stride,
    655.                                                    ByteBuffer v_plane, int v_offset, int v_row_stride,
    656.                                                    int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    657.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    658.                                                    int rotation_degree);
    659.  
    660.  
    661.     /**
    662.      * 投递层I420图像, 详细说明请参考PostLayerImageI420ByteBuffer
    663.      *
    664.      * @return {0} if successful
    665.      */
    666.     public native int PostLayerImageI420ByteArray(long handle, int index, int left, int top,
    667.                                                    byte[] y_plane, int y_offset, int y_row_stride,
    668.                                                    byte[] u_plane, int u_offset, int u_row_stride,
    669.                                                    byte[] v_plane, int v_offset, int v_row_stride,
    670.                                                    int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    671.                                                    int scale_width,  int scale_height, int scale_filter_mode,
    672.                                                    int rotation_degree);
    673.  
    674.  
    675.     /**
    676.      * 投递层YUV420888图像, 专门为android.media.Image的android.graphics.ImageFormat.YUV_420_888格式提供的接口
    677.      *
    678.      * @param index: 层索引, 必须大于等于0
    679.      *
    680.      * @param left: 层叠加的左上角坐标, 对于第0层的话传0
    681.      *
    682.      * @param top: 层叠加的左上角坐标, 对于第0层的话传0
    683.      *
    684.      * @param y_plane: 对应android.media.Image.Plane[0].getBuffer()
    685.      *
    686.      * @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    687.      *
    688.      * @param y_row_stride: 对应android.media.Image.Plane[0].getRowStride()
    689.      *
    690.      * @param u_plane: android.media.Image.Plane[1].getBuffer()
    691.      *
    692.      * @param u_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    693.      *
    694.      * @param u_row_stride: android.media.Image.Plane[1].getRowStride()
    695.      *
    696.      * @param v_plane: 对应android.media.Image.Plane[2].getBuffer()
    697.      *
    698.      * @param v_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
    699.      *
    700.      * @param v_row_stride: 对应android.media.Image.Plane[2].getRowStride()
    701.      *
    702.      * @param uv_pixel_stride: 对应android.media.Image.Plane[1].getPixelStride()
    703.      *
    704.      * @param width: width, 必须大于1, 且必须是偶数
    705.      *
    706.      * @param height: height, 必须大于1, 且必须是偶数
    707.      *
    708.      * @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
    709.      *
    710.      * @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
    711.      *
    712.      * @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放
    713.      *
    714.      * @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放
    715.      *
    716.      * @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
    717.      *
    718.      * @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
    719.      *
    720.      * @return {0} if successful
    721.      */
    722.     public native int PostLayerImageYUV420888ByteBuffer(long handle, int index, int left, int top,
    723.                                                          ByteBuffer y_plane, int y_offset, int y_row_stride,
    724.                                                          ByteBuffer u_plane, int u_offset, int u_row_stride,
    725.                                                          ByteBuffer v_plane, int v_offset, int v_row_stride, int uv_pixel_stride,
    726.                                                          int width, int height, int is_vertical_flip,  int is_horizontal_flip,
    727.                                                          int scale_width,  int scale_height, int scale_filter_mode,
    728.                                                          int rotation_degree);
    729.     
    730.     /**
    731.      * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
    732.      * 
    733.      *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
    734.      *  @param size: pcm数据大小
    735.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
    736.      *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
    737.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    738.      */
    739.     public native int SmartPublisherOnPCMData(long handle, ByteBuffer pcmdata, int size, int sample_rate, int channel, int per_channel_sample_number);
    740.  
    741.  
    742.     /**
    743.      * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
    744.      *
    745.      *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
    746.      *  @param offset: pcmdata的偏移
    747.      *  @param size: pcm数据大小
    748.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
    749.      *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
    750.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    751.      */
    752.     public native int SmartPublisherOnPCMDataV2(long handle, ByteBuffer pcmdata, int offset, int size, int sample_rate, int channel, int per_channel_sample_number);
    753.  
    754.  
    755.     /**
    756.      * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
    757.      *
    758.      *  @param pcm_short_array: pcm数据, short是native endian order
    759.      *  @param offset: 数组偏移
    760.      *  @param len: 数组项数
    761.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
    762.      *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
    763.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    764.      */
    765.     public native int SmartPublisherOnPCMShortArray(long handle, short[] pcm_short_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);
    766.  
    767.  
    768.     /**
    769.      * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
    770.      *
    771.      *  @param pcm_float_array: pcm数据
    772.      *  @param offset: 数组偏移
    773.      *  @param len: 数组项数
    774.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
    775.      *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2)，推荐单通道(1)
    776.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    777.      */
    778.     public native int SmartPublisherOnPCMFloatArray(long handle, float[] pcm_float_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);
    779.  
    780.  
    781.     /**
    782.      * 请参考SmartPublisherOnPCMFloatArray
    783.      */
    784.     public native int SmartPublisherOnPCMFloatNative(long handle, long pcm_float_data, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);
    785.  
    786.     /**
    787.      * Set far end pcm data
    788.      * 
    789.      * @param pcmdata : 16bit pcm data
    790.      * @param sampleRate: audio sample rate
    791.      * @param channel: auido channel
    792.      * @param per_channel_sample_number: per channel sample numbers
    793.      * @param is_low_latency: if with 0, it is not low_latency, if with 1, it is low_latency
    794.      * @return {0} if successful
    795.      */
    796.     public native int SmartPublisherOnFarEndPCMData(long handle,  ByteBuffer pcmdata, int sampleRate, int channel, int per_channel_sample_number, int is_low_latency);
    797.  
    798.  
    799.     /**
    800.      * 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次
    801.      *
    802.      *  @param stream_index: 当前只能传1, 传其他返回错误
    803.      *  @param pcm_data: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
    804.      *  @param offset: pcmdata的偏移
    805.      *  @param size: pcm数据大小
    806.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}
    807.      *  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)
    808.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    809.      */
    810.     public native int SmartPublisherOnMixPCMData(long handle, int stream_index, ByteBuffer pcm_data, int offset, int size, int sample_rate, int channels, int per_channel_sample_number);
    811.  
    812.  
    813.     /**
    814.      * 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次
    815.      *
    816.      *  @param stream_index: 当前只能传1, 传其他返回错误
    817.      *  @param pcm_short_array: pcm数据, short是native endian order
    818.      *  @param offset: 数组偏移
    819.      *  @param len: 数组项数
    820.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}
    821.      *  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)
    822.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    823.      */
    824.     public native int SmartPublisherOnMixPCMShortArray(long handle, int stream_index, short[] pcm_short_array, int offset, int len, int sample_rate, int channels, int per_channel_sample_number);
    825.  
    826.  
    827.     /**
    828.      * 传递PCM混音音频数据给SDK, 每10ms音频数据传入一次
    829.      *
    830.      *  @param stream_index: 当前只能传1, 传其他返回错误
    831.      *  @param pcm_float_array: pcm数据
    832.      *  @param offset: 数组偏移
    833.      *  @param len: 数组项数
    834.      *  @param sample_rate: 采样率，当前只支持{44100, 8000, 16000, 24000, 32000, 48000}
    835.      *  @param channels: 通道, 当前通道支持单通道(1)和双通道(2)
    836.      *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
    837.      */
    838.     public native int SmartPublisherOnMixPCMFloatArray(long handle, int stream_index, float[] pcm_float_array, int offset, int len, int sample_rate, int channels, int per_channel_sample_number);
    839.  
    840.  
    841.     /*
    842.     * 请参考SmartPublisherOnMixPCMFloatArray
    843.      */
    844.     public native int SmartPublisherOnMixPCMFloatNative(long handle, int stream_index, long pcm_float_data, int offset, int len, int sample_rate, int channels, int per_channel_sample_number);

    编码后音视频数据

    像前文所说，如无人机等264/HEVC数据，或者本地解析的MP4音视频数据，均可通过实时流的形式，接入到GB28181平台，设计接口如下：

    1. /**
    2.      * 设置编码后视频数据(H.264)
    3.      *
    4.      * @param codec_id, H.264对应 1
    5.      *
    6.      * @param data 编码后的video数据
    7.      *
    8.      * @param size data length
    9.      *
    10.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    11.      *
    12.      * @param timestamp video timestamp
    13.      *
    14.      * @param pts Presentation Time Stamp, 显示时间戳
    15.      *
    16.      * @return {0} if successful
    17.      */
    18.     public native int SmartPublisherPostVideoEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp, long pts);
    19.  
    20.     /**
    21.      * 设置编码后视频数据(H.264)
    22.      *
    23.      * @param codec_id, H.264对应 1
    24.      *
    25.      * @param data 编码后的video数据
    26.      *
    27.      *@param offset data的偏移
    28.      *
    29.      * @param size data length
    30.      *
    31.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    32.      *
    33.      * @param timestamp video timestamp
    34.      *
    35.      * @param pts Presentation Time Stamp, 显示时间戳
    36.      *
    37.      * @return {0} if successful
    38.      */
    39.     public native int SmartPublisherPostVideoEncodedDataV2(long handle, int codec_id,
    40.                                                            ByteBuffer data, int offset, int size,
    41.                                                            int is_key_frame, long timestamp, long pts,
    42.                                                            byte[] sps, int sps_len,
    43.                                                            byte[] pps, int pps_len);
    44.  
    45.     /**
    46.      * 设置编码后视频数据(H.264)，如需录制编码后的数据，用此接口，且设置实际宽高
    47.      *
    48.      * @param codec_id, H.264对应 1
    49.      *
    50.      * @param data 编码后的video数据
    51.      *
    52.      *@param offset data的偏移
    53.      *
    54.      * @param size data length
    55.      *
    56.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0.
    57.      *
    58.      * @param timestamp video timestamp
    59.      *
    60.      * @param pts Presentation Time Stamp, 显示时间戳
    61.      *
    62.      * @param width, height: 编码后视频宽高
    63.      *
    64.      * @return {0} if successful
    65.      */
    66.     public native int SmartPublisherPostVideoEncodedDataV3(long handle, int codec_id,
    67.                                                            ByteBuffer data, int offset, int size,
    68.                                                            int is_key_frame, long timestamp, long pts,
    69.                                                            byte[] sps, int sps_len,
    70.                                                            byte[] pps, int pps_len,
    71.                                                            int width, int height);
    72.  
    73.     /**
    74.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    75.      *
    76.      * @param codec_id:
    77.      *
    78.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    79.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    80.      *   NT_MEDIA_CODEC_ID_PCMU,
    81.      *   NT_MEDIA_CODEC_ID_AAC,
    82.      *   NT_MEDIA_CODEC_ID_SPEEX,
    83.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    84.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    85.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    86.      *
    87.      * @param data audio数据
    88.      *
    89.      * @param size data length
    90.      *
    91.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    92.      *
    93.      * @param timestamp video timestamp
    94.      *
    95.      * @param parameter_info 用于AAC special config信息填充
    96.      *
    97.      * @param parameter_info_size parameter info size
    98.      *
    99.      * @return {0} if successful
    100.      */
    101.     public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id, ByteBuffer data, int size, int is_key_frame, long timestamp,ByteBuffer parameter_info, int parameter_info_size);
    102.  
    103.     /**
    104.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    105.      *
    106.      * @param codec_id:
    107.      *
    108.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    109.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    110.      *   NT_MEDIA_CODEC_ID_PCMU,
    111.      *   NT_MEDIA_CODEC_ID_AAC,
    112.      *   NT_MEDIA_CODEC_ID_SPEEX,
    113.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    114.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    115.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    116.      *
    117.      * @param data audio数据
    118.      *
    119.      * @param offset data的偏移
    120.      *
    121.      * @param size data length
    122.      *
    123.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    124.      *
    125.      * @param timestamp video timestamp
    126.      *
    127.      * @param parameter_info 用于AAC special config信息填充
    128.      *
    129.      * @param parameter_info_size parameter info size
    130.      *
    131.      * @return {0} if successful
    132.      */
    133.     public native int SmartPublisherPostAudioEncodedDataV2(long handle, int codec_id,
    134.                                                            ByteBuffer data, int offset, int size,
    135.                                                            int is_key_frame, long timestamp,
    136.                                                            byte[] parameter_info, int parameter_info_size);
    137.  
    138.  
    139.     /**
    140.      * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
    141.      *
    142.      * @param codec_id:
    143.      *
    144.      *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
    145.      *   NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
    146.      *   NT_MEDIA_CODEC_ID_PCMU,
    147.      *   NT_MEDIA_CODEC_ID_AAC,
    148.      *   NT_MEDIA_CODEC_ID_SPEEX,
    149.      *   NT_MEDIA_CODEC_ID_SPEEX_NB,
    150.      *   NT_MEDIA_CODEC_ID_SPEEX_WB,
    151.      *   NT_MEDIA_CODEC_ID_SPEEX_UWB,
    152.      *
    153.      * @param data audio数据
    154.      *
    155.      * @param offset data的偏移
    156.      *
    157.      * @param size data length
    158.      *
    159.      * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
    160.      *
    161.      * @param timestamp video timestamp
    162.      *
    163.      * @param parameter_info 用于AAC special config信息填充
    164.      *
    165.      * @param parameter_info_size parameter info size
    166.      *
    167.      * @param sample_rate 采样率,如果需要录像的话必须传正确的值
    168.      *
    169.      *@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2
    170.      *
    171.      * @return {0} if successful
    172.      */
    173.     public native int SmartPublisherPostAudioEncodedDataV3(long handle, int codec_id,
    174.                                                            ByteBuffer data, int offset, int size,
    175.                                                            int is_key_frame, long timestamp,
    176.                                                            byte[] parameter_info, int parameter_info_size,
    177.                                                            int sample_rate, int channels);

    拉取RTSP或RTMP流并接入至GB28181平台

    这块我在之前的blog有专门提过，比如其他IPC的RTSP流，可通过Android平台GB28181接入到国标平台。

    这张图很好的展示了这块，当然如果做的更精细的话，还可以把语音对讲和语音广播的也挪过来。

    这里简单的说一下具体的实现，其实和之前我们做RTSP转RTMP推送一样，无非就是把RTSP或者RTMP流数据拉下来，然后回调编码后的数据到上层，上层根据GB28181数据格式要求，实现PS打包，然后通过对接GB28181平台信令和数据交互，实时推过去即可。

    其中，拉流实现如下：

    1. private boolean StartPull()
    2.   {
    3.     if ( isPulling )
    4.       return false;
    5.  
    6.     if (!OpenPullHandle())
    7.       return false;
    8.  
    9.     libPlayer.SmartPlayerSetAudioDataCallback(playerHandle, new PlayerAudioDataCallback());
    10.     libPlayer.SmartPlayerSetVideoDataCallback(playerHandle, new PlayerVideoDataCallback());
    11.  
    12.     int is_pull_trans_code  = 1;
    13.     libPlayer.SmartPlayerSetPullStreamAudioTranscodeAAC(playerHandle, is_pull_trans_code);
    14.  
    15.     int startRet = libPlayer.SmartPlayerStartPullStream(playerHandle);
    16.  
    17.     if (startRet != 0) {
    18.       Log.e(TAG, "Failed to start pull stream!");
    19.  
    20.       if(!isPlaying && !isRecording && isPushing && !isRTSPPublisherRunning)
    21.       {
    22.         libPlayer.SmartPlayerClose(playerHandle);
    23.         playerHandle = 0;
    24.       }
    25.  
    26.       return false;
    27.     }
    28.  
    29.     isPulling = true;
    30.     return true;
    31.   }
    32.  
    33.   private void StopPull()
    34.   {
    35.     if ( !isPulling )
    36.       return;
    37.  
    38.     libPlayer.SmartPlayerStopPullStream(playerHandle);
    39.  
    40.     if ( !isPlaying && !isRecording && !isPushing && !isRTSPPublisherRunning)
    41.     {
    42.       libPlayer.SmartPlayerClose(playerHandle);
    43.       playerHandle = 0;
    44.     }
    45.  
    46.     isPulling = false;
    47.   }

    拉到的音视频数据，投递到GB28181接入模块即可：

    1. class PlayerAudioDataCallback implements NTAudioDataCallback
    2.   {
    3.     private int audio_buffer_size = 0;
    4.     private int param_info_size = 0;
    5.  
    6.     private ByteBuffer audio_buffer_ = null;
    7.     private ByteBuffer parameter_info_ = null;
    8.  
    9.     @Override
    10.     public ByteBuffer getAudioByteBuffer(int size)
    11.     {
    12.       //Log.i("getAudioByteBuffer", "size: " + size);
    13.  
    14.       if( size < 1 )
    15.       {
    16.         return null;
    17.       }
    18.  
    19.       if ( size <= audio_buffer_size && audio_buffer_ != null )
    20.       {
    21.         return audio_buffer_;
    22.       }
    23.  
    24.       audio_buffer_size = size + 512;
    25.       audio_buffer_size = (audio_buffer_size+0xf) & (~0xf);
    26.  
    27.       audio_buffer_ = ByteBuffer.allocateDirect(audio_buffer_size);
    28.  
    29.       // Log.i("getAudioByteBuffer", "size: " + size + " buffer_size:" + audio_buffer_size);
    30.  
    31.       return audio_buffer_;
    32.     }
    33.  
    34.     @Override
    35.     public ByteBuffer getAudioParameterInfo(int size)
    36.     {
    37.       //Log.i("getAudioParameterInfo", "size: " + size);
    38.  
    39.       if(size < 1)
    40.       {
    41.         return null;
    42.       }
    43.  
    44.       if ( size <= param_info_size &&  parameter_info_ != null )
    45.       {
    46.         return  parameter_info_;
    47.       }
    48.  
    49.       param_info_size = size + 32;
    50.       param_info_size = (param_info_size+0xf) & (~0xf);
    51.  
    52.       parameter_info_ = ByteBuffer.allocateDirect(param_info_size);
    53.  
    54.       //Log.i("getAudioParameterInfo", "size: " + size + " buffer_size:" + param_info_size);
    55.  
    56.       return parameter_info_;
    57.     }
    58.  
    59.     public void onAudioDataCallback(int ret, int audio_codec_id, int sample_size, int is_key_frame, long timestamp, int sample_rate, int channel, int parameter_info_size, long reserve)
    60.     {
    61.       //Log.i("onAudioDataCallback", "ret: " + ret + ", audio_codec_id: " + audio_codec_id + ", sample_size: " + sample_size + ", timestamp: " + timestamp +
    62.       //    ",sample_rate:" + sample_rate);
    63.  
    64.       if ( audio_buffer_ == null)
    65.         return;
    66.  
    67.       audio_buffer_.rewind();
    68.  
    69.       if ( ret == 0 && (isPushing || isRTSPPublisherRunning || isGB28181StreamRunning)) {
    70.         libPublisher.SmartPublisherPostAudioEncodedData(publisherHandle, audio_codec_id, audio_buffer_, sample_size, is_key_frame, timestamp, parameter_info_, parameter_info_size);
    71.       }
    72.       // test
    73.  
    74.         /*
    75.         byte[] test_buffer = new byte[16];
    76.         pcm_buffer_.get(test_buffer);
    78.         Log.i(TAG, "onGetPcmFrame data:" + bytesToHexString(test_buffer));
    79.         */
    80.     }
    81.   }
    82.  
    83.   class PlayerVideoDataCallback implements NTVideoDataCallback
    84.   {
    85.     private int video_buffer_size = 0;
    86.  
    87.     private ByteBuffer video_buffer_ = null;
    88.  
    89.     @Override
    90.     public ByteBuffer getVideoByteBuffer(int size)
    91.     {
    92.       //Log.i("getVideoByteBuffer", "size: " + size);
    93.  
    94.       if( size < 1 )
    95.       {
    96.         return null;
    97.       }
    98.  
    99.       if ( size <= video_buffer_size &&  video_buffer_ != null )
    100.       {
    101.         return  video_buffer_;
    102.       }
    103.  
    104.       video_buffer_size = size + 1024;
    105.       video_buffer_size = (video_buffer_size+0xf) & (~0xf);
    106.  
    107.       video_buffer_ = ByteBuffer.allocateDirect(video_buffer_size);
    108.  
    109.       // Log.i("getVideoByteBuffer", "size: " + size + " buffer_size:" + video_buffer_size);
    110.  
    111.       return video_buffer_;
    112.     }
    113.  
    114.     public void onVideoDataCallback(int ret, int video_codec_id, int sample_size, int is_key_frame, long timestamp, int width, int height, long presentation_timestamp)
    115.     {
    116.       //Log.i("onVideoDataCallback", "ret: " + ret + ", video_codec_id: " + video_codec_id + ", sample_size: " + sample_size + ", is_key_frame: "+ is_key_frame +  ", timestamp: " + timestamp +
    117.       //    ",presentation_timestamp:" + presentation_timestamp);
    118.  
    119.       if ( video_buffer_ == null)
    120.         return;
    121.  
    122.       video_buffer_.rewind();
    123.  
    124.       if ( ret == 0 &&  (isPushing || isRTSPPublisherRunning || isGB28181StreamRunning) ) {
    125.  
    126.         libPublisher.SmartPublisherPostVideoEncodedData(publisherHandle, video_codec_id, video_buffer_, sample_size, is_key_frame, timestamp, presentation_timestamp);
    127.       }
    128.     }
    129.   }

    总结

    通过以上描述，大家可以看到，GB/T 28181音视频数据源接入，无非就是上述类型，有RTSP或RTMP音视频开发经验的开发者来说，实现GB28181数据接入，基本上可以复用之前的设计。

  • 相关阅读:
    读懂Json文件[妈妈再也不用担心我不读懂了]
    rpm包常用命令指南
    一个37岁程序员的逆袭之路
    融云 IM & RTC 能力上新盘点
    论多段图的最短路径问题（我认为本质上还是暴力枚举法）
    Linux下设置网关以及网络相关命令
    基于人脸的常见表情识别(2)——数据获取与整理
    微服务系列：分布式文件存储之 MinIO 入门指南
    16 el-tree 保存树的 选择状态, 展开状态
    IDS与防火墙的区别
  • 原文地址：https://blog.csdn.net/renhui1112/article/details/126692256