• iOS 视频压缩 mov转mp4 码率

    最近还是因为IM模块的功能，IOS录制MOV视频发送后，安卓端无法播放，迫不得已兼容将MOV视频转为MP4发送。

    其中mov视频包括4K/24FPS、4K/30FPS、4K/60FPS、720p HD/30FPS、1080p HD/30FPS、1080p HD/60FPS！

    使用AVAssetExportSession作为导出工具，指定压缩质量AVAssetExportPresetMediumQuality，这样能有效的减少视频体积，但是视频画面清晰度比较差，举个例子：一个25秒的1080p视频，经过压缩后从1080p变为320p，大小从34m变成2.6m。

    1. AVAssetExportSession *exportSession = [[AVAssetExportSession alloc] initWithAsset:avAsset presetName:AVAssetExportPresetMediumQuality];
    2.  
    3. exportSession.outputURL= url;
    4.  
    5. exportSession.shouldOptimizeForNetworkUse = YES;
    6.  
    7. exportSession.outputFileType = AVFileTypeMPEG4;
    8.  
    9. [exportSessionexportAsynchronouslyWithCompletionHandler:^{
    10.  
    11.             switch([exportSessionstatus]) {
    12.  
    13.                 case AVAssetExportSessionStatusFailed:
    14.  
    15.                     NSLog(@"Export canceled");
    16.  
    17.                     break;
    18.  
    19.                 case AVAssetExportSessionStatusCancelled:
    20.  
    21.                     NSLog(@"Export canceled");
    22.  
    23.                     break;
    24.  
    25.                 case AVAssetExportSessionStatusCompleted:{
    26.  
    27.                     NSLog(@"Successful!");
    28.  
    29.                     break;
    30.  
    31.                 }
    32.  
    33.                 default:break;
    34.  
    35.             }

    重新梳理下我们的需求，我们的场景对视频质量要求稍高，对视频的大小容忍比较高，所以将最大分辨率设为720p。

    所以我们的压缩设置改为AVAssetExportPreset1280x720，压缩后大小几乎没变，从34m变成32.5m。我们可以用mideaInfo来查看下两个视频文件到底有什么区别，上图为1080p，下图为720p：

    由上图可以看到，两个分辨率差别巨大的视频，大小居然差不多，要分析其中的原因首先要了解H264编码。

    3.H264编码

    关于H264编码的原理可以参考(这篇文章),本文不详细展开，只说明几个参数。

    Bit Rate:

    比特率是指每秒传送的比特(bit)数。单位为 bps(Bit Per Second)，比特率越高，每秒传送数据就越多，画质就越清晰。声音中的比特率是指将模拟声音信号转换成数字声音信号后，单位时间内的二进制数据量，是间接衡量音频质量的一个指标。 视频中的比特率（码率）原理与声音中的相同，都是指由模拟信号转换为数字信号后，单位时间内的二进制数据量。

    所以选择适合的比特率是压缩视频大小的关键，比特率设置太小的话，视频会变得模糊，失真。比特率太高的话，视频数据太大，又达不到我们压缩的要求。

    Format profile:

    作为行业标准，H.264编码体系定义了4种不同的Profile(类)：Baseline(基线类),Main(主要类), Extended(扩展类)和High Profile(高端类)（它们各自下分成许多个层）：
    Baseline Profile 提供I/P帧，仅支持progressive(逐行扫描)和CAVLC；
    Extended Profile 提供I/P/B/SP/SI帧，仅支持progressive(逐行扫描)和CAVLC；
    Main Profile 提供I/P/B帧，支持progressive(逐行扫描)和interlaced(隔行扫描)，提供CAVLC或CABAC；
    High Profile （也就是FRExt）在Main Profile基础上新增：8x8 intra prediction(8x8 帧内预测), custom quant(自定义量化), lossless video coding(无损视频编码), 更多的yuv格式（4:4:4...）；

    从压缩比例来说 从压缩比例来说，baseline< main < high，由于上图中720p是Main@L3.1，1080p是High@L4，这就是明明分辨率不一样，但是压缩后的大小却差不多的原因。

    关于iPhone设备对的支持

    • iPhone 3GS 和更早的设备支持 Baseline Profile level 3.0 及更低的级别

    • iPhone 4S 支持 High Profile level 4.1 及更低的级别

    • iPhone 5C 支持 High Profile level 4.1 及更低的级别

    • iPhone 5S 支持 High Profile level 4.1 及更低的级别

    • iPad 1 支持 Main Profile level 3.1 及更低的级别

    • iPad 2 支持 Main Profile level 3.1 及更低的级别

    • iPad with Retina display 支持 High Profile level 4.1 及更低的级别

    • iPad mini 支持 High Profile level 4.1 及更低的级别

    GOP：

    GOP 指的就是两个I帧之间的间隔。
    在视频编码序列中，主要有三种编码帧：I帧、P帧、B帧。

    1. I帧即Intra-coded picture（帧内编码图像帧），不参考其他图像帧，只利用本帧的信息进行编码
    2. P帧即Predictive-codedPicture（预测编码图像帧），利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码
    3. B帧即Bidirectionallypredicted picture（双向预测编码图像帧)，提供最高的压缩比，它既需要之前的图
      像帧(I帧或P帧)，也需要后来的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码
      　　在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧。

    所以在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。
    　　需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。
    　　同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。
    M 和 N ：M值表示I帧或者P帧之间的帧数目，N值表示GOP的长度。N的至越大，代表压缩率越大。因为图2中N=15远小于图一中N=30。这也是720p尺寸压缩不理想的原因。

    4.解决思路

    由上可知压缩视频主要可以采用以下几种手段:

    • 降低分辨率
    • 降低码率
    • 指定高的 Format profile

    由于业务指定分辨率为720p，所以我们只能尝试另外两种方法。

    降低码率

    根据这篇文章Video Encoding Settings for H.264 Excellence，推荐了适合720p的推荐码率为2400~3700之间。之前压缩的文件码率为9979,所以码率还是有很大的优化空间的。

    宽屏

    非宽屏

    指定高的 Format profile

    由于现在大部分的设备都支持High Profile level,所以我们可以把Format profile 从Main Profile level改为High Profile level。

    现在我们已经知道要做什么了，那么怎么做呢？

    5.解决方法

    由于之前的AVAssetExportSession不能指定码率和Format profile,我们这里需要使用AVAssetReader和AVAssetWriter。

    AVAssetReader负责将数据从asset里拿出来，AVAssetWriter负责将得到的数据存成文件。
    核心代码如下：

    1. //生成reader 和 writer
    2.     self.reader = [AVAssetReader.alloc initWithAsset:self.asset error:&readerError];
    3.  
    4.     self.writer = [AVAssetWriter assetWriterWithURL:self.outputURL fileType:self.outputFileType error:&writerError];
    5. //视频
    6.     if (videoTracks.count > 0) {
    7.         self.videoOutput = [AVAssetReaderVideoCompositionOutput assetReaderVideoCompositionOutputWithVideoTracks:videoTracks videoSettings:self.videoInputSettings];
    8.         self.videoOutput.alwaysCopiesSampleData = NO;
    9.         if (self.videoComposition)
    10.         {
    11.             self.videoOutput.videoComposition = self.videoComposition;
    12.         }
    13.         else
    14.         {
    15.             self.videoOutput.videoComposition = [self buildDefaultVideoComposition];
    16.         }
    17.         if ([self.reader canAddOutput:self.videoOutput])
    18.         {
    19.             [self.reader addOutput:self.videoOutput];
    20.         }
    21.  
    22.         //
    23.         // Video input
    24.         //
    25.         self.videoInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo outputSettings:self.videoSettings];
    26.         self.videoInput.expectsMediaDataInRealTime = NO;
    27.         if ([self.writer canAddInput:self.videoInput])
    28.         {
    29.             [self.writer addInput:self.videoInput];
    30.         }
    31.         NSDictionary *pixelBufferAttributes = @
    32.         {
    33.             (id)kCVPixelBufferPixelFormatTypeKey: @(kCVPixelFormatType_32BGRA),
    34.             (id)kCVPixelBufferWidthKey: @(self.videoOutput.videoComposition.renderSize.width),
    35.             (id)kCVPixelBufferHeightKey: @(self.videoOutput.videoComposition.renderSize.height),
    36.             @"IOSurfaceOpenGLESTextureCompatibility": @YES,
    37.             @"IOSurfaceOpenGLESFBOCompatibility": @YES,
    38.         };
    39.         self.videoPixelBufferAdaptor = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:self.videoInput sourcePixelBufferAttributes:pixelBufferAttributes];
    40.     }
    41.  
    42. //音频
    43.    NSArray *audioTracks = [self.asset tracksWithMediaType:AVMediaTypeAudio];
    44.     if (audioTracks.count > 0) {
    45.       self.audioOutput = [AVAssetReaderAudioMixOutput assetReaderAudioMixOutputWithAudioTracks:audioTracks audioSettings:nil];
    46.       self.audioOutput.alwaysCopiesSampleData = NO;
    47.       self.audioOutput.audioMix = self.audioMix;
    48.       if ([self.reader canAddOutput:self.audioOutput])
    49.       {
    50.           [self.reader addOutput:self.audioOutput];
    51.       }
    52.     } else {
    53.         // Just in case this gets reused
    54.         self.audioOutput = nil;
    55.     }
    56.  
    57.     //
    58.     // Audio input
    59.     //
    60.     if (self.audioOutput) {
    61.         self.audioInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio outputSettings:self.audioSettings];
    62.         self.audioInput.expectsMediaDataInRealTime = NO;
    63.         if ([self.writer canAddInput:self.audioInput])
    64.         {
    65.             [self.writer addInput:self.audioInput];
    66.         }
    67.     }
    68.  
    69. //开始读写
    70.     [self.writer startWriting];
    71.     [self.reader startReading];
    72.     [self.writer startSessionAtSourceTime:self.timeRange.start];
    73.  
    74. //压缩完成的回调
    75.  
    76. __block BOOL videoCompleted = NO;
    77.     __block BOOL audioCompleted = NO;
    78.     __weak typeof(self) wself = self;
    79.     self.inputQueue = dispatch_queue_create("VideoEncoderInputQueue", DISPATCH_QUEUE_SERIAL);
    80.     if (videoTracks.count > 0) {
    81.         [self.videoInput requestMediaDataWhenReadyOnQueue:self.inputQueue usingBlock:^
    82.         {
    83.             if (![wself encodeReadySamplesFromOutput:wself.videoOutput toInput:wself.videoInput])
    84.             {
    85.                 @synchronized(wself)
    86.                 {
    87.                     videoCompleted = YES;
    88.                     if (audioCompleted)
    89.                     {
    90.                         [wself finish];
    91.                     }
    92.                 }
    93.             }
    94.         }];
    95.     }
    96.     else {
    97.         videoCompleted = YES;
    98.     }
    99.     
    100.     if (!self.audioOutput) {
    101.         audioCompleted = YES;
    102.     } else {
    103.         [self.audioInput requestMediaDataWhenReadyOnQueue:self.inputQueue usingBlock:^
    104.          {
    105.              if (![wself encodeReadySamplesFromOutput:wself.audioOutput toInput:wself.audioInput])
    106.              {
    107.                  @synchronized(wself)
    108.                  {
    109.                      audioCompleted = YES;
    110.                      if (videoCompleted)
    111.                      {
    112.                          [wself finish];
    113.                      }
    114.                  }
    115.              }
    116.          }];
    117.     }
    118.

    其中self.videoInput里的self.videoSettings我们需要对视频压缩参数做设置

    1. self.videoSettings = @
    2. {
    3.     AVVideoCodecKey: AVVideoCodecH264,
    4.     AVVideoWidthKey: @1280,
    5.     AVVideoHeightKey: @720,
    6.     AVVideoCompressionPropertiesKey: @
    7.     {
    8.         AVVideoAverageBitRateKey: @3000000,
    9.         AVVideoProfileLevelKey: AVVideoProfileLevelH264High40,
    10.     },
    11. };

    封装好的控件可以参考https://blog.csdn.net/yunhuaikong/article/details/133300420?spm=1001.2014.3001.5502。

    6.最终效果

    通过下图我们可以看到，视频已经成功被压缩成10m左右。结合视频效果，这个压缩成果我们还是很满意的。

    压缩后的文件

    下面是视频部分画面截图的效果：

                                                                    原视频，34m

                                                    原来的MediumQuality压缩效果，2.6m

                                                             原来的720p压缩效果，32.5m

                                                            优化后的720p的压缩效果，10m

    7.视频转码时遇到的坑

    使用 SDAVAssetExportSession 时遇到一个坑，大部分视频转码没问题，部分视频转码会有黑屏问题，最后定位出现问题的代码如下：

    1.  
    2. - (AVMutableVideoComposition *)buildDefaultVideoComposition
    3. {
    4.     AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition];
    5.     AVAssetTrack *videoTrack = [[self.asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0];
    6.  
    7.     // get the frame rate from videoSettings, if not set then try to get it from the video track,
    8.     // if not set (mainly when asset is AVComposition) then use the default frame rate of 30
    9.     float trackFrameRate = 0;
    10.     if (self.videoSettings)
    11.     {
    12.         NSDictionary *videoCompressionProperties = [self.videoSettings objectForKey:AVVideoCompressionPropertiesKey];
    13.         if (videoCompressionProperties)
    14.         {
    15.             NSNumber *frameRate = [videoCompressionProperties objectForKey:AVVideoAverageNonDroppableFrameRateKey];
    16.             if (frameRate)
    17.             {
    18.                 trackFrameRate = frameRate.floatValue;
    19.             }
    20.         }
    21.     }
    22.     else
    23.     {
    24.         trackFrameRate = [videoTrack nominalFrameRate];
    25.     }
    26.  
    27.     if (trackFrameRate == 0)
    28.     {
    29.         trackFrameRate = 30;
    30.     }
    31.  
    32.     videoComposition.frameDuration = CMTimeMake(1, trackFrameRate);
    33.     CGSize targetSize = CGSizeMake([self.videoSettings[AVVideoWidthKey] floatValue], [self.videoSettings[AVVideoHeightKey] floatValue]);
    34.     CGSize naturalSize = [videoTrack naturalSize];
    35.     CGAffineTransform transform = videoTrack.preferredTransform;
    36.     // Workaround radar 31928389, see https://github.com/rs/SDAVAssetExportSession/pull/70 for more info
    37.     if (transform.ty == -560) {
    38.         transform.ty = 0;
    39.     }
    40.  
    41.     if (transform.tx == -560) {
    42.         transform.tx = 0;
    43.     }
    44.  
    45.     CGFloat videoAngleInDegree  = atan2(transform.b, transform.a) * 180 / M_PI;
    46.     if (videoAngleInDegree == 90 || videoAngleInDegree == -90) {
    47.         CGFloat width = naturalSize.width;
    48.         naturalSize.width = naturalSize.height;
    49.         naturalSize.height = width;
    50.     }
    51.     videoComposition.renderSize = naturalSize;
    52.     // center inside
    53.     {
    54.         float ratio;
    55.         float xratio = targetSize.width / naturalSize.width;
    56.         float yratio = targetSize.height / naturalSize.height;
    57.         ratio = MIN(xratio, yratio);
    58.  
    59.         float postWidth = naturalSize.width * ratio;
    60.         float postHeight = naturalSize.height * ratio;
    61.         float transx = (targetSize.width - postWidth) / 2;
    62.         float transy = (targetSize.height - postHeight) / 2;
    63.  
    64.         CGAffineTransform matrix = CGAffineTransformMakeTranslation(transx / xratio, transy / yratio);
    65.         matrix = CGAffineTransformScale(matrix, ratio / xratio, ratio / yratio);
    66.         transform = CGAffineTransformConcat(transform, matrix);
    67.     }
    68.  
    69.     // Make a "pass through video track" video composition.
    70.     AVMutableVideoCompositionInstruction *passThroughInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
    71.     passThroughInstruction.timeRange = CMTimeRangeMake(kCMTimeZero, self.asset.duration);
    72.  
    73.     AVMutableVideoCompositionLayerInstruction *passThroughLayer = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:videoTrack];
    74.  
    75.     [passThroughLayer setTransform:transform atTime:kCMTimeZero];
    76.  
    77.     passThroughInstruction.layerInstructions = @[passThroughLayer];
    78.     videoComposition.instructions = @[passThroughInstruction];
    79.  
    80.     return videoComposition;
    81. }
    1. transform 不正确引起的黑屏
    CGAffineTransform transform = videoTrack.preferredTransform;

    1.参考评论区 @baopanpan同学的说法，TZImagePickerController可以解决，找到代码试了一下，确实不会出现黑屏的问题了，代码如下

    1. /// 获取优化后的视频转向信息
    2. - (AVMutableVideoComposition *)fixedCompositionWithAsset:(AVAsset *)videoAsset {
    3.     AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoComposition];
    4.     // 视频转向
    5.     int degrees = [self degressFromVideoFileWithAsset:videoAsset];
    6.     if (degrees != 0) {
    7.         CGAffineTransform translateToCenter;
    8.         CGAffineTransform mixedTransform;
    9.         videoComposition.frameDuration = CMTimeMake(1, 30);
    10.         
    11.         NSArray *tracks = [videoAsset tracksWithMediaType:AVMediaTypeVideo];
    12.         AVAssetTrack *videoTrack = [tracks objectAtIndex:0];
    13.         
    14.         AVMutableVideoCompositionInstruction *roateInstruction = [AVMutableVideoCompositionInstruction videoCompositionInstruction];
    15.         roateInstruction.timeRange = CMTimeRangeMake(kCMTimeZero, [videoAsset duration]);
    16.         AVMutableVideoCompositionLayerInstruction *roateLayerInstruction = [AVMutableVideoCompositionLayerInstruction videoCompositionLayerInstructionWithAssetTrack:videoTrack];
    17.         
    18.         if (degrees == 90) {
    19.             // 顺时针旋转90°
    20.             translateToCenter = CGAffineTransformMakeTranslation(videoTrack.naturalSize.height, 0.0);
    21.             mixedTransform = CGAffineTransformRotate(translateToCenter,M_PI_2);
    22.             videoComposition.renderSize = CGSizeMake(videoTrack.naturalSize.height,videoTrack.naturalSize.width);
    23.             [roateLayerInstruction setTransform:mixedTransform atTime:kCMTimeZero];
    24.         } else if(degrees == 180){
    25.             // 顺时针旋转180°
    26.             translateToCenter = CGAffineTransformMakeTranslation(videoTrack.naturalSize.width, videoTrack.naturalSize.height);
    27.             mixedTransform = CGAffineTransformRotate(translateToCenter,M_PI);
    28.             videoComposition.renderSize = CGSizeMake(videoTrack.naturalSize.width,videoTrack.naturalSize.height);
    29.             [roateLayerInstruction setTransform:mixedTransform atTime:kCMTimeZero];
    30.         } else if(degrees == 270){
    31.             // 顺时针旋转270°
    32.             translateToCenter = CGAffineTransformMakeTranslation(0.0, videoTrack.naturalSize.width);
    33.             mixedTransform = CGAffineTransformRotate(translateToCenter,M_PI_2*3.0);
    34.             videoComposition.renderSize = CGSizeMake(videoTrack.naturalSize.height,videoTrack.naturalSize.width);
    35.             [roateLayerInstruction setTransform:mixedTransform atTime:kCMTimeZero];
    36.         }else {//增加异常处理
    37.             videoComposition.renderSize = CGSizeMake(videoTrack.naturalSize.width,videoTrack.naturalSize.height);
    38.         }
    39.         
    40.         roateInstruction.layerInstructions = @[roateLayerInstruction];
    41.         // 加入视频方向信息
    42.         videoComposition.instructions = @[roateInstruction];
    43.     }
    44.     return videoComposition;
    45. }
    46.  
    47. /// 获取视频角度
    48. - (int)degressFromVideoFileWithAsset:(AVAsset *)asset {
    49.     int degress = 0;
    50.     NSArray *tracks = [asset tracksWithMediaType:AVMediaTypeVideo];
    51.     if([tracks count] > 0) {
    52.         AVAssetTrack *videoTrack = [tracks objectAtIndex:0];
    53.         CGAffineTransform t = videoTrack.preferredTransform;
    54.         if(t.a == 0 && t.b == 1.0 && t.c == -1.0 && t.d == 0){
    55.             // Portrait
    56.             degress = 90;
    57.         } else if(t.a == 0 && t.b == -1.0 && t.c == 1.0 && t.d == 0){
    58.             // PortraitUpsideDown
    59.             degress = 270;
    60.         } else if(t.a == 1.0 && t.b == 0 && t.c == 0 && t.d == 1.0){
    61.             // LandscapeRight
    62.             degress = 0;
    63.         } else if(t.a == -1.0 && t.b == 0 && t.c == 0 && t.d == -1.0){
    64.             // LandscapeLeft
    65.             degress = 180;
    66.         }
    67.     }
    68.     return degress;
    69. }
    2. naturalSize 不正确的坑

    之前用模拟器录屏得到一个视频，调用[videoTrack naturalSize]的时候，得到的size为 (CGSize) naturalSize = (width = 828, height = 0.02734375),明显是不正确的，这个暂时没有找到解决办法，知道的同学可以在下面评论一下。

    3. 视频黑边问题

    视频黑边应该是视频源尺寸和目标尺寸比例不一致造成的，需要根据原尺寸的比例算出目标尺寸

    1.    
    2.             CGSize targetSize = CGSizeMake(videoAsset.pixelWidth, videoAsset.pixelHeight);
    3.             //尺寸过大才压缩，否则不更改targetSize
    4.             if (targetSize.width * targetSize.height > 1280 * 720) {
    5.                 int width = 0,height = 0;
    6.                 if (targetSize.width > targetSize.height) {
    7.                     width = 1280;
    8.                     height = 1280 * targetSize.height/targetSize.width;
    9.                 }else {
    10.                     width = 720;
    11.                     height = 720 * targetSize.height/targetSize.width;
    12.                 }
    13.                 targetSize = CGSizeMake(width, height);
    14.             }else if (targetSize.width == 0 || targetSize.height == 0) {//异常情况处理
    15.                 targetSize = CGSizeMake(720, 1280);
    16.             }
  • 相关阅读:
    GBase 8c 分析表
    idea设置格式化竖线
    error: no member named ‘int8_t‘ in the global namespace
    MFC为“对话框中的控件添加变量”，QT中使用“ui.对象名称”来调用控件
    Android判断应用是否在前台运行
    我的创作纪念日
    解决Spring Boot启动异常：未配置数据源的问题
    Vulhub 靶场使用
    【机器学习】支持向量机分类
    go 语言爬虫库goquery介绍
  • 原文地址：https://blog.csdn.net/yunhuaikong/article/details/133344926