2. 程式人生 > >android平臺下基於ffmpeg採集Camera資料編碼成H.264推流到RTMP伺服器

android平臺下基於ffmpeg採集Camera資料編碼成H.264推流到RTMP伺服器

阿新 • • 發佈：2018-12-03

音視訊實踐學習

概述

直播中推流和拉流是最核心的兩個功能，之前的一篇部落格記錄過關於推流本地的mp4檔案到推流伺服器，而本節內容主要記錄從相機採集資料到編碼H264格式，最後通過RTMP推流出去的一個過程，為了從簡單入手，本節內容暫不涉及音訊的編碼操作。

環境配置

作業系統：ubuntu 16.05
ndk版本：android-ndk-r16b
ffmpeg版本：ffmpeg-3.3.8

流程分析

開始實踐

android相機採集的資料預設是NV21格式的，並且前置攝像頭都是需要旋轉270度。StartPublish主要完成一些初始化工作，並且標記transform=true

，此時相機的資料才會交由EncodeBuffer來處理，完成編碼H264資料並推送出去。

void H264Publisher::StartPublish() {

    //1.註冊所有元件
    av_register_all();
    //2.初始化網路
    avformat_network_init();

    //3.初始化輸出碼流的AVFormatContext
    avformat_alloc_output_context2(&out_fmt, NULL, "flv", outputPath);
    //4.查詢H.264編碼器
    pCodec = avcodec_find_encoder(AV_CODEC_ID_H264);
    if (!pCodec) {
        LOGE("avcodec not found!");
        return;
    }
    //5.分配編碼器並設定引數
    pCodecCtx = avcodec_alloc_context3(pCodec);
    //編碼器的ID,這裡是H264編碼器
    pCodecCtx->codec_id = pCodec->id;
    //編碼器編碼的資料型別
    pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
    //畫素的格式
    pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;
    //前置攝像頭需要旋轉270度,寬和高要互換
    pCodecCtx->width = height;
    pCodecCtx->height = width;
    pCodecCtx->framerate = (AVRational) {fps, 1};
    pCodecCtx->time_base = (AVRational) {1, fps};
    pCodecCtx->gop_size = 50;
    pCodecCtx->max_b_frames = 0;
    pCodecCtx->qmin = 10;
    pCodecCtx->qmax = 50;
    pCodecCtx->bit_rate = 100 * 1024 * 8;
    pCodecCtx->level = 41;
    pCodecCtx->refs = 1;
    pCodecCtx->qcompress = 0.6;

    if (out_fmt->oformat->flags & AVFMT_GLOBALHEADER) {
        pCodecCtx->flags |= CODEC_FLAG_GLOBAL_HEADER;
    }

    //H.264
    AVDictionary *opts = NULL;
    if (pCodecCtx->codec_id == AV_CODEC_ID_H264) {
        av_dict_set(&opts, "preset", "superfast", 0);
        av_dict_set(&opts, "tune", "zerolatency", 0);
    }
    //6.開啟編碼器
    int result = avcodec_open2(pCodecCtx, pCodec, &opts);
    if (result < 0) {
        LOGE("open encoder failed %d", result);
        return;
    }

    //7.建立一個輸出流
    pStream = avformat_new_stream(out_fmt, pCodec);
    if (!pStream) {
        LOGE("Failed allocating output outputPath");
        return;
    }
    pStream->time_base.num = 1;
    pStream->time_base.den = fps;
    pStream->codecpar->codec_tag = 0;
    if (avcodec_parameters_from_context(pStream->codecpar, pCodecCtx) < 0) {
        LOGE("Failed av codec parameters_from_context");
        return;
    }

    //8.開啟網路輸出流
    if (avio_open(&out_fmt->pb, outputPath, AVIO_FLAG_READ_WRITE) < 0) {
        LOGE("Failed to open output file!\n");
        return;
    }
    //9.寫檔案頭部
    result = avformat_write_header(out_fmt, NULL);
    if (result < 0) {
        LOGE("Error occurred when opening output URL %d", result);
        return;
    }

    //初始化幀
    pFrame = av_frame_alloc();
    pFrame->width = pCodecCtx->width;
    pFrame->height = pCodecCtx->height;
    pFrame->format = pCodecCtx->pix_fmt;
    int bufferSize = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width,
                                              pCodecCtx->height, 1);
    pFrameBuffer = (uint8_t *) av_malloc(bufferSize);
    av_image_fill_arrays(pFrame->data, pFrame->linesize, pFrameBuffer, pCodecCtx->pix_fmt,
                         pCodecCtx->width, pCodecCtx->height, 1);

    //建立已編碼幀
    av_new_packet(&avPacket, bufferSize * 3);

    //標記正在轉換
    this->transform = true;
}

接著就是核心的編碼函式：

int H264Publisher::EncodeFrame(AVCodecContext *pCodecCtx, AVFrame *pFrame, AVPacket *avPacket) {
    int ret = avcodec_send_frame(pCodecCtx, pFrame);
    if (ret < 0) {
        //failed to send frame for encoding
        return -1;
    }
    while (!ret) {
        ret = avcodec_receive_packet(pCodecCtx, avPacket);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            return 0;
        } else if (ret < 0) {
            //error during encoding
            return -1;
        }

        //AVFrame PTS
        pFrame->pts = index;

        //編碼資料
        avPacket->stream_index = pStream->index;
        AVRational time_base = out_fmt->streams[0]->time_base;//{ 1, 1000 };
        avPacket->pts = index * (pStream->time_base.den) / ((pStream->time_base.num) * fps);
        avPacket->dts = avPacket->pts;
        avPacket->duration = (pStream->time_base.den) / ((pStream->time_base.num) * fps);
        LOGI("Send frame index:%d,pts:%lld,dts:%lld,duration:%lld,time_base:%d,%d",
             index,
             (long long) avPacket->pts,
             (long long) avPacket->dts,
             (long long) avPacket->duration,
             time_base.num, time_base.den);
        avPacket->pos = -1;
        //寫出資料
        ret = av_interleaved_write_frame(out_fmt, avPacket);
        if (ret != 0) {
            LOGE("av_interleaved_write_frame failed");
        }
        av_packet_unref(avPacket);

        index++;
    }
    return 0;
}

void H264Publisher::EncodeBuffer(unsigned char *nv21Buffer) {

    uint8_t *i420_y = pFrameBuffer;
    uint8_t *i420_u = pFrameBuffer + width * height;
    uint8_t *i420_v = pFrameBuffer + width * height * 5 / 4;

    //NV21轉I420
    libyuv::ConvertToI420(nv21Buffer, width * height, i420_y, height, i420_u, height / 2, i420_v,
                          height / 2, 0, 0, width, height, width, height, libyuv::kRotate270,
                          libyuv::FOURCC_NV21);

    pFrame->data[0] = i420_y;
    pFrame->data[1] = i420_u;
    pFrame->data[2] = i420_v;

    //編碼H.264
    EncodeFrame(pCodecCtx, pFrame, &avPacket);
}

我們結束推流的時候，將transform標記為false狀態，然後處理完最後一幀資料，最後關閉相關的控制代碼，回收資源。

void H264Publisher::StopPublish() {
    //標記轉換結束
    this->transform = false;

    int result = EncodeFrame(pCodecCtx, NULL, &avPacket);
    if (result >= 0) {
        //封裝檔案尾
        av_write_trailer(out_fmt);
        //釋放記憶體
        if (pCodecCtx != NULL) {
            avcodec_close(pCodecCtx);
            avcodec_free_context(&pCodecCtx);
            pCodecCtx = NULL;
        }
        if (pFrame != NULL) {
            av_free(pFrame);
            pFrame = NULL;
        }
        if (pFrameBuffer != NULL) {
            av_free(pFrameBuffer);
            pFrameBuffer = NULL;
        }
        if (out_fmt != NULL) {
            avio_close(out_fmt->pb);
            avformat_free_context(out_fmt);
            out_fmt = NULL;
        }
    }
}

注意：之前也說過了，android相機預設採集的資料是NV21格式的，我們是無法直接處理的，需要先將NV21格式轉換成Y420P格式的資料，並且旋轉270度(後置相機旋轉90度)，得到最終的資料，送入編碼器中進行編碼成H264格式的資料，最後才通過av_interleaved_write_frame推流到伺服器上去。

用ffplay播放我們的區域網直播流rtmp://192.168.1.102:1935/onzhou/live

ffplay rtmp://192.168.1.102:1935/onzhou/live

存在的問題

目前只處理了視訊編碼推流部分，為了更方便的瞭解推流過程，音訊編碼暫未處理，後續會有音訊相關的內容。

參考：
專案地址：ffmpeg-camera-stream
https://github.com/byhook/ffmpeg4android

參考：
https://blog.csdn.net/leixiaohua1020/article/details/47056051
https://blog.csdn.net/leixiaohua1020/article/details/39803457
https://blog.csdn.net/bixinwei22/article/details/78770090

相關推薦

android平臺下基於ffmpeg採集Camera資料編碼成H.264推流到RTMP伺服器

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

android平臺下基於ffmpeg對相機採集的NV21資料編碼為MP4視訊檔案

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

android平臺下基於ffmpeg和ANativeWindow實現簡單的視訊播放器

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

libx264編碼---YUV影象資料編碼為h.264碼流

編譯環境：ubuntu12.04 目標平臺：ARM Cortex A9 交叉編譯器：arm-none-linux-gnueabi-gcc 4.4.1 基本步驟：  一、移植x264庫到ARM板，請看上一篇博文移植x264編碼庫 二、測試：

android平臺下基於MediaRecorder和AudioRecord實現錄製AAC、PCM音訊資料

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

android平臺下基於ANativeWindow實現渲染bitmap影象

OpenGL ES 3.0學習實踐 概述 原生Window API支援我們在ndk下開發原生的繪製功能，後續的一些視訊渲染，包括相機採集預覽等都可以通過這些API來實現，筆者今天通過幾個簡單的API來

android平臺，利用ffmpeg對android攝像頭採集編碼

對於這個問題，我也是折騰了好幾天終於把這個問題解決了。不多說，進入主題： 首先是demo下載地址：http://download.csdn.net/detail/zh_ang_hua/8971915； 這個下載地址demo有bug，已修改，新的現在地址：http://d

android平臺下音訊編碼之編譯LAME庫轉碼PCM為MP3

ffmpeg實踐學習 目錄 音訊概述 一般來說音訊的裸資料格式就是脈衝編碼調製(PCM)資料。描述一段PCM資料一般需要以下幾個概念：量化格式(sampleFormat)、取樣率(sampleRate)、聲道數(channel)。以CD的音質為例：量化格式為

Tensorflow之編譯window平臺下基於c/c++使用tensorflow

最近在考慮將tensorflow的工程遷移到window平臺下進行，由於linux和mac平臺在官網上有對應的c/c++介面的安裝說明，而window平臺則需要自己編譯。所以現將編譯過程記錄如下： 一、環境準備 1. vs2015 2. swigwin-3.0.12。下載連結為&nb

Linux下基於Hadoop的大資料環境搭建步驟詳解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安裝與配置）

Linux下基於Hadoop的大資料環境搭建步驟詳解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安裝與配置） 系統說明 搭建步驟詳述 一、節點基礎配置 二、H

android平臺下執行dx.bat，提示“系統找不到指定路徑”

今天學習了一下android載入技術，當用到dx重新打包工具時，提示“系統找不到指定路徑”，google半天，沒找到遇到這個錯誤的。 下面來說一下我的解決過程： 1.首先確保了安裝了 android sdk開發工具，並且adb這些常用可以使用。(我的這些功能都是正常的)

FFMPEG採集攝像頭資料並切片為iPhone的HTTP Stream流

一、Windows下面編譯ffmpeg首先需要解決的問題是：在windows下面編譯 ffmpeg， 並讓其支援dshow， 本人把ffmpeg編譯成功了， 但是編譯出來的ffmpeg不支援dshow， 在網上找了有文章介紹如何編譯ffmpeg讓其支援dhsow， 按照文章說

Linux平臺下基於BitTorrent應用層協議的下載軟體開發--Main函式模組（main.c）

#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h> #include <malloc.h> #include

嵌入式Linux下基於FFmpeg的視訊硬體編解碼

摘要: 對FFmpeg多媒體解決方案中的視訊編解碼流程進行研究。結合對S3C6410處理器視訊硬體編解碼方法的分析，闡述了嵌入式Linux下基於FFmpeg的H.264視訊硬體編解碼在S3C6410處理器上的實現方法，為嵌入式多媒體開發提供參考。 引言 目前，智慧手機、PDA和平板電腦等越來越多的嵌入式裝

Windows 平臺下基於 snort的入侵檢測系統安裝

Ncool-soft ncool_kk[ http://ncool.56.com ] 2006-1-9 首先得到我們需要的軟體包（最新軟體包）： 1、snort2.0.exe（在windows平臺下的snort最新版本，linux平臺的已經是snort2.4.3） http:

.Net平臺下基於角色的訪問控制系統(轉)

基於角色的使用者許可權管理系統（RBAC）基本理論[1][2] 　　RBAC是目前公認的解決大型企業的統一資源訪問控制的有效方法。其顯著的兩大特徵是：一是減小授權管理的複雜性，降低管理開銷；二是靈活地支援企業的安全策略，並對企業的變化有很大的伸縮性。 資源是應用系統中被管理、

linux平臺下基於C語言實現遍歷檔案目錄

#include <unistd.h> #include <stdio.h> #include <stdlib.h> #include <string.h&g

呼叫API在Android平臺下實現音視訊通訊

音視訊通訊 作為獨立開發者或想縮短音視訊開發週期的公司來說，想要在Android平臺下實現音視訊通訊，最快捷的方法是尋找開源專案或呼叫其他公司API。之所以這麼說是因為音視訊通訊技術涉及到底層音視訊採集、解碼、 FFmpeg（音視訊處理解決方案）、媒體流傳輸協議等太多太多

windows平臺下基於VisualStudio的Clang安裝和配置

LLVM 是一個開源的編譯器架構，它已經被成功應用到多個應用領域。Clang是 LLVM 的一個編譯器前端，它目前支援 C, C++, Objective-C 以及 Objective-C++ 等程式語言。Clang 對源程式進行詞法分析和語義分析，並將分析結果轉換為 AST ( 抽象語法樹 ) ，最後使用

在Android平臺下實現音視訊語音聊天

音視訊通訊 作為獨立開發者或想縮短音視訊開發週期的公司來說，想要在Android平臺下實現音視訊通訊，最快捷的方法是尋找開源專案或呼叫其他公司API。之所以這麼說是因為音視訊通訊技術涉及到底層音視訊採集、解碼、 FFmpeg（音視訊處理解決方案）、媒體流傳輸協議等太多太多