编写C++程序使DirectShow进行视频捕捉

视频捕捉Graph的构建
一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个Capture Graph Builder COM组件使得捕捉graph图的生成更加简单。Capture Graph Builder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph。
首先创建一个Capture Graph Builder对象和一个graph manger对象,然后用filter graph manager 作参数,调用ICaptureGraphBuilder2::SetFiltergraph来初始化Capture Graph Builder。看下面的代码吧:

HRESULT InitCaptureGraphBuilder(IGraphBuilder **ppGraph,      //Receives the pointer
                ICaptureGraphBuilder2 **ppBuilder)           //Receives the pointer
{
  if(!ppGraph || !ppBuilder)
  {
    return E_POINTER;
  } 

  IGraphBuilder *pGraph = NULL;
  ICaptureGraphBuilder2 *pBuild = NULL;
  //Create the Capture Graph Builder
  HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL,
                    CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2,
                    (void**)&pGraph); 

  if(SECCEEDED(hr))
  {
    //Create the Filter Graph Manager
    hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER,
                    IID_IGraphBuilder, (void**)&pGraph);
    if(SECCEEDED(hr))
    {
      //Initialize the Capture Graph Builder
      pBuild->SetFiltergraph(pGraph);
      //Return both interface pointers to the caller
      *ppBuild = pBuild;
      *ppGraph = pGraph;   //The caller must release both interface
      return S_OK;
    }
    else
    {
      pBuild->Release();
    }
  }
  return hr;     //Failed
}

视频捕捉的设备
现在许多新的视频捕捉设备都采用的是WDM驱动方法,在WDM机制中,微软提供了一个独立于硬件设备的驱动,称为类驱动程序。驱动程序的供应商提供的驱动程序称为minidrivers。Minidrivers提供了直接和硬件打交道的函数,在这些函数中调用了类驱动。
在directshow的filter图表中,任何一个WDM捕捉设备都是做为一个WDM Video Capture过滤器(Filter)出现。WDM Video Capture过滤器根据驱动程序的特征构建自己的filter

Direcshow中视频捕捉的Filter Pin的种类

捕捉Filter一般都有两个或多个输出pin,他们输出的媒体类型都一样,比如预览pin和捕捉pin,因此根据媒体类型就不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了,每个pin都有一个GUID,称为pin的种类。
如果想仔细的了解pin的种类,请看后面的相关内容Working with Pin Categories。对于大多数的应用来说,ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin

视频捕捉Filter都提供了预览和捕捉的输出pin,预览pin用来将视频流在屏幕上显示,捕捉pin用来将视频流写入文件。

预览pin和输出pin有下面的区别:
1 为了保证捕捉pin对视频桢流量,预览pin必要的时候可以停止。
2 经过捕捉pin的视频桢都有时间戳,但是预览pin的视频流没有时间戳。

预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency,如果捕捉时间被认为就是render时间的话,视频renderFilter就认为视频流有一个小小的延迟,如果此时render filter试图连续播放的时候,就会丢桢。去掉时间戳就保证了视频桢来了就可以播放,不用等待,也不丢桢。

  • 预览pin的种类GUID为PIN_CATEGORY_PREVIEW
  • 捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE

Video Port pin
Video Port是一个介于视频设备(TV)和视频卡之间的硬件设备。同过Video Port,视频数据可以直接发送到图像卡上,通过硬件的覆盖,视频可以直接在屏幕显示出来。Video Port就是连接两个设备的。
使用Video Port的最大好处是,不用CPU的任何工作,视频流直接写入内存中。
如果捕捉设备使用了Video Port,捕捉Filter就用一个video port pin代替预览pin。

video port pin的种类GUID为PIN_CATEGORY_VIDEOPORT

一个捕捉filter至少有一个Capture pin,另外,它可能有一个预览pin 和一个video port pin,或者两者都没有,也许filter有很多的capture pin,和预览pin,每一个pin都代表一种媒体类型,因此一个filter可以有一个视频capture pin,视频预览pin,音频捕捉pin,音频预览pin。

Upstream WDM Filters
在捕捉Filter之上,WDM设备可能需要额外的filters,下面就是这些filter

  • TV Tuner Filter
  • TV Audio Filter.
  • Analog Video Crossbar Filter

尽管这些都是一些独立的filter,但是他们可能代表的是同一个硬件设备,每个filter都控制设备的不同函数,这些filter通过pin连接起来,但是在pin中没有数据流动。因此,这些pin 的连接和媒体类型无关。他们使用一个GUID值来定义一个给定设备的minidriver,例如:TV tuner Filter 和video capture filter都支持同一种medium。

在实际应用中,如果你使用ICaptureGraphBuilder2来创建你的capture graphs,这些filters就会自动被添加到你的graph中。更多的详细资料,可以参考WDM Class Driver Filters。

选择一个视频捕捉设备(Select capture device)

如何选择一个视频捕捉设备,可以采用系统设备枚举,详细资料参见Using the System Device Enumerator 。enumerator可以根据filter的种类返回一个设备的monikers。Moniker是一个com对象,可以参见IMoniker的SDK。

对于捕捉设备,下面两种类是相关的。

  • CLSID_AudioInputDeviceCategory 音频设备
  • CLSID_VideoInputDeviceCategory 视频设备

下面的代码演示了如何枚举一个视频捕捉设备

ICreateDevEnum *pDevEnum = NULL;
IEnumMoniker *pEnum = NULL; 

//Create the system device enumerator
HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL,
               CLSCT_INPROC_SERVER, IID_ICreateDevEnum,
               reinterpret_cast<void**>(&pDevEnum)); 

if(SUCCEEDED(hr))
{
  //创建一个枚举器,枚举视频设备
  hr = pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory,
                    &pEnum, 0);
}

IEnumMoniker接口pEnum返回一个IMoniker接口的列表,代表一系列的moniker,你可以显示所有的设备,然后让用户选择一个。
采用IMoniker::BindToStorage方法,返回一个IPropertyBag接口指针。然后调用IPropertyBag::Read读取moniker的属性。下面看看都包含什么属性:

1 FriendlyName 是设备的名字
2 Description 属性仅仅适用于DV和D-VHS/MPEG摄象机,如果这个属性可用,这个属性更详细的描述了设备的资料
3DevicePath 这个属性是不可读的,但是每个设备都有一个独一无二的。你可以用这个属性来区别同一个设备的不同实例

下面的代码演示了如何显示遍历设备的名称 ,接上面的代码

HWND hList;     //Handle to the list box
IMoniker *pMoniker = NULL;
while(pEnum->Next(1, &pMoniker, NULL) == S_OK)
{
  IPropertyBag *pPropBag;
  hr = pMoniker->BindToStorage(0, 0, IID_IPropertyBag, (void**)(&pPropBag));
  if(FAILED(hr))
  {
    pMoniker->Release();
    continue;    //Skip this one, maybe the next one will work
  }
  VARIANT varName;
  hr = pPropBag->Read(L"Description", &varName, 0);
  if(FAILED(hr))
  {
    hr = pPropBag->Read(L"FriendlyName", &varName, 0);
  }
  if(SECCEEDED(hr))
  {
    //Add it to the application's list box
    USES_CONVERSION;
    (long)SendMessage(hList, LB_ADDSTRING, 0, (LPARAM)OLE2T(varName.bstrVal));
    VariantClear(&varName);
  } 

  pPropBag->Release();
  pMoniker->Release();
}

如果用户选中了一个设备调用IMoniker::BindToObject为设备生成filter,然后将filter加入到graph中。

IBaseFilter *pCap = NULL;
hr = pMoniker->BindToObject(0, 0, IID_IBaseFilter, (void**)&pCap);
if(SECCEEDED(hr))
{
  hr = m_pGraph->AddFilter(pCap, L"Capture Filter");

为了创建可以预览视频的graph,可以调用下面的代码:

ICaptureGraphBuilder2 *pBuild;   //Capture Graph Builder
//Initialize pBuild(not shown)
...
IBaseFilter *pCap;                 //Video capture filter
hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,
                        pCap, NULL, NULL);
}

如何捕捉视频流并保存到文件(Capture video to File)

1 将视频流保存到AVI文件

AVI Mux filter接收从capture pin过来的视频流,然后将其打包成AVI流。音频流也可以连接到AVI Mux Filter上,这样mux filter就将视频流和视频流合成AVI流。File writer将AVI流写入到文件中。
可以像下面这样构建graph图

IBaseFilter *pMux;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi,      //Specifies AVI for the target file
                L"C:\\Example.avi",       //File name
                &pMux,                  //Receives a pointer to the mux
                NULL);    //(Optional)Receives a pointer to the file sink

第一个参数表明文件的类型,这里表明是AVI,第二个参数是制定文件的名称。对于AVI文件,SetOutputFileName函数会创建一个AVI mux Filter 和一个 File writer Filter ,并且将两个filter添加到graph图中,在这个函数中,通过File Writer Filter 请求IFileSinkFilter接口,然后调用IFileSinkFilter::SetFileName方法,设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向 AVI Mux的指针,同时,它也通过第四个参数返回一个IFileSinkFilter参数,如果你不需要这个参数,你可以将这个参数设置成NULL。
然后,你应该调用下面的函数将capture filter 和AVI Mux连接起来。

hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,     //Pin category
             &MEDIATYPE_Video,     //Media type
             pCap,     //Capture filter
             NULL,     //Intermediate filter(optional)
             pMux);     //Mux or file sink filter
//Release the mux filter
pMux->Release(); 

第5个参数就是使用的上面函数返回的pMux指针。
当捕捉音频的时候,媒体类型要设置为MEDIATYPE_Audio,如果你从两个不同的设备捕捉视频和音频,你最好将音频设置成主流,这样可以防止两个数据流间drift,因为avi mux filter为同步音频,会调整视频的播放速度的。为了设置master 流,调用IConfigAviMux::SetMasterStream方法,可以采用如下的代码:

IConfigAviMux *pConfigMux = NULL;
hr = pMux->QueryInterface(IID_IConfigAviMux, (void**)&pConfigMux);
if(SUCCEEDED(hr))
{
  pConfigMux->SetMasterStream(1);
  pConfigMux->Release();
}

SetMasterStream的参数指的是数据流的数目,这个是由调用RenderStream的次序决定的。例如,如果你调用RenderStream首先用于视频流,然后是音频,那么视频流就是0,音频流就是1。
添加编码filter

IBaseFilter *pEncoder;
//Add it to the filter graph
pGraph->AddFilter(pEncoder, L"Encode");
//Render the stream
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,
             pCap, pEncoder, pMux);
pEncoder->Release();

2 将视频流保存成wmv格式的文件

为了将视频流保存成并编码成windows media video (WMV)格式的文件,将capture pin连到WM ASF Writer filter。

构建graph图最简单的方法就是将在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asf的filter。如下

IBaseFilter *pASFWriter = 0;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Asf,    //Create a windows media file
                L"C:\\VidCap.wmv",        //File name
                &pASFWriter,       //Receives a pointer to the filter
                NULL);        //Receives an IFileSinkFilter interface pointer(optional)

参数MEDIASUBTYPE_Asf 告诉graph builder,要使用wm asf writer作为文件接收器,于是,pbuild 就创建这个filter,将其添加到graph图中,然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASF writer指针,第四个参数用来返回文件的指针。

在将任何pin连接到WM ASF Writer之前,一定要对WM ASF Writer进行一下设置,你可以同过WM ASF Writer的IConfigAsfWriter接口指针来进行设置。

IConfigAsfWriter *pConfig = 0;
hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter, (void**)&pConfig);
if(SUCCEEDED(hr))
{
  //Configure the ASF Writer filter
  pConfig->Release();
}

然后调用ICaptureGraphBuilder2::RenderStream将capture Filter 和 ASF writer连接起来:

hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,     //Capture pin
             &MEDIATYPE_Video,       //Video. Use MEDIATYPE_Audio for audio
             pCap,     //Pointer to the capture filter
             0,
             pASFWriter);   //Pointer to the sink filter(ASF Filter)

3保存成自定义的文件格式
如果你想将文件保存成自己的格式,你必须有自己的 file writer。看下面的代码:

IBaseFilter *pMux = 0;
IFileSinkFilter *pSink = 0;
hr = pBuild->SetOutputFileName(&CLSID_MyCustomMuxFilter,   //开发自己的Filter
                L"C:\\VidCap.avi", &pMux, &pSink);

4如何将视频流保存进多个文件
当你将视频流保存进一个文件后,如果你想开始保存第二个文件,这时,你应该首先将graph停止,然后通过IFileSinkFilter::SetFileName改变 File Writer 的文件名称。注意,IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。
看看保存多个文件的代码:

IBaseFilter *pMux = 0;
IFileSinkFilter *pSink = 0;
hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi,
                L"C:\\YourFileName.avi", &pMux, &pSink);
if(SUCCEEDED(hr))
{
  hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,
                        pCap, NULL, pMux);
  if(SUCCEEDED(hr))
  {
    pControl->Run();
    pControl->Stop();
    //Change the file name and run the graph again
    pSink->SetFileName(L"YourFileName02.avi", 0);
    pControl->Run();
  } 

  pMux->Release();
  pSink->Release();
}
(0)

相关推荐

  • C++实现优酷土豆去视频广告的方法

    本文实例讲述了C++实现优酷土豆去视频广告的方法.分享给大家供大家参考.具体分析如下: 之前写的一个工具,好不好用我不知道,我自己用着挺好,编译环境VC6.0,原理是改HOST文件,不过还改了其他地方,可以看看源码,暂时支持XP,WIN7没写,代码可能有些乱,有兴趣的朋友可以自己改改. // guanggaoDlg.cpp : implementation file WIN32_FIND_DATA FindFileData; void CGuanggaoDlg::OnButton1() { //

  • 编写C++程序使DirectShow进行视频捕捉

    视频捕捉Graph的构建 一个能够捕捉音频或者视频的graph图都称之为捕捉graph图.捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个Capture Graph Builder COM组件使得捕捉graph图的生成更加简单.Capture Graph Builder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph. 首先创建一个Capture Graph Builder对象和一个graph manger对

  • 微信小程序中插入激励视频广告并获取收益(实例代码)

    最近微信小程序后台发送通知,小程序激励式视频广告组件日前已全量上线,也就是说大家可以在小程序中插入激励视频广告了,之前只允许小游戏可以使用 . 激励式视频广告 用户在小程序中主动触发激励式广告,并达成奖励下发标准(完整播放视频广告,并手动点击 "关闭广告" 按钮),将获得该小程序下发的奖励.广告触发场景与奖励内容均由流量主自定义. 新建广告位 首先进入小程序后台点击流量主,点击广告位管理,点击新建广告位,就可以新建所需要的广告了,目前有三种 banner,激励视频,插屏广告. 插入广告

  • 编写python程序的90条建议

    1. 首先 建议1.理解 Pythonic 概念--详见 Python 中的<Python之禅> 建议2.编写 Pythonic 代码 (1)避免不规范代码,比如只用大小写区分变量.使用容易混淆的变量名.害怕过长变量名等.有时候长的变量名会使代码更加具有可读性. (2)深入学习 Python 相关知识,比如语言特性.库特性等,比如Python演变过程等.深入学习一两个业内公认的 Pythonic 的代码库,比如Flask等. 建议3:理解 Python 与 C 的不同之处,比如缩进与 {},单

  • Java 汇编JVM编写jasmin程序的操作方法

    Jasmin是Java汇编语言,以文本方式来描述JVM的指令集以及Java Class的结构,Jasmin编译器可以把汇编语言转换成二进制的字节码,使JVM可以调入执行. Jasmin最初是由Jon Meyer和Troy Downing编纂<Java Virtual Machine>时设计的范例,虽然该书不再出版,但是Jasmin成为了事实上的Java汇编语言标准,并作为开源项目得到发展:http://jasmin.sourceforge.net/. Jasmin在Java class方面的处

  • Python编写屏幕截图程序方法

    正在编写的程序用的很多Windows下的操作,查了很多资料.看到剪切板的操作时,想起以前想要做的一个小程序,当时也没做,现在正好顺手写完. 功能:按printscreen键进行截图的时候,数据保存在剪切板里面,很不方便.比如游戏的时候截一个瞬间的图片,但你不能退出游戏保存图片,不方便多次截图.而我也不喜欢安装各种软件,所以准备写这个工具. 思路:一个是自定义快捷键,截图,保存.考虑到很可能各种冲突,取消.然后还是用按printscreen来截图,然后从剪切板读取图片数据,保存.想法是,先监听键盘

  • 如何在Python中编写并发程序

    GIL 在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束. 这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费. 据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来P

  • Android 驱动编写LED-NDK程序

    1. 首先编写LINUX内核模块LED #include <linux/kernel.h> #include <linux/module.h> #include <linux/fs.h> #include <linux/slab.h> #include <linux/device.h> #include <asm/io.h> #include <asm/uaccess.h> #include <linux/cdev.

  • Eclipse下编写java程序突然不会自动生成R.java文件和包的解决办法

    下面给大家介绍几种比较常见的解决办法,具体内容如下: 1.有时候eclipse不自动编译,把project clean一下,让R.java重新生成 2.选择菜单 Project >> Clean ,前提是勾选上 Bulid Automatically(自动构建部署) , 点Clean后会重新构建项目,因为一般情况下,R.java文件在这个时候会重新更新生成一边,如果工程有错,就不会自动生成. 3.选择工程,右键 Android Tools >> Fix Project Proper

  • Java操作另一个Java程序使其重启的简单实现

    大概思路: 写两个程序,一个负责重启的程序,一个是待重启的程序,在这里为了区分我们假设负责重启的那个程序叫A,待重启的程序叫B,他们都是线程,还要搭配数据库,他是两个程序的桥梁,通过设置信号量进行判断程序状态(不妨设置信号量为Flag),我是这么设置的,0:表示程序正在运行中,1:表示程序需要重启,正准备做关闭自己的操作(只针对待重启的程序B),2:表示B程序已经把自己给关闭了,需要A程序把B程序启动. 实现步骤: A程序:写一个线程进行读信号量Flag,当Flag为2的时候就把B程序启动 B程

  • pycharm编写spark程序,导入pyspark包的3中实现方法

    一种方法: File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕-->选中spark安装目录下的python目录-->一路OK. 再次在python文件中写入如下 from pyspark import SparkConf

随机推荐