Win10 + VS2017 + WPF 捕获摄像头并实时显示画面

admin

本文主要是引用Windows.Graphics.Imaging类的方法

系统状态：

1， Windows10 1909(内部版本 18363.778)

2，Visual Studio Community 2017 (Version 15.9.16)

3，已安装Windows 10 SDK
https://developer.microsoft.com/en-us/windows/downloads/windows-sdk/


4，.Net Framework 4.8

网上介绍有几个方法：Nuget的WPFMediaKit、MediaCaptureWPF以及.Net自带的MediaCapture、CameraCaptureUI
WPFMediaKit好像默认只能将camera的画面保存成为image file不能直接读取当前帧的数据；MediaCaptureWPF无法build成为any cpu platform；CameraCaptureUI会使用默认的UWP UI。。。


所以我们只能用MediaCapture，官方教程：https://docs.microsoft.com/en-us ... e-with-mediacapture

因为我们的是WPF App，所以无法直接调用UWP API。

有三个方法可以让WPF程序，调用UWP API：

1，NuGet下载UwpDesktop（强烈不建议！它支持的API太久没更新，实际使用的时候经常有各种问题）

2，在安装Windows10 SDK之后，手动在project references里添加以下两个文件的引用：
C:\Program Files (x86)\Windows Kits\10\UnionMetadata\Windows.winmd
C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETCore\v4.5\System.Runtime.WindowsRuntime.dll

3，.Net 4.6+或者.Net Core3.0+，并且Windows10是1803版本之后，可以NuGet下载Microsoft.Windows.SDK.Contracts

以上方式，最好都自动将 NuGet 包的引用方式从 packages.config 升级为 PackageReference。否则运行时可能会出错。

准备好让WPF调用WinRT API之后，为了让WPF显示摄像头画面，我们还需要在NuGet下载MMaitre.MediaCaptureWPF。
但是这玩意不能编译成为any CPU，所以只能将项目转为x64。

准备妥当，代码就很容易了：

1. using MediaCaptureWPF;
   
2. using System;
   
3. using System.Windows;
   
4. using Windows.Media.Capture;
   
5. 
   
6. ------------------------------------
   
7. 
   
8. private MediaCapture captureManager;
   
9. 
   
10. private async void Window_Loaded(object sender, RoutedEventArgs e)
    
11. {
    
12.             captureManager = new MediaCapture();
    
13.             await captureManager.InitializeAsync();
    
14. 
    
15.             var preview = new CapturePreview(captureManager);
    
16.             this.webCamImage.Source = preview; //XAML页面的一个Image控件
    
17.             await preview.StartAsync();
    
18. }

复制代码

这样，当程序跑起来，就能在UI界面看到摄像头的实时画面了。

如果想获取摄像头某一时刻的byte data，就有点麻烦：

1. 
   
2. var lowLagCapture = await captureManager.PrepareLowLagPhotoCaptureAsync(ImageEncodingProperties.CreateUncompressed(MediaPixelFormat.Bgra8));
   
3. 
   
4. var capturedPhoto = await lowLagCapture.CaptureAsync();
   
5. using (var softwareBitmap = capturedPhoto.Frame.SoftwareBitmap)
   
6. {
   
7.     Task<byte[]> bytes =  await GetPixelBytesFromSoftwareBitmapAsync(softwareBitmap));
   
8. }
   
9. 
   
10. await lowLagCapture.FinishAsync();
    
11. 
    
12. ------------------------------------------------------
    
13. 
    
14. public static async Task<byte[]> GetPixelBytesFromSoftwareBitmapAsync(SoftwareBitmap softwareBitmap)
    
15. {
    
16.             using (InMemoryRandomAccessStream stream = new InMemoryRandomAccessStream())
    
17.             {
    
18.                 Windows.Graphics.Imaging.BitmapEncoder encoder = await Windows.Graphics.Imaging.BitmapEncoder.CreateAsync(Windows.Graphics.Imaging.BitmapEncoder.JpegEncoderId, stream);
    
19.                 encoder.SetSoftwareBitmap(softwareBitmap);
    
20.                 await encoder.FlushAsync();
    
21. 
    
22.                 // Read the pixel bytes from the memory stream
    
23.                 using (var reader = new DataReader(stream.GetInputStreamAt(0)))
    
24.                 {
    
25.                     var bytes = new byte[stream.Size];
    
26.                     await reader.LoadAsync((uint)stream.Size);
    
27.                     reader.ReadBytes(bytes);
    
28.                     return bytes;
    
29.                 }
    
30.             }
    
31. }

复制代码