c# 实现语音聊天的实战示例

一、语音聊天说专业点就是即时语音,是一种基于网络的快速传递语音信息的技术,普遍应用于各类社交软件中,优势主要有以下几点:

(1)时效性:视频直播会因为带宽问题有时出现延迟高的问题,而语音直播相对来说会好很多,延迟低,并且能够第·一时间与听众互动,时效性强。

(2)隐私性:这一点体现在何处,如主播不想暴露自己的长相,或者进行问题回答是,没有视频的话会让主播感到更安心,所以语音直播隐私性更强。

(3)内容质量高:因为语音直播不靠“颜值”只有好的内容才能够吸引用户,所以语音直播相对来说内容质量更高。

(4)成本降低:语音直播相对视频直播来说,带宽流量等都会便宜许多,成本降低不少,更加实惠。

二、语音聊天主要步骤:音频采集、压缩编码、网络传输、解码还原、播放音频,如下图所示

下面就从代码的角度来详说一下这几个步骤。

(1)音频采集,读取麦克风设备数据

private readonly WaveIn _waveIn;
_waveIn = new WaveIn();
_waveIn.BufferMilliseconds = 50;
_waveIn.DeviceNumber = 0;
_waveIn.DataAvailable += OnAudioCaptured;
_waveIn.StartRecording();

(2)音频数据压缩编码,常见压缩格式比较多,例如mp3、acc、speex等,这里以speex为例

private readonly WideBandSpeexCodec _speexCodec;
_speexCodec = new WideBandSpeexCodec();
_waveIn.WaveFormat = _speexCodec.RecordFormat;

void OnAudioCaptured(object sender, WaveInEventArgs e)
{
   byte[] encoded = _speexCodec.Encode(e.Buffer, 0, e.BytesRecorded);
   _audioClient.Send(encoded);
}

(3)网络传输,为了保证即时传输udp协议有着天然的优点

using SAEA.Sockets;
using SAEA.Sockets.Base;
using SAEA.Sockets.Model;
using System;
using System.Net;

namespace GFF.Component.GAudio.Net
{
  public class AudioClient
  {
    IClientSocket _udpClient;

    BaseUnpacker _baseUnpacker;

    public event Action<Byte[]> OnReceive;

    public AudioClient(IPEndPoint endPoint)
    {
      var bContext = new BaseContext();

      _udpClient = SocketFactory.CreateClientSocket(SocketOptionBuilder.Instance.SetSocket(SAEASocketType.Udp)
        .SetIPEndPoint(endPoint)
        .UseIocp(bContext)
        .SetReadBufferSize(SocketOption.UDPMaxLength)
        .SetWriteBufferSize(SocketOption.UDPMaxLength)
        .Build());

      _baseUnpacker = (BaseUnpacker)bContext.Unpacker;

      _udpClient.OnReceive += _udpClient_OnReceive;
    }

    private void _udpClient_OnReceive(byte[] data)
    {
      OnReceive?.Invoke(data);
    }

    public void Connect()
    {
      _udpClient.Connect();
    }

    public void Send(byte[] data)
    {
      _udpClient.SendAsync(data);
    }

    public void Disconnect()
    {
      _udpClient.Disconnect();
    }

  }
}

(4)服务器转发,客户端使用udp,服务器这里同样也使用udp来转发

using SAEA.Sockets;
using SAEA.Sockets.Base;
using SAEA.Sockets.Interface;
using SAEA.Sockets.Model;
using System;
using System.Collections.Concurrent;
using System.Net;
using System.Threading.Tasks;

namespace GFF.Component.GAudio.Net
{
  public class AudioServer
  {
    IServerSocket _udpServer;

    ConcurrentDictionary<string, IUserToken> _cache;

    public AudioServer(IPEndPoint endPoint)
    {
      _cache = new ConcurrentDictionary<string, IUserToken>();

      _udpServer = SocketFactory.CreateServerSocket(SocketOptionBuilder.Instance.SetSocket(SAEASocketType.Udp)
        .SetIPEndPoint(endPoint)
        .UseIocp<BaseContext>()
        .SetReadBufferSize(SocketOption.UDPMaxLength)
        .SetWriteBufferSize(SocketOption.UDPMaxLength)
        .SetTimeOut(5000)
        .Build());
      _udpServer.OnAccepted += _udpServer_OnAccepted;
      _udpServer.OnDisconnected += _udpServer_OnDisconnected;
      _udpServer.OnReceive += _udpServer_OnReceive;
    }

    public void Start()
    {
      _udpServer.Start();
    }

    public void Stop()
    {
      _udpServer.Stop();
    }

    private void _udpServer_OnReceive(ISession currentSession, byte[] data)
    {
      Parallel.ForEach(_cache.Keys, (id) =>
      {
        try
        {
          _udpServer.SendAsync(id, data);
        }
        catch { }
      });
    }

    private void _udpServer_OnAccepted(object obj)
    {
      var ut = (IUserToken)obj;
      if (ut != null)
      {
        _cache.TryAdd(ut.ID, ut);
      }
    }

    private void _udpServer_OnDisconnected(string ID, Exception ex)
    {
      _cache.TryRemove(ID, out IUserToken _);
    }
  }
}

(5)解码还原,客户端将从服务器收到的数据按约定的压缩格式,进行解压缩还原成音频数据

private readonly BufferedWaveProvider _waveProvider;
_waveProvider = new BufferedWaveProvider(_speexCodec.RecordFormat);

private void _audioClient_OnReceive(byte[] data)
{
   byte[] decoded = _speexCodec.Decode(data, 0, data.Length);
   _waveProvider.AddSamples(decoded, 0, decoded.Length);
}

(6)播放音频,使用播放设备来播放解码后的音频数据

 private readonly IWavePlayer _waveOut;
 _waveOut = new WaveOut();
 _waveOut.Init(_waveProvider);
 _waveOut.Play();

三、测试运行,通过分析语音聊天的几个关键问题点后,按步骤封装好代码,接下来就是用实例来测试一下效果了。

客户端封装在按钮事件中:

GAudioClient _gAudioClient = null;

private void toolStripDropDownButton2_ButtonClick(object sender, EventArgs e)
{
  if (_gAudioClient == null)
  {
    ClientConfig clientConfig = ClientConfig.Instance();
    _gAudioClient = new GAudioClient(clientConfig.IP, clientConfig.Port + 2);
    _gAudioClient.Start();
  }
  else
  {
    _gAudioClient.Dispose();
    _gAudioClient = null;
  }
}

服务端封装在main函数中:

ConsoleHelper.WriteLine("正在初始化语音服务器...", ConsoleColor.DarkBlue);
_gAudioServer = new GAudioServer(filePort + 1);
ConsoleHelper.WriteLine("语音服务器初始化完毕...", ConsoleColor.DarkBlue);
ConsoleHelper.WriteLine("正在启动语音服务器...", ConsoleColor.DarkBlue);
_gAudioServer.Start();
ConsoleHelper.WriteLine("语音服务器初始化完毕", ConsoleColor.DarkBlue);

万事俱备,现在F5跑起来试试。

如上红框所示,喊了几句相当于Hello World的Hello没有问题,大功初步告成~

原文作者:https://www.cnblogs.com/yswenli/p/14353482.html
更多内容欢迎我的的github:https://github.com/yswenli/GFF
如果发现本文有什么问题和任何建议,也随时欢迎交流~

以上就是c# 实现语音聊天的实战示例的详细内容,更多关于c# 语音聊天的资料请关注我们其它相关文章!

(0)

相关推荐

  • C#中调用SAPI实现语音识别的2种方法

    通过微软的SAPI,不仅仅可以实现语音合成TTS,同样可以实现语音识别SR.下面我们就介绍并贴出相关代码.主要有两种方式: 1.使用COM组件技术,不管是C++,C#,Delphi都能玩的转,开发出来的东西在XP和WIN7都能跑.(注意要引入系统组件SpeechLib,XP要安装识别引擎) 2.使用WIN7的windows api,其实最终还是调用了SAPI,所以开发出来的东西就只能在WIN7上面跑. 其实不管是哪一种,都是调用SAPI,可能后一种代码比较简单. 使用第一种方式,需要注意在COM

  • C# 语音功能的实现方法

    首先要安装SpeechSDK5.1 开发包和SpeechSDK5.1 Langague Pack(中英文) 语言包,不过VS2010里是自带SpeechSDK5.0的com组件的,也可以用. 简单讲一下四个方法: 朗读时,使用 复制代码 代码如下: voice.Speak(string,SpeechVoiceSpeakFlags.SVSFlagsAsync); 暂停,使用 复制代码 代码如下: voice.Pause(); 从暂停中继续刚才的朗读,使用 复制代码 代码如下: voice.Resu

  • C#中调用SAPI实现语音合成的2种方法

    我们都知道现在的语音合成TTS是可以通过微软的SAPI实现的,好处我就不多说了,方便而已,因为在微软的操作系统里面就自带了这个玩意,主要的方式有两种: 1.使用COM组件技术,不管是C++,C#,Delphi都能玩的转,开发出来的东西在XP和WIN7都能跑.(要引入SpeechLib,好像在项目上点引用,然后选到系统COM吧,好久没弄,记不清楚了) 2.使用WIN7的windows api,其实最终还是调用了SAPI,所以开发出来的东西就只能在WIN7上面跑. 其实不管是哪一种,都是调用SAPI

  • C#语音识别用法实例

    本文实例讲述了C#语音识别用法.分享给大家供大家参考.具体分析如下: C#可以利用微软操作系统自动的语音识别功能,读取信息.步骤如下: 1.  在项目中添加  ""  引用 2.  引入命名空间: 复制代码 代码如下: using SpeechLib; 3.  读取的代码: 复制代码 代码如下: SpeechVoiceSpeakFlags flag = SpeechVoiceSpeakFlags.SVSFlagsAsync;     SpVoice voice = new SpVoic

  • c# 开发语音识别程序

    AI 平台:http://ai.baidu.com/ 开发工具:vs 2017 准备工作 1.注册百度账号 2.登录百度 AI 开发平台,http://ai.baidu.com/ 3.在控制台点击"百度语音"服务,点击"创建应用",填写必填项,勾选额外接口,点击立即创建获取秘钥.在应用列表中查看自己的id 创建自己的项目 1.新建项目 打开 vs2017,点击文件,新建项目,选择 visual C# --> windows 桌面 --> windows

  • c# 实现语音合成

    本文主要讨论C#开发使用百度语音合成API在线将文本内容合成语音,保存为 MP3 文件,本文最后会提供本安全源代码以及运行软件包,如有需要可自行下载 开发流程如下: 1. 创建百度应用: 创建应用之后就能看到创建完的应用和 API KEY 以及 Secret KEY了,在调用API时需传入这些配置值 详见:https://console.bce.baidu.com/ai/#/ai/ocr/overview/index 2. 引用 Baidu.Aip (SDK) Baidu.Aip 封闭了文字识别

  • C#基于UDP实现的P2P语音聊天工具

    语音获取 要想发送语音信息,首先得获取语音,这里有几种方法,一种是使用DirectX的DirectXsound来录音,我为了简便使用一个开源的插件NAudio来实现语音录取. 在项目中引用NAudio.dll //------------------录音相关----------------------------- private IWaveIn waveIn; private WaveFileWriter writer; private void LoadWasapiDevicesCombo(

  • C#实现语音视频录制-附demo源码

    在很多语音视频软件系统中,经常有将实时的音频或视频录制为文件保存到磁盘的需求,比如,视频监控系统中录制监控到的视频.视频会议系统中录制整个会议的过程.语音通话系统中录制完整的对话内容.等等. MFile组件(Oraycn.MFile.dll)是傲瑞实用组件之一,它可以将原始的语音数据和视频数据按照指定的格式进行编码,并将它们写入到视频文件(如.mp4)中. 一.缘起 最近正在做的一个网络招聘平台的项目,其中有一个模块是这样的,应聘者可以通过该系统的客户端录制自己的视频(自我介绍)上传到服务器,而

  • c# 实现语音聊天的实战示例

    一.语音聊天说专业点就是即时语音,是一种基于网络的快速传递语音信息的技术,普遍应用于各类社交软件中,优势主要有以下几点: (1)时效性:视频直播会因为带宽问题有时出现延迟高的问题,而语音直播相对来说会好很多,延迟低,并且能够第·一时间与听众互动,时效性强. (2)隐私性:这一点体现在何处,如主播不想暴露自己的长相,或者进行问题回答是,没有视频的话会让主播感到更安心,所以语音直播隐私性更强. (3)内容质量高:因为语音直播不靠"颜值"只有好的内容才能够吸引用户,所以语音直播相对来说内容质

  • python 实现语音聊天机器人的示例代码

    前言 在不远的将来,实现一定程度上的语音支持将成为日常科技的基本要求,整合了语音识别的python程序提供了其他技术无法比拟的交互性和可访问性.最重要的是,在python程序中实现语音识别非常简单.整个代码实现下来还不到150行. 原理简介 许多现代语音识别系统会在HMM识别之前使用神经网络,通过特征变换和降维技术来简化语音信号,也可以使用语音活动检测器将音频信号减少到可能包含语音的部分. 幸运的是,对于python来讲,一些语音识别的服务可通过API在线使用,且其中大部分也提供了Python

  • 小程序实现简单语音聊天的示例代码

    框架相关 Demo采用Mpvue框架,后端的WebSocket采用Node.js,文件服务器直接使用的微信小程序的云开发的存储. 储备知识 微信小程序录音控制器:recorderManager. 微信小程序音频控制器:innerAudioContext. 微信小程序WebSocket. Node.js端WebScoket实现 // 基于WS插件 // 引入ws插件 var WebSocketServer = require("ws").Server; // 实例化WebSocket v

  • Python调用两个机器人聊天的实战

    目录 机器人api接口 调用接口封装机器人 实现两个机器人聊天 聊天文字转语音 总结 众所周知,现在网上有很多非常智能bushi(智障)的AI机器人接口,利用这些接口,我们可以实现一个机器人,可以和它对话聊天,为了增加机器人聊天内容的趣味性,今天我决定要搞两个机器人,看它俩聊天,看看会不会发生什么有趣的事情,搞起!!! 机器人api接口 经过一通百度,找到几个推荐比较多的机器人接口,如下: 天行机器人: 天行机器人, 验证邮箱之后每天可以有100次的免费调用次数,测试用的话够了,不想用自己的邮箱

  • ASP.NET MVC4异步聊天室的示例代码

    本文介绍了ASP.NET MVC4异步聊天室的示例代码,分享给大家,具体如下: 类图: Domain层 IChatRoom.cs using System; using System.Collections.Generic; namespace MvcAsyncChat.Domain { public interface IChatRoom { void AddMessage(string message); void AddParticipant(string name); void GetM

  • Android仿微信语音聊天界面设计

    有段时间没有看视频了,昨天晚上抽了点空时间,又看了下鸿洋大神的视频教程,又抽时间写了个学习记录.代码和老师讲的基本一样,网上也有很多相同的博客.我只是在AndroidStudio环境下写的. --主界面代码-- public class MainActivity extends Activity { private ListView mListView; private ArrayAdapter<Recorder> mAdapter; private List<Recorder>

  • Android 高仿微信语音聊天页面高斯模糊(毛玻璃效果)

    目前的应用市场上,使用毛玻璃效果的APP随处可见,比如用过微信语音聊天的人可以发现,语音聊天页面就使用了高斯模糊效果. 先看下效果图: 仔细观察上图,我们可以发现,背景图以用户头像为模板,对其进行了高斯模糊,并把它作为整个页面的背景色. 关于Android如何快速实现高斯模糊(毛玻璃效果),网上一堆相关介绍,可参考下面文章一种快速毛玻璃虚化效果实现–Android. 下面直接给出模糊化工具类(已验证可行): import android.graphics.Bitmap; /** * 快速模糊化工

  • Android仿微信语音聊天功能

    本文实例讲述了Android仿微信语音聊天功能代码.分享给大家供大家参考.具体如下: 项目效果如下: 具体代码如下: AudioManager.java package com.xuliugen.weichat; import java.io.File; import java.io.IOException; import java.util.UUID; import android.media.MediaRecorder; public class AudioManager { private

  • 易语言制作语音聊天机器人的代码

    常量数据表 .版本 2 .常量 对话前, "<文本长度: 7>", , text":" .常量 对话后, "<文本长度: 2>", , "} .常量 token前, "<文本长度: 16>", , "access_token":" .常量 双撇号, "<文本长度: 1>", , " .常量 apikey, &q

随机推荐