live555多线程改造方案

博主已经使用live555近10年,用作客户端可以每个线程一路live555 rtsp client,但是用作服务端,一直是单个线程处理,并发能力受限。
今年笔者所在公司对并发量有要求,200路,不得不研究对其进行多线程改造。

经过1个月的开发调试,终于实现,现在把基本思路分享一下:
1. 不改动live555的处理框架和逻辑

2. 处理sdp的生成函数,把同步等待修改为定时器等待。(不修改会导致新的请求导致前一路视频可能卡顿)

3. 增加N个Rtp发送线程,处理rtcp和rtp的发送

4. 修改类MultiFramedRTPSink,增加rtp发送线程的派发处理:
MultiFrame[......]

阅读全文

opus编码 SDP如何协商采样率?

Reading more in the rfc7587, you will find out that, in SDP, you will always see the codec being using “OPUS/48000/2″, no matter the real sampling rates.
无论采样率为多少,codec采样的参数都是”OPUS/48000/2″
实际的采样率协商可以使用以下附加参数,见第三行:
m=audio 54312 RTP/AVP 101
a=rtpmap:101 opus/48000/2
a=fmtp:101 maxplaybackrate=8000; sprop-m[......]

阅读全文

音视频开发入门基础知识ppt

音视频流媒体基础知识培训

可供有意从事音视频相关开发的程序员小伙伴参考!
PPT的部分内容和图片摘自互联网的博客,如有侵权,就当是开源精神,望网开一面。

stm32 H750开发疑难问题记录

开发过程遇到2个奇怪的问题,记录一下。
问题1. 读区spi Flash数据读取后,校验数据读取不正确,底层驱动函数,把读取函数的超时时间由1000修改为2000就解决了。

//源码来自正点原子的spi.c
//SPI2 读写一个字节
//TxData:要写入的字节
//返回值:读取到的字节
u8 SPI1_ReadWriteByte(u8 TxData)
{
    u8 Rxdata;
    HAL_SPI_TransmitReceive(&SPI1_Handler,&TxData,&Rxdata,1, 2000);   //此处超时时间由1000修改为2000
    return Rxdata;                     
}

问题2. Flash的延时和CPU的频率不匹配,导致程序运行随机异常,可以通过者降低主频或增加flash的延时周期解决
RCC_OscInitStruct.PLL.PLLN = 160;//降低主频 192修改为160
或者
HAL_RCC_ClockConfig(&RCC_ClkInitStruct, FLASH_LATENCY_5)
(由FLASH_LATENCY_4增加1个周期延[......]

阅读全文

SIP协议文档或资源

sip协议培训讲议
sip协议实例

呼叫转移文档

呼叫流程图

PJSIP的DTMF简单实现,回调函数:on_dtmf_digit
基于pjsip实现p2p语音对讲

SIP 中的Dialog,call,session 和 transaction

pjsip实现h265视频编码扩展方法

H265逐渐成为音视频领域的主流,特别是在手机上,已经支持H265的硬编硬解。目前为止,pjsip协议栈还只支持h264的编码,并且是软编解码的方式。笔者提前扩展实现了pjsip 支持H265的方案。其最根本的思路是在流程处理逻辑上彻底参考pjsip源码中H264的实现,把H264的相关部分拷贝一份,修改为H265。主要修改点为sdp相关逻辑处理和编码器增加。

sdp的处理主要是在媒体协商层面支持h265的编码方式。
编解码器的增加可以参考openh264的实现,拷贝一份,修改为自己的h265的实现,然后修改对应的pjmedia中makefile及在pjsua_vid.c中增加h265编码[......]

阅读全文

pjsip实现h264视频硬编硬解

大家都知道,pjsip对h264视频的支持实现比较弱,只支持openh264和ffmpeg的软编软解,在一些嵌入式平台中,如何实现硬编硬解呢?答案是肯定的,笔者就实现了h264的硬编硬解功能。其基本思路是参考openh264实现一个自己的h264 codec编解码器和参考ffmpeg_dev实现一个自己的h264 dev采集设备,然后在自己增加的2个模块中实现h264数据及yuv数据的透传,从而实现真正的硬编码,硬解码。其思路主要是通过内部数据结构,在不破坏pjsip原有media处理流程的基础上,实现h264的硬编硬解。
其数据流如下:
my_h264_codec编码 my_h264_dev

如果[......]

阅读全文

工作室主要产品或案例列表

1. Android视频会议软终端产品,详情请查看以下文档:

《Android视频会议软终端产品》

2. PC BullSip软件下载,详情请查看以下文档:

《PC SIP软终端产品》

3. Android SipTerm产品,详情请查看以下文档:

《Android SipTerm产品》

4.基于linux centos 6.5系统的三棵杏IPC录播服务器,支持上千路并发录制,了解产品请查看产品手册

《三棵杏IPC录播服务器用户使用手册》

pjsip移植到stm32(freertos系统)

项目目标:基于stm32 H750构建带SIP通话的UI应用系统
单片机硬件: stm32 H750 主频480M
实时操作系统:freertos
开发工具:keil uVison 5.23
编译器: armcc
编译的包:freertos + lwip + FreeRTOS_Plus_POSIX + pjproject-2.7.2 + emwin 5.x

pjsip pjporject-2.7.2编译方法步骤:
1.在linux ubuntu系统下安装arm-none-eabi编译工具链,进行配置和初步编译
2.把已经配置好的pjporject-2.7.2目录,拷贝到windows中,修改各个子[......]

阅读全文

编码器及解码器音视频同步技巧

最近在海思3531D平台上重构了5年前写的编解码器代码。丢掉了很多为了实现音视频同步而写的很多冗余算法。任何时候都要遵循简单为美的原则。

无论编码端还是解码端,在音视频同步中,选定音频的pts为基准。原因是音频对pts的连续性更敏感,视频慢1/3 frame time或快1/3 frame time,人眼觉察不到。
一言概之:音频pts按帧率计算累加,视频pts在按帧计算累加基础上,再加上一个适当波动值进行调节(可以是正,或者复数,波动值一定要小于 frame time)。

编码器中音视频同步算法:视频的pts要以音频的pts为基准, diff = video_pts – audio_pts; 确保视频[......]

阅读全文