当前位置:首页 > 产品中心 > 新视频监控直播 > 正文

广电系统转码接入方案

发布时间:2015年04月29日 06:18 阅读:565 返回

 

  1. 广电方案
  2.  
  3.  

 

  1. 项目背景

随着新媒体业务的高速发展,电视运营商需要对来自互联网、内容提供商等海量视频内容进行转码处理,同时适配传统机顶盒、安卓机顶盒等不同的输出终端。广电行业传统视频文件转码采用硬件方式实现,在新媒体时代下逐渐呈现建设运维成本高、并发处理容量有限的问题。

广州骏视独创的按需实时转码技术通过实时适配用户接入的不同终端,结合文件缓存和流媒体高复用策略,并根据用户播放时长同步转码,大幅度提升系统的总体并发转码容量,降低服务器、存储、CDN、管理、网络等运营成本,并提升用户播放的体验;对热数据采取文件缓存和流媒体高复用策略,最大限度提升系统网络、计算和存储等资源的总利用效率,提升系统总体并发转码容量。

  1. 建设目标

建设广电视频转码平台,为新媒体业务提供统一的视频文件接入、转码和分发服务,适配输出至同洲N9101、创维HC2800机顶盒。

  1. 技术方案
    1. 系统架构 

 

    平台采用云计算技术架构实现,包含接入服务、调度服务、云计算/存储节点、应用服务、运维管理等云端服务的技术实现,充分利用云平台的计算、存储、网络服务等资源进行平台建设,实现统一视频服务能力和点播应用平台,随着业务的发展,进行可伸缩的动态扩展。

  1. 视频服务能力
    1. 海量文件接入

采集端的文件接入主要是指各种主流格式的视频文件,来自于互联网、内容提供商等,兼容3GP、3G2、MP4、 FLV、ASF、F4V、WMV、 MOV、MPEG-2 TS、MPEG-2 PS、MPEG-4等各种标准、开放的文件格式;兼容H2631、H263、H264、 MPEG-1、MPEG-2、MPEG-4、FLASH、REAL VIDEO、 WMV7、WMV8、WMV9等各种标准、开放的视频编码格式;兼容MP3、AAC、WMA、AC3、OGG等各种标准、开放的音频编码格式。

平台提供标准、开放、安全的业务接入接口,接入服务将任务提交给云调度。业务接入时需要申请业务密钥,利用密钥进行安全签名,才能访问接口。

  1. 大规模并发任务智能云调度

 业界领先的云调度模型能够满足大规模并发任务的智能调度,达到高可靠性、高实时性、负载均衡、自动化处理、安全通信的能力,并且对云计算/存储节点进行统一命名、配置管理和实时监控,提供完善的云伸缩调度机制。

  1. 多中心控制

多个控制中心组成一个管理集群,按照负载均衡的策略调度和同步接入任务,如果一个控制中心down掉,其它控制中心即时自动继续执行任务,保证任务调度的持续性,避免单点故障,实现高可靠性。

  1. 分布式多层级全局调度

云调度可以实现跨节点、区域、机房和网络的全局多层面调度,兼顾业务需求和节点服务能力。

云接入将任务提交给云调度时,控制中心首先按业务配置管理和负载情况自动选择服务的云计算/存储节点,然后再根据节点配置管理和负载情况自动选择转码引擎服务器、流媒体服务器和存储服务器,根据统一、加密的通信协议调度和执行任务的接入、转码、分发、缓存和存储等处理,即时同步任务执行的状态,高效地将处理结果和数据返回给应用端。

  1. 基于任务权重实时计算的智能云调度

大规模并发任务下,云平台处于高负载的状态,此时还需要根据各个任务的服务质量要求进行智能的差异化响应服务,提升总体的实时性和服务质量。控制中心根据接入任务的权重优先级进行多并发线程的排队调度,任务权重的实时计算包括以下几个方面。

  • 云调度统一配置管理实时转码、离线转码、水印、截图、缓存、存储、日志汇报、日志统计等各种任务的初始权重。
  • 业务可以设置任务的加权系数,在业务层面实现差异化的服务。
  • 控制中心在调度过程中,根据任务的执行进度可以智能化地动态调整任务的加权系数,保证任务的有效执行和响应性能。
  1. 实时监控

实时监控接入服务器、控制中心服务器、转码引擎服务器、流媒体服务器和存储服务器等设备及服务的资源使用情况及运行故障,在高负载或者故障发生后向运维支撑管理系统发出自动告警信息,并且根据系统资源使用情况进行负载均衡的调度。

  1. 日志路径及异常重试机制

控制中心将任务执行过程中所有的日志按时间、模块、服务器保存成路径信息,当异常发生时,运维人员可以在异常路径界面中快速定位异常源及异常信息,方便快速排除故障。

当异常发生时,控制中心按策略分配新的服务资源重新执行任务,实现高效的自动化恢复处理。

  1. 安全可靠的通信协议

平台定义了控制中心、接入服务、转码引擎服务、流媒体服务、存储服务、应用服务和管理服务之间的通信协议,并且对服务之间的交互信息进行加密。

各个服务周期性地将心跳信息汇报给控制中心,控制中心利用心跳协议获取资源使用情况、任务进度等信息,进行负载均衡调度和高实时性控制。如果某个服务在多个心跳周期内仍然没有主动汇报信息,控制中心将按按策略分配新的服务资源重新执行任务。

  1. 云计算/存储节点群

云计算/存储节点由云平台进行统一命名、配置管理、实时监控和全局调度,可以按照业务、区域和网络等进行部署,可以使用虚拟服务器、虚拟存储和虚拟网络等虚拟化资源,达到可伸缩、高弹性的云资源分配和调用。

  1. 转码引擎服务及关键技术

    转码引擎能够实时处理各种主流格式的音视频文件,各种标准、开放的流媒体协议,为点播、直播、广告合成、截图、水印等业务应用提供实时转码、智能适配能力。

1)  海量视频按需实时转码

独创的按需实时转码技术通过实时适配用户接入的不同网络及终端,结合文件缓存和流媒体高复用策略,并根据用户播放时长同步转码,大幅度提升系统的总体并发转码容量,降低服务器、存储、CDN、管理、网络等运营成本,并提升用户播放的体验;对热数据采取文件缓存和流媒体高复用策略,最大限度提升系统网络、计算和存储等资源的总利用效率,提升系统总体并发转码容量。

2)  自适应码率编码

根据播放者不同的接入终端及网速,智能动态调整码率,能够适应复杂、波动的无线网络。

3)  基于信息熵守恒的改进型H264视频编码技术

平台对H264编码技术进行了码率优化、码率压缩、编码性能、失真优化、色彩均衡等多个方面进行了全方位的优化,实现了独创的基于信息熵守恒的改进型H264视频编码技术。

  • 基于信息熵守恒的编码优化,消减264动态编码造成的码率波动,保持一个均衡的输出码流给播放器,并且对码率进行智能调配,使运动场景画质表现更优,更精准地适配波动网速;
  • 超压缩优化保证视频质量的同时大幅度降低数据流量;
  • 根据CPU处理能力的多线程H264智能编码,增强编码性能;
  • H.264多模式运动估计算法优化,将串行全搜索的运动估计算法改进为并行部分搜索的运动估计算法,提升20%以上编码性能;
  • H264视频流自适应率失真优化编码算法,提升50%以上失真优化性能;
  • H264帧内预算算法优化,提升编码性能;
  • 自适应色彩均衡算法优化。

4)  基于时移定位的实时转码播控

独创的基于时移定位的实时转码播控技术进一步提升用户的体验,能够提供暂停、继续、拖动、快进、快退等播控功能。在实时转码过程中,当用户拖动到某个位置时,能够根据拖动位置进行自动检索和断点下载,并且在同一个播放会话中无缝跳转转码,拖动响应快速,对用户完全透明,系统资源占用低。

业界唯一实现兼容电视机顶盒的快进、快退等实时转码播控技术。

5) 基于I/O优化的实时转码

基于源视频文件的数据索引分析与自动预测,减少实时转码过程中对源视频的seek操作,优化网络I/O性能,减少对源视频WEB服务器或CDN服务器的压力。

实现基于mp4的moov size预估算法,实现实时转码过程中一次I/O写就能输出快速播放的目标文件,减少I/O读写操作,提升视频文件实时转码的整体性能。

  1. 流媒体服务及关键技术

流媒体服务基于云分发技术实现,具备高吞吐量和高实时响应能力,支持大规模并发的点播和直播请求访问,根据客户所处地域、所应用业务和负载均衡策略选取最佳节点,保证提供就近快速服务。

流媒体服务具备全面的兼容能力,兼容传统机顶盒、安卓机顶盒等不同终端的接入,支持HLS、RTSP等多种视频流媒体协议。

流媒体服务具备高可靠性,在网络拥塞和节点或设备局部失效情况下,确保能得到有效节点服务响应。

  1. 存储服务及关键技术

支持对接和集成虚拟化存储资源,统一配置和管理存储资源和存储策略,满足海量文件分布式存储的需求,提供高效、可靠的存储服务。

为了提升存储服务的I/O吞吐量,平台在写入数据时,首先写入内存中,然后再批量从内存写入存储资源,并且尽量做到数据在集群内的不迁移,进一步减少I/O和网络资源消耗。

  1. 业务运营能力

平台具有统一的运维管理能力,包括权限管理、接入管理、内容管理、服务管理、转码管理、统计报表、监控告警等功能。

  1. 权限管理

业务运营系统设计全方位访问接入、权限管理,管理员能灵活管理各个用户接入准入、访问权限。

  1. 能统一管理平台上各种类型的权限、帐号分类管理 ,并可通过操作者的角色和特点灵活配置权限
  1. 系统功能(管理端)

实现通用权限管理和系统账户的分级管理功能。对用户的查询、添加、授权、修改、注销/启用、删除等功能权限进行分层管理。

  1. 查询功能

系统管理员可查询已建立的所有用户,可查看用户信息、所属机构、企业名称、职位、联系方式、备注资料、权限。

查询方式:可通过多种方式进行检索用户、查询。例如:用户名称、企业名称等。

  1. 用户管理功能

系统管理员可以添加、修改、删除普通管理员账户。

普通管理员可添加、修改、删除新用户。

  1. 权限分配

系统管理员可给普通管理员授权平台资源功能。

普通管理员可以对用户授权,可指定每个用户和每个可管理的平台资源之间的权限关系。

  1. 支持设置帐号异常登录、密码暴力破解的安全防范策略
    1. 接入管理

平台提供标准、开放、安全的业务接入接口,接入服务将任务提交给云调度。业务接入时需要申请业务密钥,利用密钥进行安全签名,才能访问接口。

  1. 内容管理

通过对媒体库的访问,按照业务要求、时间、空间、应用范围等多维度组合产生内容管理目录,并结合业务订购情况进行内容访问授权。

  1. 服务管理

对接入、控制中心、转码、流媒体、存储等服务进行全局的统一命名、配置管理、实时监控和全局调度,可以按照业务、区域和网络等进行部署,可以使用虚拟服务器、虚拟存储和虚拟网络等虚拟化资源,达到可伸缩、高弹性的云资源分配和调用。

  1. 转码管理

对实时转码、离线转码、缓存、截图、水印等各种任务类型模板进行配置和管理,并定义各种任务类型下的不同策略,提供给业务应用使用。

  1. 统计报表

实现多方位业务统计并通过报表、统计图输出。所有分析能输出多种表达形式和格式文件,包括但不限于:柱形图、饼状图、线形图、热力图等。

系统可预先定义常用统计维度,满足常规统计需求。预定义统计项包含:

  1. 全平台的细粒度数据访问与运营分析
  2. 全平台流量数据分析
  3. 全平台空间利用分析
  4. 全平台服务响应情况分析
    1. 监控告警

全面实时监控云平台各个层面的服务器、网络、服务、任务和数据,实现多层面、全程的监控、告警。

控制中心将任务执行过程中所有的日志按时间、模块、服务器保存成路径信息,当异常发生时,运维人员可以在异常路径界面中快速定位异常源及异常信息,方便快速排除故障。

当异常发生时,控制中心按策略分配新的服务资源重新执行任务,实现高效的自动化恢复处理。

返回顶部 | 返回列表

关于我们 | 招商招聘 | 联系我们

Copyright 2015 © 全球卫 All Rights Reserved. 版权所有 渝ICP备15000568号 技术支持:聚和为科技