现代客户端数字媒体
客户端泛指大前端,主要指浏览器,移动端App和现代桌面端软件。 为了适应现代客户端对大量图像和各种可视化的需求,业界需要优秀的开源数字媒体格式,减少授权成本, 在尽量无损的前提下使得数字媒体体积最小化,同时兼顾编码、解码速度,减小网络传输带宽占用和处理器的压力。 该格式必须有高效的软解,最好能够被硬解。
图像领域
现代客户端中较普及的矢量图格式为 svg (Scalable Vector Graphics) 可缩放矢量图形,基于可扩展标记语言XML开发,由W3C制定, 是一个开放标准。数据未压缩,故较同类格式体积稍大,常用于图标和Logo等,普及度良好。
位图格式第一个要说的就是TIFF(Tagged Image File Format),当前标准为TIFF 6.0,是图形图像处理中常用的格式。
jpeg(Joint Photographic Experts Group)是由国际标准组织(ISO)和国际电话电报咨询委员会(CCITT)为静态图像所创建的第一个国际数字图像压缩标准,也是至今一直在使用的、应用最广的有损图像压缩标准。由于JPEG是有损压缩,会产生迭代有损,在重复压缩和解码的过程中会不断丢失信息使图像质量下降。
无损压缩最普及的格式当然是png (Portable Network Graphics ),现行版本是ISO/IEC 15948:2003,并在2003年11月10日作为W3C建议发布。PNG8和PNG24后面的数字则是代表这种PNG格式最多可以索引和存储的颜色值。8代表2的8次方也就是256色,而24则代表2的24次方大概有1677万色以上。Mozilla 社区推出带有动画支持的APNG(Animated Portable Network Graphics)用来取代gif,获得了苹果、谷歌、微软的支持。
目前,传统的图片格式已经没有太多可以优化的空间,而 Google 推出 WebP 格式在图片压缩方面有了新的突破。目前也有越来越多的互联网企业开始使用 WebP,YouTube 的视频略缩图采用 WebP 后,网页加载速度提升了 10%;Google Chrome 应用商店采用 WebP 后,每天可以节省几 TB 的带宽,页面加载时间减少了30% 左右。
音频领域
AAC(Advanced Audio Coding)高级音频编码,是一种专为声音数据设计的文件压缩格式。与MP3不同,它采用了全新的算法进行编码,相对于mp3,AAC格式的音质更佳,文件更小,是一种比mp3更好的有损压缩,已经得到了广泛的支持,除了在线音乐外也常用于视频中数字电视和网络视频。
Opus是一种开源的有损压缩音频格式,由IETF提出,Opus压缩率优于AAC,使用上没有任何专利或限制。然而实际应用很少。
随着对品质的追求,Lossless Encode无损压缩编码的应用愈加广泛,FLAC (Free Lossless Audio Codec)编码压缩后不会丢失任何信息,是目前最流行的无损音频编码,获得了广泛的支持,带宽消耗较多。
视频领域
视频格式和视频编码解码的技术不直接关联,视频格式相当于容器,常见的视频格式包括MP4、MKV、WebM等, 而编解码方案则是压缩方式,包括视频编码和音频编码,通过封装格式将字幕等打包起来。
开放媒体联盟(AOM,Alliance for Open Media)推出 AV1 是一种基于区块编码的频率变换格式,现在AOM的成员已经涵盖了Amazon、Cisco、Google、Intel、Microsoft、Mozilla、Netflix、AMD、ARM和 NVIDIA,它成立的目的是为互联网和其他市场创建一个开源的视频编解码器,AV1相对现在的主流编码格式VP9和HEVC/H.265有20%以上的提升,而且免除了专利费和反垄断的麻烦。