13665.基于用户体验的移动网络质量白皮书(2020年)-信通院-202005.pdf
《13665.基于用户体验的移动网络质量白皮书(2020年)-信通院-202005.pdf》由会员分享,可在线阅读,更多相关《13665.基于用户体验的移动网络质量白皮书(2020年)-信通院-202005.pdf(41页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、 基于用户体验的移动网络基于用户体验的移动网络质量白皮书质量白皮书 (20202020 年)年) 中国信息通信研究院中国信息通信研究院 20202020年年5 5月月 版权声明 版权声明 本白皮书版权属于中国信息通信研究院,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明“来源:中国信息通信研究院” 。违反上述声明者,本院将追究其相关法律责任。 本白皮书版权属于中国信息通信研究院,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明“来源:中国信息通信研究院” 。违反上述声明者,本院将追究其相关法律责任。 前 言 前 言 移动网络是信息社会的基础设施
2、,需要确保其网络质量稳定高效。2019 年,全国 4G 用户数已达 12.8 亿户,移动用户手机上网比例高达 99.1%,移动网络已渗透到日常生活的方方面面,人们对网络质量及用户体验的要求越来越高。在国内“提速降费”政策指引下,运营商也普遍重视提升网络质量以吸引用户。然而,运营商传统的网优测试普遍关注于网络覆盖率、吞吐量等宏观性能指标,在众多实际场景下, 这些优越的传统指标并不能代表良好的用户体验。需要从用户日常业务体验出发,开展基于用户体验的移动网络质量评测研究。 按照工信部、国资委关于开展深入推进宽带网络提速降费 支撑经济高质量发展 2019 专项行动的通知 (工信部联通信201994 号
3、) 部署要求, 切实推动移动网络质量提升, 不断改善用户体验,中国信息通信研究院泰尔实验室在工业和信息化部信息通信发展司委托和指导下,组织专业评测团队在全国范围内首次了开展基于用户体验的移动网络质量专项评测。 本白皮书总结了基于用户体验移动网络质量评测的重要性及国内外研究现状,分析梳理了评测体系涵盖的典型评测业务及关键性能指标,研究了评测数据的统计分析及综合加权模型,重点阐述了本次移动网络质量专项评测的相关情况,包括:评测场景、评测方 案、评测排名展示、数据分析对比及原因剖析,最后结合本次评测给出合理化政策建议,指出定期开展基于用户体验网络质量专项评测的重要性。 本白皮书旨在为基于用户体验的移
4、动网络质量评测在国内的发展提供建议和参考,也欢迎各方专家一起加入到相关研究工作中。 目 录 目 录 一、总述 . 1 二、基于用户体验的移动网络质量评测体系 . 3 (一)评测体系建立基本原则 . 3 (二)评测业务及关键指标 . 4 (三)评测数据的加权合成模型 . 7 三、基于用户体验的移动网络质量专项评测 . 10 (一)评测方案 . 10 1.评测场景 . 10 2.评测指标 . 15 3.评分模型 . 16 (二)现场测试 . 17 (三)评测结果 . 18 (四)评测数据分析 . 23 1.场景间横向对比 . 23 2.原因剖析 . 24 四、后续政策建议 . 27 附录一:基于用
5、户体验的移动网络质量评测发展现状 . 29 (一)国外发展现状 . 29 (二)国内发展现状 . 30 图 目 录 图 目 录 图 1 评测体系涵盖各类用户典型应用 . 4 图 2 评测数据分级加权示意图 . 8 图 3 全国十大高铁站测试分布图 . 11 图 4 北京市十大高校测试分布图 . 12 图 5 上海市十大地铁线路测试分布图 . 13 图 6 广州市十大医院测试分布图 . 14 表 目 录 表 目 录 表 1 全国十大高铁站测试名单 . 11 表 2 北京市十大高校测试名单 . 12 表 3 上海市十大地铁线路测试名单 . 13 表 4 广州市十大医院测试名单 . 14 表 5 移
6、动网络质量专项评测指标 . 15 表 6 评分模型的三级加权 . 16 表 7 全国十大高铁站网络质量综合排名 . 19 表 8 北京市十大高校网络质量综合排名 . 20 表 9 上海市十大地铁线路网络质量综合排名 . 21 表 10 广州市十大医院网络质量综合排名 . 22 基于用户体验的移动网络质量白皮书(2020 年) 1 一、 总述 起步于 2G/3G 时代,繁荣于 4G 时代,移动互联网如今正飞速迈入 5G 时代。随着各类 App 应用层出不穷,移动互联网已渗透到普通群众日常生活的方方面面。工业和信息化部发布的2019 年通信业统计公报中指出:2019 年全国移动互联网接入数据流量消
7、费高达1220 亿 GB,相比 2018 年增长 71.6%,单用户月均数据流量(DOU)高达 7.82GB,是 2018 年的 1.69 倍,12 月当月 DOU 高达 8.59GB/户/月,位于全球前列。 移动互联网在重塑人们生活方式的同时, 也在潜移默化地改变着人们的思维和行为习惯。 用户体验满意度已成为衡量网络质量优劣的最重要指标。 习近平总书记在全国网络安全和信息化工作会议中指出:网信事业发展必须贯彻以人民为中心的发展思想, 把增进人民福祉作为信息化发展的出发点和落脚点, 让人民群众在信息化发展中有更多获得感、幸福感、安全感。2019 年 4 月,工信部、国资委联合印发关于开展深入推
8、进宽带网络提速降费 支撑经济高质量发展 2019专项行动的通知 (工信部联通信201994 号) ,文件要求:推动移动网络扩容升级,满足人民群众日益增长的流量需求,不断改善移动用户上网体验。 为了保证移动网络质量的持续、稳定、高效,需要建立完善相应的移动网络质量评测体系和测试方法, 其意义在于: 从社会需求角度,电信网络是信息社会的基础设施,优质的网络覆盖是工业互联网、车联网等新兴产业发展的前提条件和必要基础;从政府需求角度,需要基于用户体验的移动网络质量白皮书(2020 年) 2 一种有效手段把控网络质量整体动向, 不断督促电信运营商持续优化网络;从群众需求角度,人们对网络质量及用户体验的要
9、求和关注度越来越高,但缺乏专业权威渠道获取相关评测信息;从运营商需求角度,在国内“提速降费”等相关政策指引下,运营商的关注重点正逐渐过渡到比拼更为优质可靠的网络服务。 目前,常规的移动网络评测普遍关注于网络覆盖率、信号强度、吞吐量等宏观性能指标。然而大量现实案例和统计数据表明,这些网络侧性能指标的优越往往不代表良好的用户体验。 亟需从用户侧日常业务体验出发,研究基于用户体验的移动网络质量评测体系,并定期开展专项评测。 基于用户体验的移动网络质量白皮书(2020 年) 3 二、基于用户体验的移动网络质量评测体系 本章首先分析了基于用户体验网络质量评测体系建立的基本原则,并以此为依据梳理了各项典型
10、评测业务及其关键指标要求。评测业务涵盖用户日常生活的各方面应用,包括话音业务、数据业务、视频业务以及其他典型应用业务(如即时通信、在线游戏等) 。网络质量评测需要综合各种典型环境、各类典型应用及其关键指标,对相关测试结果进行综合分析以给出整体评分结果。对此,本章的第三小节分析研究了评测数据的加权合成模型。 (一)评测体系建立基本原则 (一)评测体系建立基本原则 评测体系从用户侧出发, 以客观反映待测网络的真实用户体验为目标,在评测体系及后续测试方案中需要遵循如下原则: 1) 感知客观。最终用户业务使用感知测试而非网络性能,不区分网络制式,以反映实际网络环境下真实的用户体验。 2) 场景真实。从
11、普通用户视角设计测试场景和测试用例,采用市场主流手机终端评测用户日常使用的话音、数据、视频等应用业务。 3) 评分科学。合理规划各项评测指标的权值占比,根据用户使用习惯的改变定期迭代调整评分算法。 4) 公平性。 网络质量评测有时会涉及同一场景下不同运营商间,或者不同场景间的对比。此时应尽量保证时间、地点、评测用例以及设备状态的一致。 基于用户体验的移动网络质量白皮书(2020 年) 4 5) 公开性。 评测体系的建立应广泛听取电信运营商、 业内厂商、研究机构以及广大用户的意见和反馈,各方共同努力,起草完善相关行业标准。 6) 公正性。 评测结果通常具有一定的社会影响力和用户关注度,可能会对政
12、府主管部门、电信运营商、评测场景业主等各相关方产生积极或稍负面的影响。因此,推荐委托行业内第三方权威检测机构开展评测,以保证结果的公正性。 (二)评测业务及关键指标 (二)评测业务及关键指标 为客观评估移动网络质量,真实反映用户体验。评测体系需从用户使用习惯出发,涵盖用户日常各类业务应用,包括话音业务、数据业务、视频业务、以及其他典型业务应用(例如即时通信类应用、在线游戏等) 。同时为方便量化分析,需进一步提炼出各类业务的关键指标。 来源:中国信息通信研究院 图 1 评测体系涵盖各类用户典型应用 基于用户体验的移动网络质量白皮书(2020 年) 5 话音业务: 此处是指由运营商提供的端到端语音
13、通话业务, 既包含 2G/3G 的电路域通话,也包含 4G VoLTE 的分组域通话,但不包含诸如 Skype之类的网络通话。话音业务的大致流程为一端发送请求、建立连接、保持通话、结束通话。其中与用户体验相关的关键指标包括: 接通率,是指用户正常发起语音呼叫直至成功建立通话连接的概率。 掉话率,是指用户在成功建立通话连接后由于各种网络原因通话意外中断的概率。 呼叫建立时间,是指从用户端发起呼叫请求至接收到通话成功建立的反馈信息两者间的等待时长。 话音质量,一般用 MoS 值表示,反映用户通话体验的直观感受, 通常 5 分代表理想状态, 1 分代表质量恶化到难以忍受。目前国际上有多种评测算法,较
14、权威的是 ITU-T P.863 标准中推荐 POLQA 算法。 数据业务: 随着移动互联网产业的蓬勃发展和提速降费一系列政策的指引,数据业务异军突起。数据业务涵盖的范畴较广,通常选用网页浏览、FTP/HTTP 文件上传下载、软件测速等典型应用进行评测。其中与用户体验相关的关键指标包括: 基于用户体验的移动网络质量白皮书(2020 年) 6 网页访问成功率,是指用户通过终端浏览器与网站服务器建立连接,并在规定时间内下载完成指定大小数据包或全部数据的概率。 评测网页应尽量选取 5-10 个用户常用的主流网页。 网页首屏响应时间,是指从用户发出获取网站数据请求至接收到该网站返回的数据能够占满用户终
15、端屏幕的等待时长。 文件上传/下载成功率,是指用户通过 FTP、HTTP 等方式与远端服务器建立连接,在规定时间内完成指定大小文件上传/下载的概率。 文件上传/下载耗时,是指从用户端发起连接请求至上传/下载完成指定大小文件的所用时间。 上传/下载速率,是指用户与远端服务器建立连接后,在规定统计时间内上传/下载的数据总量与统计时间之比, 其单位为Mbps。也可用主流测速软件完成此指标的评测。 视频业务: 视频业务大致可分为点播和直播视频两类。 考虑到点播视频能够在网络质量好的环境下提前加载缓存,建议评测时选用直播视频。其中与用户体验相关的关键指标包括: 视频播放成功率,是指视频连接成功建立并持续
16、播放规定时长的概率。 首帧响应时间,是指从用户发起视频播放请求到评测终端首次出现视频影像的等待时间。 基于用户体验的移动网络质量白皮书(2020 年) 7 卡顿次数,是指在规定时间内,视频播放过程中出现的卡顿等待缓冲的次数。 视频播放质量,一般用 VMoS 值表示,反映视频播放过程中用户的直观感受,是视频清晰度、卡顿、分辨率、抖动延时等因素的综合度量,相关评估算法推荐参考 ITU-T J.341。通常 5 分代表理想状态,1 分代表质量恶化到难以忍受。 其他典型业务应用: 移动互联网业务层出不穷,渗透到用户生活的方方面面。例如,即时通信类应用(国内的微信、国外的 WhatsApp) 、在线游戏
17、(王者荣耀、和平精英)等对操作响应速度、卡顿、延时等指标比较敏感。未来 5G 的各类典型应用场景也对评测指标提出了新的要求,例如海量并发连接数、高可靠性、低时延等关键性能指标。评测体系需要根据实际网络环境和用户使用习惯的改变不断做出相应调整。 (三)评测数据的加权合成模型 (三)评测数据的加权合成模型 通常对上述各指标评测数据的统计采用平均值的方式, 但平均值会掩盖测试样本中“好点”和“坏点”两类典型数据,在某些情况下不利于分析对比和故障排查, 此时亦可根据需要选用概率累积分布图中 90%或 10%位置的样本值。 各指标的原始评测数据其单位各不相同,有百分比、MoS 值、时间单位(ms) 、速
18、率单位(Mbps)等。在进行加权合成和综合评分前,需要分别建立映射函数, 将各项指标的测试结果转化为统一尺度下的分值,一般是 5 分制或百分制。映射函数可以是线性函数,也可以是基于用户体验的移动网络质量白皮书(2020 年) 8 非线性函数或分段映射函数, 需要结合评测指标自身特性和评测需求进行合理选择。 进一步,需要对各项统计数据进行加权合成,以得到网络质量的整体评分结果。权值的设置直接影响到最终的综合评分,需要结合实际慎重考虑。可参照下图的方式,建立评测场景、评测业务、评测指标的三级加权体系。在某些情况下,需要综合评测特定场景下多网络(例如不同电信运营商、移动网络和 WIFI)的整体网络质
19、量,此时可在第一级和第二级间添加一级网络加权。 综合评分综合评分评测场景1评测场景2评测场景N评测业务1评测业务2评测业务M评测指标1评测指标2评测指标K第一级第二级第三级第一级第二级第三级来源:中国信息通信研究院 图 2 评测数据分级加权示意图 1) 根据评测场景划分第一级权值。对于网络质量的整体评测首先需要划分不同场景,不同场景下用户使用习惯不同,相应基于用户体验的移动网络质量白皮书(2020 年) 9 的评测业务及其权值也会不同。例如对一个国家整体网络质量的评测可分为中心城市、一般规模城市、乡村、道路,并为每个场景设计不同的评测方案;即使小到对某个具体场馆的评测,也可依据其功能区域划分不
20、同评测场景。 2) 根据评测业务划分第二级权值。根据当前场景下用户的使用习惯合理配置不同的业务占比。例如对于城市中心区域和乡村两个场景,前者的数据业务占比应适当高于后者。 3) 根据评测指标划分第三级权值。不同的评测业务背后由各项关键评测指标来支撑,例如话音业务,其评测指标包括掉话率、接通率、等待时间、话音质量等。为推广普及 VoLTE 对话音质量的提升,可适当提高话音质量的权值占比。 将各评测指标的单项得分按照图 2 中的三级体系自下而上逐级加权,最终即可得到反映整体网络质量的综合得分。 基于用户体验的移动网络质量白皮书(2020 年) 10 三、基于用户体验的移动网络质量专项评测 按照工信
21、部、国资委关于开展深入推进宽带网络提速降费 支撑经济高质量发展 2019 专项行动的通知 (工信部联通信201994号)部署要求,切实推动移动网络质量提升,不断改善用户体验,中国信息通信研究院泰尔实验室于 2019 年组织专业评测团队共历时 5个月,在全国范围内开展了基于用户体验的移动网络质量专项评测。 本次评测与以往相比,着重从用户真实体验角度出发,评测指标选择用户日常的话音、数据和视频业务,对群众日常接触密切和普遍关心的四类典型场景(全国十大高铁站、北京市十大高校、上海市十大地铁线路、广州市十大医院)进行现场评测。评测结果以反映该场景移动网络质量的总体情况为目的,对移动、联通、电信三家运营
22、商的评测结果综合后进行整体打分, 并以此为依据对每个场景下的十名个体进行比对排名。 部分排名结果已于 2019 年 11 月在中国国际通信展对外公布,收到了良好的社会反响。 总体来看,各重点场景 4G 网络质量较好,VoLTE 网络覆盖逐步完善, 话音质量清晰; 数据下载和上传速率分别总体稳定在30-60Mbps和 10-20Mbps 范围内,部分场景的下载速率可达到 200Mbps;高清视频播放基本流畅,卡顿现象少有发生。但也存在个别场景和时段网络质量下降的情况。 (一)评测方案 (一)评测方案 1.评测场景 基于用户体验的移动网络质量白皮书(2020 年) 11 中国信息通信研究院与各省市
23、通管局和电信运营商密切讨论, 结合场景典型性和用户关注度,在全国范围内按照“1+3”模式挑选了四大典型场景全国十大高铁站、北京市十大高校、上海市十大地铁线路、广州市十大医院。 表 1 全国十大高铁站测试名单 序号序号 评测高铁站评测高铁站 所属省份所属省份 1 广州南站 广州 2 上海虹桥站 上海 3 南京南站 江苏 4 杭州东站 浙江 5 长沙南站 湖南 6 北京西站 北京 7 武汉站 湖北 8 郑州东站 河南 9 济南西站 山东 10 石家庄站 河北 来源:中国信息通信研究院 来源:中国信息通信研究院 图 3 全国十大高铁站测试分布图 基于用户体验的移动网络质量白皮书(2020 年) 12
24、 在现场评测中,各高铁站挑选候车厅和出站通道两个典型细化场景。在最终的评分模型中,各细化场景的网络质量在该车站整体评分的占比为 1:1。现场评测时间尽量贴近人流量密集时段。 表 2 北京市十大高校测试名单 序号序号 评测高校评测高校 序号序号 北京高校北京高校 1 清华大学 6 北京科技大学 2 北京大学 7 北京邮电大学 3 中国人民大学 8 北京外国语大学 4 北京航空航天大学(沙河校区) 9 北京工业大学 5 北京师范大学 10 北京交通大学 来源:中国信息通信研究院 来源:中国信息通信研究院 图 4 北京市十大高校测试分布图 在现场评测中,各高校挑选教学楼、宿舍楼和食堂三个典型细化场景
25、。在最终的评分模型中,各细化场景的网络质量在该高校整体评基于用户体验的移动网络质量白皮书(2020 年) 13 分的占比为 1:1:1。 表 3 上海市十大地铁线路测试名单 序号序号 评测线路评测线路 序号序号 评测线路评测线路 1 1 号线 6 8 号线 2 2 号线 7 9 号线 3 4 号线 8 10 号线 4 6 号线 9 12 号线 5 7 号线 10 13 号线 来源:中国信息通信研究院 来源:中国信息通信研究院 图 5 上海市十大地铁线路测试分布图 在现场评测中, 各地铁线路挑选往返线路的地下部分和一个典型站台共两个细化场景。在最终的评分模型中,上述细化场景的网络质量在该地铁线路
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 13665. 基于 用户 体验 移动 网络 质量 白皮书 2020 信通院 202005
限制150内