Patch Notes Comprehension Lab

版本公告可理解性实验

把“玩家有没有看懂公告”从感觉,拆成能测试、能导出、能复盘的流程。

我做了一个浏览器实验原型:同一套游戏更新写成不同公告,让参与者阅读、作答,再用脚本生成结果图。

浏览器实验原型 2×2 材料设计 Demo 分析链路
同一内容,两种写法 demo
原文罗列
摘要先行
4材料条件
3类理解指标
本地数据导出
v0.1 pilot 图表基于 demo 数据 不代表真人实验结论 数据默认本地导出

问题

为什么这个问题值得做

版本公告不是“发出去就完了”的文本。玩家后面的配装、付费、回流、对线讨论,很多都建立在对公告的第一轮理解上。

麻烦在于:玩家可能觉得自己看懂了,但数字、条件、限制范围已经记岔。这个项目要测的就是这层差异。

1 分钟

1 分钟看懂这个项目

从材料到图表,项目故意做成一条能复跑的链路。

1

改写公告

同一套更新内容,做成原文罗列、摘要先行等不同版本。

2

浏览器作答

参与者读材料,回答大意、细节和下一步判断题。

3

记录行为

记录阅读时长、是否展开全文、主观难度等辅助指标。

4

导出成图

本地导出数据,用分析脚本生成固定格式的汇总图。

结果图

先看两张最关键的图

这里使用 demo 数据,只展示分析链路和图表形态,不当作真人实验结论。

一句话结论:先判断“大意有没有抓住”,否则细节分数很难解释。

要点理解

要点理解示例图

用于看参与者是否抓住公告主旨,以及不同材料写法下的差异。

一句话结论:细节错误主要暴露数字、条件、上限这类信息是否被记岔。

细节理解

细节理解示例图

用于区分“知道大概意思”和“真正记住规则细节”。

误读类型
误读类型分布示例图

把错题继续拆开,看看是数值误读、条件误读,还是对象范围读错。

主观量表
主观量表均值示例图

把“读起来累不累”和“下一步清不清楚”放在一起看。

继续阅读行为
继续阅读行为示例图

比单问“你看完了吗”更具体:看是否真的展开全文或继续阅读。

场景

它适合解决什么问题

不是所有公告都需要做实验。适合的是误读成本比较高的内容。

平衡与机制公告

改动密、术语重,玩家容易只记住“削了”或“加强了”。

活动与奖励说明

时间窗、领取条件、付费路径混在一起时,最容易读错。

赛季与回流规则

段位、模式、资格条件读错,会直接影响玩家决策和客服压力。

改版前后对照

同一内容换写法后,可以比较理解、错法和继续阅读行为有没有变化。

依据

这个实验为什么能测到问题

设计重点不是“问玩家喜不喜欢”,而是把理解拆成几个可观察的层次。

大意和细节分开

先看是否抓住主旨,再看数字、条件、范围是否记对。

同内容不同写法

控制更新内容不变,比较结构和措辞带来的理解差异。

行为和自评一起看

阅读时长、展开全文、主观难度,能帮助解释答题结果。

本人工作

我具体做了什么 / 这个项目体现了哪些能力

我具体做了什么

  • 把“玩家读没读懂公告”拆成大意、细节、误读类型和阅读行为。
  • 设计 2×2 材料条件,并整理游戏更新文本的改写版本。
  • 实现浏览器里的实验流程,包括说明、阅读、作答和本地导出。
  • 写 demo 数据构造与分析脚本,生成固定格式的结果图。
  • 整理公开数据边界,区分 demo、匿名汇总和不公开的原始会话。
  • 把原型、图表和说明整理成这个公开展示页,方便面试官快速检查。

能看出的能力

  • 能把模糊的运营问题转成可测试的问题。
  • 能兼顾文案、实验设计、前端流程和数据分析。
  • 知道什么结论能说,什么只能作为 pilot 或 demo 展示。
  • 能把过程做成可复跑链路,而不是只给一张漂亮图。

边界

阶段与边界

当前阶段:v0.1 pilot。目标是先跑通实验流程、材料、导出和出图链路。

数据边界:本页图表基于 demo 数据,不代表真人实验结论。公开仓库只放代码、材料、demo 数据和可公开的汇总产物。

后续方向:样本量足够后,再用真实会话数据重跑分析,并更新公开页中的结果说明。