社区反馈分析 · 心理学编码 · 可靠性评测

把分散的玩家表达
整理成可核查的产品线索

PsyLens 以《英雄联盟》海克斯大乱斗讨论为案例,展示公开反馈如何经过清洗、证据切分、 话题与体验机制编码,形成分析结果,并接受结构、偏差和复现检查。

从完整反馈到双层编码,保留每一步的判断对象

项目将“文本内容”和“体验解释”分开记录,使产品问题、心理机制与证据来源能够分别核对。

01

平台等额抽样

NGA、贴吧、B 站各保留 120 条样本,用于保证跨平台分析具有基本覆盖。

02

证据单元

完整反馈被切成可以独立判断的片段,927 条证据全部保留父样本编号。

03

双层编码

表层话题回答“在谈什么”,体验机制回答“为什么形成负面体验”。

04

质量评测

同时检查编号、文本回溯、重复、字段覆盖、平台差异与运行复现。

平衡、胜任体验与匹配归因构成主要分析线索

下列比例来自公开编码数据。具体话题与已分配机制分别以 441 条可明确分类的证据为分母。

61.2%

具体话题集中于平衡与数值

在 441 条具有具体话题的证据中,270 条指向英雄、装备、机制强度或数值改动。

69.8%

已分配机制以胜任受挫为主

在 441 条能够明确分配体验机制的证据中,308 条体现投入难以转化为有效表现或进步。

18.6%

匹配是第二大具体话题

82 条具体话题证据涉及队友质量、连胜连败、段位分配或对局匹配。

486

暂时保留为不确定的证据是校准重点

486 条证据的体验机制暂时保留为不确定。它们多为短文本、依赖上下文或存在多种解释,是标签边界校准的重点材料。

具体话题

排除 other_uncertain 后的分布

n = 441

数据加载中……

体验机制

排除 uncertain 后的分布

n = 441

数据加载中……

话题与机制组合后,产品问题更具体

平衡 × 胜任受挫138 条

机制适配、数值和角色作用感是最集中的具体组合。

平衡 × 公平受损35 条

部分反馈将强弱差异解释为规则或资源分配不合理。

匹配 × 胜任受挫22 条

队友、对手与阵容分配会影响玩家对自身有效行动的判断。

匹配 × 公平受损16 条

连胜连败和对局质量常被归因于系统控制或分配偏差。

沟通透明 × 信任落差13 条

说明不足、回应缺失和改动透明度形成稳定对应。

证据密度与编码来源会改变表面分布

平台样本证据每样本证据主要具体话题主要已分配机制
B 站1202321.93平衡、匹配、活动设计胜任受挫
NGA1203943.28平衡、匹配胜任受挫
贴吧1203012.51平衡、匹配胜任受挫

NGA 与贴吧主要保留历史 AI 编码,B 站采用离线规则提案;平台差异同时受到文本长度、切分粒度和编码来源影响。

用有限的体验类型描述体验方向,同时保留具体问题

机制层参考自我决定理论、公平判断、组织信任、社群归属与规范安全研究。每种体验类型都转化为可观察的文本判据。

胜任受挫

玩家感到难以理解、有效行动或看到投入结果。常见于角色适配、难度、任务和团队协作。

competence frustration

公平受损

玩家把负面结果归因于匹配、规则、数值或资源分配不合理。

fairness threat

信任与沟通落差

公告、解释、反馈回应或承诺执行不足,削弱玩家对运营方的信任。

trust & communication gap

归属感下降

玩家与游戏、社区或身份群体之间出现疏离和退出倾向。

belonging drop

规范与安全风险

外挂、辱骂、骚扰、误封和举报无效等问题影响参与秩序与安全感。

norm & safety risk

暂时保留为不确定

文本过短、依赖上下文或同时指向多个机制时保留 uncertain,避免牵强分类。

uncertain
分析原则

先判断证据是否独立,再分别编码具体话题与体验机制。交叉组合用于提出可验证的产品问题,再由问卷、访谈、行为日志或实验继续检验。

查看心理学框架与参考文献 →

每一步都对应明确的输入、操作和质量检查

工程实现被整理成八个可理解的分析步骤,公开数据只保留复现与解释需要的字段。

  1. 01

    候选讨论登记

    按平台、主题和时间窗形成候选清单,避免只从单一热帖取样。

    输出:候选帖子表
  2. 02

    页面与回复采集

    保存原始文本与必要上下文,缓存和登录信息留在本地环境。

    输出:原始缓存
  3. 03

    规则预清洗

    删除回复头、引用残留、图片路径和多余空白,移除清洗后为空的记录。

    检查:文本非空
  4. 04

    内容筛选

    排除纯标记、极短噪声、离题文本和缺少体验信息的纯攻击表达。

    检查:可解释性
  5. 05

    平台等额抽样

    三个平台各保留 120 条,并记录时间窗、粗主题和回复类型。

    检查:3 × 120
  6. 06

    公开脱敏

    移除来源链接、账号定位字段,屏蔽联系方式与文本内链接。

    检查:URL 为 0
  7. 07

    证据切分与双层编码

    按标点切分独立片段,记录表层话题、体验机制、编码来源和纳入状态。

    输出:927 条证据
  8. 08

    结构与分布审计

    检查编号、父样本、文本回溯、重复、字段覆盖、证据密度与标签分布。

    检查:回溯率 100%
两种不确定性需要分开

486 条 `mechanism_label=uncertain` 表示机制暂时无法明确归类;163 条 `included_flagged_uncertain` 表示证据纳入时需要提醒。两者含义不同,分别统计。

查看字段与清洗细则 →

评测对象覆盖数据、编码、结论链路和运行过程

项目把“结果看起来合理”拆成可检查的条件,避免用单一总分掩盖错误来源。

A

结构完整性

编号唯一、父样本存在、平台一致、文本可定位。

当前:全部通过
B

清洗与隐私

字段白名单、URL 扫描、重复组、空值和文件哈希。

当前:URL 0,重复组 0
C

编码可用性

合法标签、不确定比例、相邻标签边界和编码来源差异。

当前关注:486 条保留类别样本
D

分析支撑

结论引用具体证据,同时报告平台、样本量与分母。

当前:页面结果均由公开数据计算
E

运行复现

相同输入生成一致输出,文件校验记录与文件哈希对应。

当前:Ubuntu / Windows CI 运行
样本编号360 / 360

无重复

证据编号927 / 927

无重复

父样本关联927 / 927

孤立证据为 0

文本定位100%

证据可回到公开样本

自动校准工具

仓库提供分层抽样、三路独立复检、共识统计和争议分析工具。三个代理互不查看彼此结果,各自独立判断。

工具输出共识标签、争议标签和重复运行稳定性。本地固定示例用于验证数据流、输出格式和统计流程。这些结果定位为自动校准参考,人工金标准另行建立。

查看评测框架 →

从一段原文进入话题与机制判断

证据文本逐字来自公开脱敏样本,并保留父样本与平台信息。

匹配机制就导致了一旦你连胜或者连败,要把你近期胜率“拉”回五十接下来就会反向连胜连败
匹配与对局分配 · 公平受损 NGA · 历史编码

当前比例用于探索与方法审计

编码分布用于审视方法表现、发现分析线索。这些比例反映当前样本的整体分布,适合用于探索。

  • 等额样本用于跨平台对照,平台的真实讨论规模另行说明;
  • 证据数量同时受到原文长度和切分粒度影响;
  • 日期字段覆盖 120 / 360 条样本,时间趋势在日期覆盖扩展后启用;
  • 产品方向由访谈、问卷、行为日志或实验继续检验。

用少量脱敏反馈复现分析链路

Demo 在本地生成证据、草稿洞察、产品假设与评测报告。默认使用本地固定示例模式,不联网,也不读取密钥。

  • 相同输入与配置生成一致产物
  • 输出写入独立 artifacts 目录
  • 包含 JSON、Markdown、HTML 和文件校验记录
运行命令
python tools/run_demo.py
查看 Demo 说明 →

数据、方法与完整项目说明