课程简介
逐字稿来源状态:公开课程描述页无可用完整带时间戳字幕;未使用登录、cookies 或付费访问。
已接入 1 项外部逐字资料,可在相应语言标签中查看。
Product Analytics and AI|分析如何改变下一次产品决策
已获用户批准接入 · 来源范围见本文说明。
从任务开始定义指标
公开四模块涵盖客户、需求、UX、数据科学与 AI;目录包含实验设计、漏斗、队列和 A/B 测试。本笔记不复述未获取的视频内容,下列分析方法与例子为原创学习练习。
指标应回答一个准备采取行动的问题。若问“课程导航是否帮助人找到目标资料”,总访问量不够。可以先定义任务成功的可观察事件,再记录路径、失败点和时间。不要只把埋点数量当分析质量;同一个事件名称也需要版本、触发条件和去重规则。
原创指标示例
把“进入课程页”“打开目标阅读”“确认找到内容”区分开。阅读链接点击只能证明打开动作,不能证明找到了正确内容。若没有可靠成功信号,应明确写为代理指标,并用任务观察验证。分母也要明确:所有访客、执行该任务的人、还是已经进入阅读的人?不同分母回答不同问题。
队列分析应保持起始条件一致。例如比较首次使用者七天内是否返回,不能把使用时间长短不同的人直接混合。这里的七天只是练习窗口,不是课程推荐标准。返回也可能是再次遇到障碍,仍需定性解释。
因果与实验
一次导航改版后成功率上升,可能是用户群或资料变化造成的。若做对照试验,要先确定单位、分配方式、主要观察和停止条件,再检查组间是否可比。小样本无法支持稳定的总体结论;不要凭偶然波动增加确定语气。
AI 的产品角色
把“用 AI”写成具体任务,例如推荐阅读还是起草摘要。先设质量观察,再谈实现:是否引用正确来源?用户能否判断不确定性?错误是否可修复?模型输出速度和数量不能代替有用性。生成式工具可帮助产生候选访谈问题,但它模拟的回答不是用户证据。
原创实践
写一个事件字典,至少列出触发、单位、去重和失败记录;再为一个指标列出两种相反解释;最后设计一次能区分解释的观察。审核尤其检查:是否把代理指标当结果,是否把相关性当因果,是否虚构了实验数字。
事件、分母与代理指标:一个能落地的小表
以下接续原创继续阅读案例。事件定义是拟议设计,不代表已经上线或采集。
| 事件 | 触发条件 | 单位与去重 | 回答的问题 |
|---|---|---|---|
| course_view | 课程首页在前台呈现 | 每次访问会话一次;同会话刷新不再计 | 有多少访问机会 |
| resume_exposed | 确有有效标记,继续入口实际呈现 | 每会话每标记版本一次 | 入口是否被展示给可用者 |
| resume_opened | 从继续入口跳转到指定阅读 | 每会话首次打开计转化,其他保留明细 | 展示后是否被使用 |
| target_found_confirmed | 受试者在任务观察中确认位置正确 | 每次观察任务一次,关联任务编号 | 任务是否真的成功 |
| resume_target_missing | 记录指向不存在的稳定单元 ID | 每会话每失效 ID 一次 | 内容变更是否破坏路径 |
定义必须让开发和研究可以复核。仅在后台预渲染页面不能算前台呈现;重复点击不应把人数指标抬高;最后两项来自不同采集方式,不能未经映射就混成一个漏斗。实际部署前还需要决定会话定义和隐私最小化,不能默认用永久个人标识串联所有行为。
同一数据怎样得出不同数字
用纯模拟数字说明分母:100 次课程页会话中,40 次具备有效标记并展示入口,20 次打开继续入口。总体打开率是 20/100=20%;在入口已展示条件下的打开率是 20/40=50%。前者混入未具备标记的人,后者回答展示后使用,两者都不是任务成功率。
另有一次独立任务观察:10 次尝试中 7 次确认位置正确。这是该研究样本的 70%,不能和上述会话直接联结,也不能推出总体用户成功率。若观察参与者都是熟练用户,结果还可能高估新用户表现。
可执行推理
如果 resume_opened 下降,先检查展示次数、有效标记数与失效记录,不立刻改按钮。若曝光相同但打开下降,可考虑需求变化或标签理解;若打开相同而任务观察出现更多错误位置,应检查记录语义和内容变更。每一步都保持多个解释,让下一次观察决定,而不是从一个曲线直接认定原因。
AI 辅助的边界
可让生成式工具列出事件命名冲突或检查定义是否遗漏失败状态,再由团队核查。不能让工具生成“用户会喜欢”的假访谈作为数据。若将摘要加入继续入口,应另外观察摘要来源准确性与误导风险,不能沿用“入口点击率”证明摘要质量。
来源到论点的映射
| 实际读取的来源部分 | 本文可追溯论点 | 证据边界 |
|---|---|---|
| 官方四模块目录与视频条目标题 | 客户、需求、UX 与 AI;含实验、漏斗和 A/B 测试主题 | 只确认范围,不确认视频内结论 |
| 可用性测试计划网页 | 任务观察是可用性研究的公开补充方法 | 不支持本文所有统计推理;事件表和数值全部原创 |
来源链接见下节。表格只表达公开正文能够支持的范围;其余情境、程序、指标设计和推理均为学习者原创。
来源与边界
依据公开目录与教师公开教学网页撰写。未获取完整课堂视频、评分作业正文或字幕;不具备逐讲覆盖证据。课程材料不可分发,原文仅外链。原创例子与练习不代表官方案例、结论或评分要求。
漂亮的增长曲线能回答什么
已获用户批准接入 · 来源范围见本文说明。
课程页点击量翻了一倍,团队很高兴。可是如果用户因为找不到资料而反复跳转,曲线可能显示的是摩擦增加。这个原创情境说明:先知道想帮助用户完成什么,再决定怎样解释增长。
以查找一篇阅读为例,页面访问、链接打开和任务完成是三种观察。我们经常只有前两种,就把它们当第三种。更诚实的做法是承认它们是代理指标,再抽样观察任务,看看代理与真实结果是否一致。
然后检查分母。一个按钮的点击率上升,可能是入口曝光变少,剩下的人更有动机。课程资料增加也会改变访问结构。没有这些上下文,仅凭总量很难确定下一步该做什么。
AI 加入之后,问题仍然相同。自动生成摘要可以提高产出,却也可能增加错误引用与核查成本。要观察学习者是否获得可靠帮助,而不是只统计摘要生成次数。模型模拟用户说“很喜欢”更不能当需求研究。
公开课程目录提供从客户分析到 AI 的学习范围;本文的曲线解释与网站情境为原创教学推演。它不是统计教程全集,也没有报告实际 A/B 测试结果。
一个百分比的三种含义
纯模拟示例:100 次课程访问中,40 次能看到继续入口,20 次打开它。20% 回答全部会话的打开比例;50% 回答看得到入口的会话中打开比例。若另外观察 10 次任务,7 次找到正确位置,那 70% 属于独立研究样本。三组数字不能因为都写成百分比就合并。
还要防止刷新和重复点击改变口径。前台呈现与后台加载分开记录;以会话计的转化与点击次数分开分析;失效资料另设事件。如果数字变化,先检查这些定义,再解释动机。
想在自己的项目练习,可以给每个指标写一行:分子、分母、时间窗口、不能说明什么。写不出来时,先修定义再做图。
来源与边界
依据公开目录与教师公开教学网页撰写。未获取完整课堂视频、评分作业正文或字幕;不具备逐讲覆盖证据。课程材料不可分发,原文仅外链。原创例子与练习不代表官方案例、结论或评分要求。
中文逐字稿
公开课程描述页无可用完整带时间戳字幕;未使用登录、cookies 或付费访问。
英文逐字资料入口
以下为官方或平台的外部字幕、逐字文本入口。补充材料的版本与原课不同;完整本地逐字稿尚未接入。
教师独立访谈 · Josh Andrews 英文逐字文本
独立补充访谈;非 Coursera 原课;官方页面有完整英文文本但无段落时间戳;仅外链,全文转载与翻译许可待核。