Nature health | 斯坦福团队：一个用于从智能手机收集多模态数字痕迹数据的开源平台

每个人每天在手机上停留数小时，滑动、点击、浏览、切换应用等等，这些转瞬即逝的行为，藏着情绪波动、睡眠规律、运动习惯、社交状态乃至心理危机的早期信号。但传统采集手段只能记录“用了多久”，却看不到“看了什么、做了什么”，更无法将行为轨迹与健康风险精准关联。

想要真正理解数字生活如何影响健康，就必须突破两项瓶颈：一是同时采集内容与行为，不只是日志，还有屏幕画面与交互细节；二是降低技术门槛，让没有开发能力的研究者也能轻松搭建采集系统。

Stanford Screenomics 正是为此而来。它突破了现有平台只能采集传感器数据或简单日志的局限，首次以开源模块化方式，实现了“屏幕内容 + 触屏操作 + 多传感器” 的同步捕捉，让研究者第一次能用极低的成本，获得高分辨率的真实世界数字痕迹。

平台最核心的突破，是把屏幕截图（Screenomics） 作为关键数据模态，配合交互轨迹、位置、活动等信息，构建出比传统数字痕迹丰富数倍的 “数字表型”，让每一次滑动、每一个页面、每一段停留，都成为可分析的健康指标。借助这一设计，研究可以精准关联“看到的内容”与“产生的行为”，为心理健康、行为干预、公共卫生监测等领域提供前所未有的数据基础。

该平台已完全开源，项目代码与文档公开共享，项目地址：

https://github.com/StanfordScreenomics/Platform

图 1 | 多模态数字痕迹数据、传统健康检测指标与研究领域间关联。 本图展示了多模态数字痕迹数据、传统健康测量手段与各研究领域之间的关联关系。箭头表示不同数据模态如何为各类健康研究与应用领域提供支撑。方形图标代表斯坦福 Screenomics 平台所支持的模块，这些模块可单独或组合使用，形成更高级的数字痕迹数据模态（如社会参与度、活动空间），并可作为人类行为与健康状态的关键指标。

Stanford Screenomics的优势在于高度灵活的模块化架构，核心亮点体现在关键技术创新上，具体包括模块化插件架构、零代码编译配置、动态远程调参及全流程隐私合规四大核心能力，全方位提升研究效率与安全性。

其中，模块化插件架构采用模块独立运行模式，各模块可自由开启、关闭，互不干扰，同时支持后续新增插件扩展能力，可根据研究需求持续丰富采集功能；零代码编译配置基于Android Studio实现一键编译，研究者无需编程，即可轻松设置采样率、截图质量、上传策略等关键参数，大幅降低操作门槛。

动态远程调参功能更是突破传统限制，支持16项参数远程修改，无需重编译APP、无需通知受试者，可在研究过程中灵活调整采集策略，大幅提升长期研究的灵活性与便捷性；全流程隐私和规则通过本地加密+传输加密+云端权限管控三重防护，同时赋予受试者暂停/恢复/停止采集的权限，完全符合HIPAA与机构伦理审查（IRB）要求，保障受试者数据安全与权益。

依托上述关键技术，研究者无需编写代码，只需在编译时勾选模块，即可定制专属的数据采集方案，满足不同研究场景需求。

平台目前支持9大同步采集模块：

1. 屏幕截图：按设定频率自动捕获屏幕内容

2. 应用使用记录：实时记录前台应用切换

3. 触屏交互：捕捉滑动、点击、长按等手势

4. GPS 定位：连续记录位置轨迹与活动空间

5. 身体活动：采集步数与运动状态

6. 电池状态：监测电量与充电事件

7. 屏幕开关状态：记录亮屏 / 息屏时间

8. 网络连接：跟踪 WiFi / 蜂窝网络切换

9. 设备信息：获取机型、系统等基础配置

所有模块独立运行、可自由开关，不会互相影响。研究者可根据研究目标，灵活设置采集频率：比如截图5秒一次、定位1分钟一次、步数5分钟汇总一次，在数据密度与功耗之间达到平衡。

更重要的是，平台支持动态参数调整。研究启动后，可远程修改采样频率、上传策略等 16 项参数，无需重新编译 APP、无需通知受试者，大幅提升了长期研究的灵活性。

图2| 平台整体架构与数据流向总图。

让受试者“感觉不到被监测”是获取真实数据的关键。Stanford Screenomics 采用后台静默运行设计，APP 启动后自动采集，不弹窗、不打扰、不占用前台资源，完全不影响正常使用手机。系统经过深度优化，即使同时开启全部九个模块，也能保持流畅运行。

在性能表现上，平台做到了极致轻量化，APK 体积仅 10.56 MB，运行内存峰值 105 MB，平均 CPU 占用 2.1%，耗电量约 1%/ 小时，几乎无感，当存储空间不足 50MB 时还会自动暂停截图，避免手机卡顿。这种低负荷特性，使其能够长期稳定运行，尤其适合青少年、老年人群、慢性病患者等需要连续监测的群体。

数据安全与隐私合规是数字健康研究的底线，平台采用三层安全保护机制，数据会先存储在手机本地并完成加密后再上传，传输过程全程加密并符合 HIPAA 隐私标准，同时采用云端分级存储模式，将文本数据存入 Firestore、截图存入 Google Cloud，配合严格的权限管控，全方位保障数据安全。

此外，参与者拥有完全控制权，可随时暂停或者恢复截图采集、可登出停止所有采集、可查看授权说明，真正实现知情、可控、透明的研究模式。在已开展的多项研究中，超过 500 名受试者的反馈显示，用户对这种透明、可控、非盈利的学术研究接受度显著更高。

图3| 斯坦福屏幕组学数据采集模块依赖关系示意图。

研究团队对平台进行了完整的24 小时单用户实测，在开启全部 9 个模块的条件下，采集到的高质量数据如下：

• 屏幕截图：1729 张

• 触屏交互：2455 次（点击 1363 次）

• GPS 定位：810 条

• 步数汇总：193 次

• 应用切换：45 次

• 网络状态变化：48 次

所有数据时间戳精准对齐，可实现行为 – 内容 – 位置 – 活动的多维度交叉分析，例如：查看某类社交 App 时的位置、情绪相关内容对应的滑动模式、深夜使用行为与睡眠的关联等。

配套的监控仪表盘让研究者可实时查看数据上传状态，自动标记超过 24 小时无数据的受试者，并支持一键发送提醒邮件，显著提升研究管理效率。

无论是小样本机制研究、大样本人群监测，还是临床数字化干预，这套平台都能快速部署，具体部署相关要求与方式及成本如下：

本采集系统基于 Android 生态设计，仅支持 Android 11 及以上版本系统。由于 iOS 系统对应用权限、后台持续采集、屏幕截图等存在严格限制，无法支持 iOS 设备的长期、稳定、连续数据采集，因此暂不提供苹果设备版本。

系统提供两种灵活的部署方式：直接提供可安装的 APK 文件，无需上架应用商店，可直接分发给研究对象安装使用；支持打包发布至 Google Play 应用商店，便于大规模、标准化、跨地区推广与管理。

根据不同采集配置，整体成本存在明显差异：默认高密度采集配置（含高频截图、实时定位、连续数据上传）：20 人 × 4 周，总成本约 3000 美元；低功耗轻量化配置（降低采样频率、关闭实时上传、仅保留核心行为数据）：20 人 × 4 周，总成本约 750–800 美元。

成本主要来自云存储、数据传输、数据处理与后台运维，低功耗模式可显著降低流量与存储开销，适合大规模、长期研究项目使用。

这套平台兼容绝大多数 Android 11 以上机型，成本透明可预估，适合高校、医院、科研机构大规模使用。

Stanford Screenomics 所构建的多模态数字痕迹采集能力，为数字健康、行为科学、临床医学与公共卫生等领域带来了全新的研究范式。通过将屏幕内容、交互行为、位置轨迹与生理活动同步捕捉，平台能够实现从 “被动记录使用数据” 到 “精准解读数字行为背后的健康意义” 的跨越，为以往难以量化的心理状态、行为规律、健康风险提供了客观、细粒度、可追溯的观测手段。

在数字表型研究中，平台可描绘个体独特的数字行为特征，用于识别情绪波动、认知变化、社交模式及生活节律，为心理健康评估、青少年行为研究、老年认知监测等提供关键依据。在精准医学与临床研究中，它能够长期追踪患者的真实生活行为，帮助医生理解治疗依从性、生活方式干预效果、疾病早期信号，尤其适用于慢性病管理、精神疾病评估、康复监测等需要长期随访的场景。

在公共卫生与人群健康领域，平台支持大样本、低负担、无接触式数据采集，可用于监测人群行为变化、健康风险趋势、生活习惯变迁，甚至在突发公共卫生事件中快速捕捉人群活动与行为响应。此外，在人机交互、传播学、教育学、社会经济学等跨学科研究中，Screenomics 也能为理解数字生活的真实影响提供前所未有的数据支撑，成为连接数字世界与健康科学的重要桥梁。

Stanford Screenomics 平台填补了数字健康研究中“高分辨率、多模态、开源易用、安全合规”的空白，让屏幕内容、交互行为与多传感器数据得以同步、静默、高效地采集，为数字表型、心理健康、行为干预、公共卫生监测等领域提供了革命性工具。

相较于现有闭源平台，它的优势显而易见：完全开源可复现、模块化可扩展、低门槛可定制、对设备几乎无负担，真正让数字痕迹研究从少数技术团队专属走向全体研究者可用。

未来，平台仍有广阔的升级空间，可通过扩展蓝牙、音频、天气等更多采集模态进一步丰富数据维度，同时持续优化设备兼容性，降低在低端机型上的功耗并提升系统运行稳定性。团队也将积极探索 iOS 系统的适配可能，在系统权限允许的范围内实现等效的数据采集能力，并着力构建开放共享的开源社区，吸引全球研究者共同参与模块开发、系统维护与方案共享，让平台不断进化完善。在此基础上，平台还将进一步深化临床应用落地，推动与电子健康档案、可穿戴设备的数据融合，为精准健康干预提供更坚实的支撑。随着数字健康不断走向真实世界、长期化与个体化，Stanford Screenomics 这类开源基础设施，将成为推动学术研究与临床转化的关键力量，让每个人的数字生活轨迹，成为守护健康的重要信号。