预训练主要还是全互联网的吧，个人用户的聊天、点击、停留行为等数据对语言模型的能力有意义吗？

haoliangpku (几内亚主体文学思想研究会会长) 在 ta 的帖子中提到：

因为手机本质上是个7*24小时的跟踪器，你猜那些预训练的数据都是哪来的？