比如以前拿贴吧数据当语料做预训练，就是用阴阳怪气一词多义做更丰富的语义抽取的

点击和停留那些用户画像和风控模型应该会用到

Linus (Linus) 在 ta 的帖子中提到：

预训练主要还是全互联网的吧，个人用户的聊天、点击、停留行为等数据对语言模型的能力有意义吗？