FinLangNet
A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting
把静态属性与多源行为序列放进同一个信用风险模型，用特征级和用户级可学习提示，预测多个未来时间窗口。
文章目录 · 7 节
研究的问题
信用风险建模同时面对两种信息：一个人的基础属性，以及随时间累积的查询、账户和借还款记录。前者适合表格模型，后者包含行为顺序、间隔与变化趋势。把所有记录都压成统计特征，容易损失这些时间关系；直接套用单一序列模型，又很难兼顾不同来源的长度、维度和缺失情况。
另一个问题来自预测目标。短期风险低，并不意味着中长期风险也低。FinLangNet 将任务写成多个未来窗口的联合预测，让不同窗口共享用户表示，同时保留各自的预测头。每个输出都是对应窗口的逾期概率；这些概率不要求相加等于 1。
方法：两条分支、两种粒度
静态分支使用 DeepFM。 FM 建模成对特征交互，深层网络学习更复杂的组合，形成基础属性表示。这个分支为序列模型补充用户的相对稳定信息。
时序分支使用 SRG（Sequence Representation Generator）。 各类记录按时间排序，连续数值离散化、类别特征编码，再进入 embedding 与序列编码器。不同数据源分别处理，最后拼接。
其中的双粒度提示承担两种汇聚任务：
- 特征级提示：为一个特征通道引入可学习 token，提取这个通道沿时间变化的模式。
- 用户级提示：汇合多个通道的信息，以可学习向量形成该数据源下的用户行为表示，再与其他来源的表示融合。
这里的 prompt 指训练得到的向量，作用接近 Transformer 中用于汇聚信息的 token。模型并不依赖自然语言指令去询问通用大模型，也不以生成金融文本为目标。
特征交互与稳定信息
特征级提示 + 用户级提示
分别预测不同未来窗口的风险概率
训练目标结合加权对数损失、概率误差项和动态样本权重，以处理类别不平衡与样本难度。论文的工业融合方案还把 FinLangNet 的分数作为特征输入 XGBoost，使已有人工特征与时序表示共同参与预测。这里需要区分独立模型和融合模型，两者的实验结果并不相同。方法详见正式论文第 3 节。
实验应该怎样读
论文设置了两组验证：工业信用风险数据上的六个预测任务，以及 UEA 中五个公开多变量时间序列分类任务。前一组主要看 AUC 和 KS，后一组检验 SRG 在金融场景之外的表示能力。
KS 衡量正负样本累积分布的最大差异。下面摘取表 1 中的短期与较长期任务，并对六个任务做简单算术平均。数值沿用论文的百分数尺度。
| 模型 | 六任务平均 KS | y₁ KS | y₆ KS |
|---|---|---|---|
| XGBoost | 31.45 | 32.85 | 28.31 |
| FinLangNet | 33.71 | 34.08 | 32.16 |
| FinLangNet + XGBoost | 34.61 | 36.55 | 30.97 |
这组结果支持两个判断：时序分支提供了表格特征之外的信息；融合收益随任务变化。尤其在 y₆ 上，独立 FinLangNet 优于融合模型，因此不能把融合策略写成所有窗口都更好。表中平均值由六列复算，对应独立模型相对 XGBoost 提升约 2.25 个百分点。
消融实验更直接回答了“双提示是否必要”。在 y₁ 任务上，无提示的 KS 为 32.62，分别加入特征级或用户级提示后为 32.79、32.99，二者同时使用为 34.08。去掉序列分支降至 12.53，去掉静态分支则为 32.75。这说明在该实验设置下，序列信息贡献较大，而静态信息仍有补充作用。
历史截断实验中，只保留原序列长度的四分之一，平均 KS 从 33.71 降至 33.49。这是对所测试截断方式的稳定性证据，还不足以直接等同于“解决了所有新用户冷启动问题”。
UEA 五个任务中，SRG 的准确率与表内最好结果持平或略高。例如 BasicMotions 为 1.000、Heartbeat 为 0.795；前者有多种方法并列。公开任务扩展了验证范围，但其中包含小规模数据集，不能据此推断所有时序场景都会获得同样收益。实验原表：表 1–3 与附录表 9。
仍需注意的边界
工业数据没有公开，外部复现可以从代码、输入样例和公开时序任务开始，但无法据此完整复现工业结果。零样本大模型基线与有监督训练模型的学习条件也不同，比较反映的是论文指定设置下的表现。
稿件中的“6.3 个百分点”叙述与表 1 六任务均值不是同一可直接复算的结果。这里采用明确标注的表内数值，不将它合并为统一收益口径，也不把论文中的业务改善数字扩展为跨场景承诺。
从方法上，后续值得进一步检验的是：各来源的提示究竟学到了什么、跨时间窗口的概率是否校准，以及在数据分布变化后，这些表示能否继续稳定工作。这些是围绕现有框架值得继续检验的问题。
我的角色与发表信息
我是这项工作的核心作者、通讯作者和项目负责人，研究开展于滴滴金融算法工作期间。正式论文发表于 ACL 2026，ACL Anthology 收录在 Volume 6: Industry Track，页码 618–631；作者公开版本标注 Oral。
English overview
FinLangNet studies heterogeneous financial records through two complementary branches: DeepFM for static attributes and a sequence representation generator with feature-level and user-level learnable prompts. Their fused representation supports risk prediction across multiple future horizons.
Experiments cover six industrial prediction tasks, component ablations, history truncation, and five public UEA datasets. The paper distinguishes the standalone model from its XGBoost fusion. I am a core author, the corresponding author, and the project lead. The paper appears in the ACL 2026 Industry Track proceedings; the author version records an oral presentation.
原始资料
- ACL Anthology 正式出版记录与正式 PDF。
- arXiv 2404.13004v6：2026 年 4 月 19 日版本；早期版本题名与内容有变化。
- FinLangNet 代码仓库：提供模型、数据处理代码与输入样例。