ZiGong 1.0
ZiGong 1.0: A Large Language Model for Financial Credit
面向互联网金融与信贷任务，研究训练样本如何选择：用考虑时间依赖的 TracSeq 评分，结合多任务指令微调适配 Mistral 7B。
文章目录 · 8 节
从“选什么数据”开始
把通用语言模型用于互联网金融，需要处理领域术语、结构化属性和用户行为等不同信息。信用评分、欺诈识别与金融问答虽然处于同一领域，却有不同的输入形式和输出要求。领域微调面对的问题之一，是怎样让有限的训练样本真正服务于这些任务。
ZiGong 1.0 将研究重点放在数据选择上：先估计样本对目标任务的影响，再把高影响样本与随机样本混合，构造多任务指令数据，微调 Mistral 7B。其方法包含两个相互配合的部分：TracSeq 样本评分，以及混合数据上的多任务监督微调。
TracSeq：把时间放进样本评分
TracSeq 继承了 TracInCP 的基本思路：在多个训练检查点，比较训练样本与目标样本的损失梯度。梯度内积提供一种估计，描述某个训练样本的优化方向与目标样本是否一致；再按各检查点的步长累加，得到影响分数。
金融行为存在时间结构。一个人的历史行为与当前状态有关，但不同时间的记录不一定应当占据相同权重。TracSeq 在影响估计中加入时间衰减因子，让较远的历史贡献逐步减小。它用这个分数选取 Top-k 样本，而非只根据文本长度、关键词或随机抽样选择训练数据。
这里的时间衰减表达了一个建模假设：较近期的信号可能更接近当前任务。它并不意味着所有任务中越新的数据越有价值，衰减速度与样本分布仍需要实验选择。梯度相似度同样是一种代理评分，不是对样本真实因果价值的直接测量。
论文将负责样本评分的轻量领域模型称为 agent model，其职责是估计训练数据的影响。本文将它理解为代理模型；该系统并未描述浏览网页、调用工具或自主规划任务的 Agent 工作流。
数据怎样进入模型
训练集由 70% 随机样本与 30% 高影响样本组成。高影响部分集中提供对目标任务有用的信号，随机部分保留较广的数据覆盖。随后把结构化和非结构化信息转换为指令样本：分类任务回答标签，情感任务回答情感类别，问答任务根据上下文输出答案。
覆盖较广的训练分布
用时间衰减与梯度影响评分选样
适配分类、情感分析与问答任务
基座模型保持 Mistral 7B 架构，通过 LoRA 学习适配参数。论文配置给出 4096 token 上下文长度、LoRA rank 8 和 alpha 16。这里的数据“蒸馏”主要指筛选与提炼训练集合，并不等同于把一个大模型的输出知识压缩到小模型。
方法的可迁移部分，是“用轻量模型估计数据价值，再服务于更大模型微调”的训练流程。能否迁移到新的金融任务，还取决于代理模型与目标任务是否匹配、评分所用样本是否有代表性，以及混合比例是否合适。方法原文：第 III 节；公开预印本第 3 节。
实验结果与实际含义
论文沿用 CALM 的金融信用评测设置，结果表覆盖 German、Australia、Credit Card Fraud、ccFraud 和 Travel Insurance。下面只摘录 ZiGong 的 Acc 与 F1；完整比较包含通用与金融领域语言模型。
| 数据集 | Acc | F1 |
|---|---|---|
| German | 0.590 | 0.587 |
| Australia | 0.779 | 0.777 |
| Credit Card Fraud | 0.998 | 0.999 |
| ccFraud | 0.987 | 0.982 |
| Travel Insurance | 0.884 | 0.927 |
在这张表中，ZiGong 的 Australia 和 ccFraud 表现较强；但 German 的准确率、Travel Insurance 的准确率与 F1 都存在更高的基线结果。因此，这项工作更适合被理解为数据筛选与领域适配的一次有效探索，不能概括成“所有金融任务全面最优”。
论文还比较高影响和低影响样本的选择效果，用来支持样本评分的作用。读这些结果时，需要同时看数据量与选择方式，不能仅凭某个最终分数判断收益全部来自 TracSeq。结果表的脚注说明相关研究对测试集进行了平衡处理；这些分数不应直接视为真实业务分布下的预测效果。结果原表：终版表 II；公开预印本表 2。
证据的边界与后续问题
论文把缓解幻觉与知识遗忘作为动机，但主体结果集中在分类指标、KS 和样本选择实验。分类分数改善不能直接证明开放式金融问答更可靠，也不能代替独立的事实性或幻觉评测。
要更完整地检验方法，还需要固定基座模型与数据预算，对比随机选择、原始 TracInCP 和 TracSeq，并单独改变时间衰减及混合比例。评分参考集、训练集和最终测试集也应清楚分离，防止目标标签提前参与选样。这些是复现实验应检查的条件，不代表本文已经完成了所有对应验证。
这篇工作连接了 LLM 与互联网金融中的一个实际问题：大模型适配不仅取决于模型结构，训练数据的质量、覆盖范围和时间关系也会决定模型学到什么。
我的角色与发表信息
我是论文的合著作者，署名 Zixuan Wang。论文发表于 ICDE 2025 的 DExLLM Workshop（Data Engineering Meets Large Language Models: Challenges and Opportunities），收录于 ICDEW 2025，页码 266–270。
Workshop 官方议程列出这篇论文的 Oral Presentation，时间为 2025 年 5 月 19 日 17:10–17:20。
English overview
ZiGong studies training-data selection for adapting Mistral 7B to financial credit tasks. TracSeq extends checkpoint-based gradient influence estimation with temporal decay. High-influence samples are mixed with randomly selected data, converted into task-specific instructions, and used for LoRA fine-tuning.
The reported benchmarks show task-dependent gains rather than uniform dominance. Classification results should be distinguished from direct evidence about hallucination reduction. I am a co-author. The paper was published at the DExLLM Workshop at ICDE 2025 and appears in its oral presentation program.
原始资料
- IEEE 出版 DOI：ICDEW 2025，266–270。
- arXiv 2502.16159与公开 PDF（v1 预印本）：2025 年 2 月 22 日版本，版式与会议终版不同。
- DExLLM Workshop 官方议程：用于核对会议类别、日期与报告安排。