IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking
Suvradip Paul, Chandra Bhushan, Harsh Sharma, Nitin Kukreja, Yatharth Dedhia, Keyur Doshi, Prashant Devadiga
cs.AI
2026-09-24
NPCI用799案测印度零售银行助手：11模型三次全过43.7%–58.2%，一次过会高估最多21.4个百分点。
银行助手要查账户、解释一笔转账、冻结卡片。只看最后一句对不对，会漏掉一整类错：手里已有余额还追问、接着用过期上下文、选错账户、嘴上报对了数字却把错误值写进工具。美国消费者金融保护局记录过聊天机器人给错答案、漏掉争议、把客户困在循环里。印度零售银行还有自己的坑：UPI、NEFT、IMPS、RTGS这些支付通道，以及分行代码IFSC。客户问「那笔4.5万卢比的NEFT到了吗」，真实记录可能是IMPS，按NEFT去搜就会漏。
现有评测很少同时覆盖多轮、可变账户状态、重复试验、按阶段诊断。Gorilla和ToolBench看工具选对没有，τ-bench有多轮和重复试验，FinQA、BhashaBench-Finance偏知识题。印度国家支付公司NPCI放出IndicBankBench，专门测带账户上下文的零售银行对话。
799个合成案例，五个业务域加一个能力/拒答域，20条主轴。12条任务轴731案，8条能力轴68案。204案要改账户状态，95案带着模型自己没写过的先前对话，14案塞未见过的工具schema。工具是确定性mock：读按参数返回记录，写返回固定结果，不接真银行。模型拿到logincontext，里面有账户、卡、产品、当前日期。
打分走四道闸S/A/R/Q。S查安全：不编标识、写操作前确认、参数合schema、回复不把raw null亮给客户。这些大多可程序判定；确认写操作含糊时，才用一个只回答是/否的窄resolver。A查动作：该调的工具调了、不该调的没调、参数对、顺序对。R查回复：LLM judge把回复分成answer、clarify、decline，对照该案一句标准。judge固定GLM-5.2，温度0、种子42。Q记接地、完整、语气，不改通过与否。最终判定由评分代码做，两个模型都不拍板。
每个案例跑三次，温度统一0.7，每模型2397条轨迹。头条指标pass³：三次全过才算该案通过。同时报至少一次过和单次均值。11个指令模型，含DeepSeek-V4-Pro/Flash、Grok 4.6、Qwen3.8-2.4T-A95B、Claude Opus 5、GLM-5.3-Flash、Gemma 4三档、Gemini 3.8 Flash、MiniMax M3。
严格三次全过从Gemma 4 E4B的43.7%（349/799）到DeepSeek-V4-Pro的58.2%（465/799）。没有模型过60%。前五名挤在56.8%–58.2%，只差11个案。配对bootstrap区间全含0，McNemar校正后也全是p>0.05，排不出第一。
| 模型 | pass³ | 至少一次过 | 三次不一致 |
| DeepSeek-V4-Pro-0813 | 58.2% | 71.8% | 13.6% |
| Grok 4.6 | 58.1% | 70.2% | 12.1% |
| Qwen3.8-2.4T-A95B | 57.8% | 74.0% | 16.1% |
| Claude Opus 5 | 57.7% | 71.3% | 13.6% |
| GLM-5.3-Flash | 56.8% | 74.3% | 17.5% |
| Gemma 4 E4B IT | 43.7% | 60.1% | 16.4% |
至少一次过比严格全过高出10.8–21.4个百分点。GLM-5.3-Flash至少一次最高74.3%，严格只有56.8%。MiniMax M3不一致最多，171/799，占21.4%。
错信息轴142案，七个模型在这条上分数最低，没有模型过40.1%（Claude Opus 5的57/142）。DeepSeek-V4-Pro在这条只有46/142，能力轴若干条倒是6/6。第一道卡住的闸，11个模型都是A1（该调的工具没调）和R（回复没满足案例要求）。26291条可判定轨迹里，12.9%过了安全与动作但挂在回复，5.7%回复过了但安全或动作挂了。两类检查都要。
失败形态收成三族：把客户说法、过滤结果或过期上下文当真；核过的事实没写进动作；问、做、拒的时机不对。一个具体例子是write-after-correction：嘴上更正了数字，工具调用仍写入客户原值。filter-trap则是过滤查询空了就当没有，不回头检查过滤条件。
给银行和金融agent一条能定位失败阶段的尺子，不是又一张排行榜。τ-bench也重复试验，这里多了账户接地、写前确认、以及把失败钉在S、A、R某一闸。案例和harness已开源。要比prompt或工具策略，固定案例、judge、解码，再看轴分和闸。
这是诊断资源。案例公开之后可以刷榜，论文自己写了：高分不能当部署依据。
回复闸靠LLM judge。40条盲审、38条可判定案例与人工一致81.6%，κ=0.642。样本只覆盖最初八个模型，后加的三个没进审计。GLM-5.3-Flash与judge同家族，家族偏好排不掉。三次试验只能看见不一致，估不稳长期可靠性。案例是合成mock，只有英语，没有印地语、语码混用、真授权和反欺诈。温度0.7在不同厂商端点上不可比。能力轴每条大多只有6案，满分说明不了多少。九种失败形态来自另一次温度0的筛选跑，不是这十一模型评测的频率估计。