1 比赛介绍

第三届琶洲算法大赛 -GLM 法律行业大模型挑战赛道

  • 赛题页面：https://tianchi.aliyun.com/competition/entrance/532221/information
  • 解题示例：https://tianchi.aliyun.com/competition/entrance/532221/customize444
  • 说明文档：https://zhipu-ai.feishu.cn/wiki/M6lCwkSEWiBQIKkQLtIcTuV2nqh?spm=a2c22.12281976.0.0.536f7dd2Pg0INK

2 问题概述

在法律服务领域，基于智谱 GLM-4 大模型和相关业务 API，构建一个能回答法律问题的 Agent（问题机器人）。该 Agent 需要在一小时内回答 200 道问题。

这种整体方案可以应用于许多专业领域。我们也可以通过比较优化和未优化的情况下，看看效果如何。（初赛 A 榜的前 100 名得分都在 80-90 分区间内，查看了一些代码后，我觉得稍加改进也能达到 70+）

3 问题类型

  • 简单问题：查单表和几个字段。
  • 复杂问题：跨多表查询、逻辑判断和统计操作。

3.1 简单题

简介：参赛者只需要 1 次或者 2 次调用接口即可获得答案

1
2
3
4
5
Q: 我想要联系广州发展集团股份有限公司公司的法人代表，请问他的名字是什么？
A: 经查询，广州发展集团股份有限公司公司的法人代表是蔡瑞雄。

Q: 我想了解06865 福莱特玻璃这个股票代码的上市公司信息，可以提供公司的英文名称吗？
A: 06865 福莱特玻璃股票代码的上市公司的英文名称是Flat Glass Group Co., Ltd.。

3.2 中级题

简介：参赛者需灵活运用提供的接口，可能还需插入逻辑操作，并按编排依次调用接口。

1
2
3
4
5
Q: 我想了解化学原料和化学制品制造业这个行业的公司有哪些，请列出注册资本最大的3家头部公司，并给出他们的具体注册资本数额
A: 在化学原料和化学制品制造业行业中，头部的3家公司分别是浙江龙盛集团股份有限公司, 阳煤化工股份有限公司, 北京海新能源科技股份有限公司，它们的注册资本分别为325333.186, 237598.1952, 234972.0302。

Q: 上海家化联合股份有限公司为原告时他主要和哪家律师事务所合作?合作次数为几次。
A: 上海家化联合股份有限公司主要和浙江若屈律师事务所律师合作，合作了有11次。

4 系统架构

|500

5 github 分享的比赛代码

论坛里有很多 baseline 分享

  • https://github.com/livosr/livosr-GLM4-Agent-RAG-tianchi
    • 有文档，有部分数据，有 lora 精调模型
  • https://github.com/sliderSun/law_glm_baseline/
    • 中规中矩，有数据，代码清晰，有基本说明
  • https://github.com/hehaha68/law_glm_baseline
    • 20 Star 是目前 github 找到该比赛项目星最多的
    • 代码不多，思路清晰，参考提示词

6 思考

  • 这个比赛比的是什么？
    • “窄域”问题（涉及十几个 API 或表单），复杂问题，落地场景
    • 提供使用场景、数据和大模型，中间还需要做什么？数据怎么存储？思考存什么？接口何时调用？
    • 从具体到通用
    • 从数据出发 & 从工具出发
  • 大模型内部
    • 大模型的语言能力：简写、规范化、错别字
    • 遵从能力：格式错误，内容啰嗦（有专门测试遵从能力的 Benchmark）
    • LLM 只是“想一次”的角度：窄，深（直接，单步，不拐弯）
    • 需要给 LLM 提供正确的上下文（示例，数据，提示词）
  • 大模型外部
    • 记忆必须搭在大模型之外（准确、实时变化、可解释）
    • Few-shot：借鉴同类问题的解决方法（拆分、回答格式）
    • 设计修正方案（多轮交互，从成功/失败中学习）
    • 问题文本描述 -> 大模型更为友好
    • 拆分：把大问题拆成序列，并排序
    • 隐藏：发现隐藏关系 GraphRAG
    • 调用外部工具：
      • 复杂问题 -> 指令 -> API
      • 提供 API（Plugin/Tool），而非直接操作数据/数据库
      • 对每个工具做好封装：描述，用法，接口

7 参考

我的Agent拿了全国第十一！