ChatLaw是由北大团队发布的致力于提供普惠法律服务的法律大模型。以下是关于它的一些主要特点和信息:
版本
- ChatLaw – 13B :
- 学术demo版,基于姜子牙Ziya – LLaMA – 13B – v1训练而来。
- 中文各项表现较好,但对于复杂逻辑的法律问答效果不太理想,需要更大参数模型来改进。
- ChatLaw – 33B :
- 学术demo版,基于Anima – 33B训练。
- 逻辑推理能力有大幅提升,但因为Anima模型本身中文语料少,所以问答过程中时常会出现英文数据。
- ChatLaw – text2vec :
- 利用93w条判决案例做成数据集,基于BERT训练了一个相似度匹配模型。
- 可以将用户提问信息和对应的法条相匹配。
功能和优势方面
- 数据来源多样:数据主要由论坛、新闻、法条、司法解释、法律咨询、法考题、判决文书等组成,经过清洗和数据增强等操作构造对话数据。并且通过与北大国际法学院、行业知名律师事务所合作确保知识库及时更新和数据专业可靠。
- 支持用户上传文件、录音等法律材料帮助归纳分析,生成可视化导图、图表等。
- 可以基于事实生成法律建议、法律文书。
- 在模型训练和推理设计上:
- 训练上在Ziya – LLaMA – 13B的基础上使用低秩自适应(Low – Rank Adaptation, LoRA)进行微调。
- 引入self – suggestion角色缓解模型产生幻觉问题。
- 推理时引入多个模块,将通识模型、专业模型和知识库融为一体。
- 对推理中模型进行约束确保生成正确法律法规减少模型幻觉。
- 研究中构建了一个包含2000个问题及其标准答案的测试数据集用于衡量模型处理法律选择题的能力,还设计了模型对抗的ELO机制。
当前状态和相关链接
因为受到较高关注,项目曾一度火爆致服务器崩溃,算力达上限 。
- 官网地址:https://www.chatlaw.cloud/
- 论文地址:https://arxiv.org/pdf/2306.16092.pdf
- GitHub地址:https://github.com/PKU – YuanGroup/ChatLaw (感兴趣的读者可以在GitHub上部署测试版模型)