当前的LLM评估缺乏特定领域、可重复的基准测试。为法律、医疗和金融等行业创建类型化决策测试库。研究人员和企业将付费访问经过验证的基准测试。从一小组法律决策基准测试开始。最大的风险是与免费替代品竞争。
llmbenchmarkstesting
类型化决策基准测试LLM
构建一个类型化决策基准库，用于评估LLM。专注于特定领域（如法律或医疗）的结构化、可重复测试。
为什么是现在
随着LLM的普及，对超越通用基准的更好评估方法的需求日益增长。
- 做给谁
- LLM研究人员和企业
- 商业模式
- 付费库访问
- 投入量级
- 几周