如何最好地使用所有可用的 LLM 工具

许多企业（OpenAI、AI21、CoHere 等）正在提供 LLM 作为服务，因为它们在商业、科学和金融环境中具有诱人的潜力。虽然 GPT-4 和其他 LLM 在诸如问答等任务上展示了破纪录的性能，但它们在高吞吐量应用程序中的使用可能会非常昂贵。例如，使用 GPT-4 协助客户服务可能会使小型企业每月花费超过 21,000 美元，而 ChatGPT 预计每天花费超过 700,000 美元。使用最大的 LLM 需要付出高昂的货币代价，并对环境和社会产生严重的负面影响。

研究表明，许多 LLM 可以通过 API 以各种定价获得。使用 LLM API 的成本通常分为三个部分：

提示成本（与提示的持续时间成比例）
生成成本（与生成长度成比例）
每个问题的固定费用。
鉴于价格和质量的广泛差异，从业者可能很难决定如何最好地使用所有可用的 LLM 工具。此外，如果服务中断，则依赖单个 API 提供者是不可靠的，这可能发生在意外高需求的情况下。

上传失败，网络异常。

重试

当前模型级联和 FrugalML 等模型集成范例未考虑 LLM 的局限性，这些范例是为具有固定标签集的预测任务开发的。

斯坦福大学最近的研究提出了一个名为 FrugalGPT 的预算友好型框架的概念，它利用 LLM API 来处理自然语言查询。

及时适应、LLM 近似和 LLM 级联是降低成本的三种主要方法。为了节省开支，提示适应调查了确定哪些提示最有效的方法。通过近似复杂且昂贵的 LLM，可以开发更简单且更具成本效益的替代方案，其性能与原始方案一样好。 LLM 级联的关键思想是为各种查询动态选择合适的 LLM API。

实施并评估了基于 LLM 级联构建的 FrugalGPT 基本版本，以展示这些想法的潜力。对于每个数据集和任务，FrugalGPT 学习如何自适应地将数据集中的问题分类到 LLM 的各种组合，例如 ChatGPT、GPT-3 和 GPT-4。与最好的单个 LLM API 相比，FrugalGPT 节省了高达 98% 的推理成本，同时在下游任务上保持相同的性能。另一方面，FrugalGPT 可以以相同的价格实现高达 4% 的性能提升。

FrugalGPT 的 LLM 级联技术需要对标记示例进行训练。此外，为了使级联有效，训练和测试示例应该具有相同或相似的分布。此外，掌握LLM级联也需要时间和精力。

FrugalGPT 寻求性能和成本之间的平衡，但其他因素，包括延迟、公平性、隐私和环境影响，在实践中更为重要。该团队认为，未来的研究应侧重于在不牺牲性能或成本效益的情况下将这些功能纳入优化方法。 LLM 生成的结果的不确定性也需要仔细量化以用于风险关键型应用。

审核编辑：彭静