聊聊AI研发的七大支柱

在技术飞速发展、信息消费呈指数级增长的时代，企业在管理、检索和利用知识方面有许多新的机会。生成式 AI（AIGC）和知识检索机制的集成正在彻底改变知识管理，使其更具动态性和易用性。生成式 AI 为企业提供了更有效的方式来捕获和检索机构知识，通过减少查找信息所花费的时间来提高用户生产力 副驾驶（copilots）将数据注入大型语言模型 （LLM） 以改进响应生成过程。这个过程可以描述如下：系统接收一个查询（例如，一个提问），然后在响应之前，从与查询相关的指定数据源中获取相关信息，并使用组合的内容和查询来指导LLM生成适当的响应。

副驾驶的力量在于它们的适应性，特别是其能无缝、安全地利用内部和外部数据源的无与伦比的能力。这种动态的、不断更新的集成不仅提高了企业知识的可访问性和可用性，还提高了企业对不断变化的需求的效率和响应能力。 尽管基于副驾驶模式的解决方案令人兴奋，但对于企业来说，仔细考虑设计元素以设计长久的、适应性强且有效的方法非常重要。AI 开发人员如何确保其解决方案不仅能吸引注意力，还能提高客户参与度？以下是在构建自定义副驾驶（custom copilots）时需要考虑的七大支柱。    

1. 检索：大规模数据引入 数据连接器（Data connectors）对于旨在使用副驾驶跨多个专家系统利用其数据的深度和广度的企业至关重要。这些连接器充当不同数据孤岛之间的网关，连接有价值的信息，在统一的搜索体验中提供可访问性和可操作性。开发人员可以在其企业数据的基础上建立模型，并使用 Microsoft Fabric 无缝集成结构化、非结构化和实时数据。 对于副驾驶来说，数据连接器不再只是工具。它们是不可或缺的资产，使企业实时、全面的知识管理成为切实的现实。

2. 扩充：元数据和基于角色的身份验证 扩充（enrichment）是增强、优化和评估原始数据的过程。在 LLM 的上下文中，扩充通常围绕着添加上下文层、优化数据以实现更精确的 AI 交互以及数据完整性。这有助于将原始数据转化为有价值的资源。 在构建自定义副驾驶时，扩充有助于数据在应用程序之间更容易交换和更好的准确性。

通过丰富数据，生成式 AI 应用程序可以提供上下文感知交互。 LLM 驱动的功能通常依赖于特定的专有数据。简化从多个来源引入数据对于创建平滑有效的模型至关重要。为了使扩充更加动态，引入模板可能是有益的。模板化意味着制作一个基本的提示结构，可以实时填充必要的数据，从而保护和定制人工智能交互。 数据扩充和分块的综合优势可提高 AI 质量，尤其是在处理大型数据集时。使用丰富的数据，检索机制可以掌握不同文化、语言和特定领域的细微差别。这导致了更准确、多样化和适应性更强的响应，弥合了机器理解和人类交互之间的差距。

3. 搜索：在数据迷宫中导航 高级嵌入模型正在改变我们理解搜索的方式。通过将单词或文档转换为向量，这些模型可以捕获它们之间的内在含义和关系。Azure AI 搜索通过矢量搜索功能进行了增强，是这一转变的领导者。将 Azure AI 搜索与语义重新排名功能结合使用，无论用户的确切搜索关键字如何，都可以为用户提供上下文相关的结果。

借助副驾驶，搜索过程可以利用内部和外部资源，无需进行大量模型训练即可吸收新信息。通过不断整合最新的可用知识，响应不仅准确，而且具有深刻的背景信息，为搜索解决方案的竞争优势奠定了基础。 搜索的基础涉及广泛的数据引入，包括源文档检索、数据分段、嵌入生成、矢量化和索引加载，以确保结果在用户输入查询时与用户的意图紧密一致，在获取搜索检索最相关的结果之前进行矢量化。

不断创新以完善搜索功能，催生了混合搜索的新概念。这种创新方法融合了基于关键字的搜索的熟悉性与矢量搜索技术的精确性。关键字、向量和语义排名的融合进一步改善了搜索体验，为最终用户提供了更具洞察力和准确性的结果。

  4. 提示工程：打造高效和负责任的互动

在AI的世界里，提示工程（prompt engineering）提供了具体的指令来指导LLM的行为并产生所需的输出。给出正确的提示对于获得准确且安全且相关的响应以满足用户期望至关重要。 快速的效率需要清晰的上下文。为了最大限度地提高 AI 响应的相关性，请务必明确说明。例如，如果需要简明的数据，请指定我们想要一个简短的答案。上下文也起着核心作用。与其只询问市场趋势，不如指定电子商务中的当前数字营销趋势，甚至为模型提供演示预期行为的示例也会有所帮助。 Azure AI 提示流使用户能够在使用开源模型时添加内容安全筛选器，以检测和缓解输入和输出中的有害内容，例如越狱或暴力语言。或者，用户可以选择使用通过 Azure OpenAI 服务提供的模型，这些模型内置了内容筛选器。通过将这些安全系统与快速的工程和数据检索相结合，客户可以提高其应用的准确性、相关性和安全性。 实现高质量的 AI 响应通常涉及工具和策略的混合。定期评估和更新提示有助于使响应与业务趋势保持一致。有意识地为关键决策制作提示，对单个提示生成多个 AI 响应，然后为用例选择最佳响应是一种谨慎的策略。使用多方面的方法有助于 AI 成为用户可靠且高效的工具，推动明智的决策和策略。

5. 用户界面 （UI）：AI 与用户之间的桥梁
有效的 UI 提供有意义的交互来引导用户完成他们的体验。在不断变化的副驾驶环境中，提供准确且相关的结果始终是我们的目标。但是，在某些情况下，AI 系统可能会生成不相关、不准确或不接地气的响应。UX 团队应该实施人机交互最佳实践来减轻这些潜在的危害，例如通过提供输出引用、在输入和输出的结构上设置护栏，以及提供有关应用程序功能和限制的大量文档。

为了缓解有害内容生成等潜在问题，应考虑各种工具。例如，分类器可用于检测和标记可能有害的内容，指导系统的后续操作，无论是更改主题还是恢复到传统搜索。Azure AI 内容安全是实现此目的的绝佳工具。

基于检索增强生成 （RAG） 的搜索体验的核心原则是以用户为中心的设计，强调直观和负责任的用户体验。初次使用者的旅程应结构化，以确保他们理解系统的功能，了解其人工智能驱动的本质，并了解任何限制。聊天建议、对约束的清晰解释、反馈机制和易于访问的参考资料等功能增强了用户体验，促进了信任并最大限度地减少了对人工智能系统的过度依赖。

6. 持续改进：AI演进的心跳

AI模型的真正潜力是通过不断的评估和改进来实现的。仅仅部署模型是不够的;它需要持续的反馈、定期迭代和一致的监控，以确保它满足不断变化的需求。AI 开发人员需要强大的工具来支持 LLM 的整个生命周期，包括不断审查和提高 AI 质量。这不仅将持续改进的想法带入生活，而且确保它对开发人员来说是一个实用、高效的过程。 确定和解决需要改进的领域是不断完善 AI 解决方案的基本步骤。它涉及分析系统的输出，例如确保检索到正确的文档，并检查提示和模型参数的所有细节。这种级别的分析有助于识别潜在的差距，以及需要改进的领域，以优化解决方案。 Azure AI Studio 中的提示流是为 LLM 量身定制的，可转换 LLM 开发生命周期。可视化 LLM 工作流以及测试和比较各种提示版本性能的能力等功能使开发人员能够敏捷和清晰地工作。因此，从概念化 AI 应用程序到部署它的过程变得更加连贯和高效，从而确保了强大的企业级解决方案。

  7. 统一开发

AI的未来不仅仅是算法和数据。它涉及我们如何检索和丰富数据、创建强大的搜索机制、提示工程、注入负责任的 AI 最佳实践、与我们的系统交互并不断完善我们的系统。 AI 开发人员需要集成预构建的服务和模型、及时的编排和评估、内容安全以及负责任的 AI 工具，以实现隐私、安全性和合规性。Azure AI Studio 提供全面的模型目录，包括最新的多模式模型（如即将在 Azure OpenAI 服务中推出的 GPT-4 Turbo with Vision）以及 Falcon、Stable Diffusion 和 Llama 2 托管 API 等开放模型。Azure AI Studio 是面向 AI 开发人员的统一平台。它开创了生成式 AI 开发的新时代，使开发人员能够大规模探索、构建、测试和部署其 AI 创新。VS Code、GitHub Codespaces、语义内核和 LangChain 集成支持以代码为中心的体验。 无论是创建自定义副驾驶、增强搜索、提供呼叫中心解决方案、开发机器人和定制应用程序，还是这些的组合，Azure AI Studio 都能提供必要的支持。

随着人工智能的不断发展，必须牢记这七大支柱，以帮助构建高效、负责任且始终处于创新前沿的系统。

  审核编辑：黄飞