上下文窗口是人工智能模型在单个对话中可以处理的文本量。将其视为模型的工作记忆 - 它包括您的消息、文件内容、工具定义和人工智能的响应。
为什么上下文窗口很重要
与人工智能的每次交互都会消耗上下文空间。当上下文窗口填满时:性能下降
更大的有效负载需要更长的时间来处理,从而增加响应时间
合理使用预算耗尽
每个请求更多的代币会更快地消耗您的合理使用政策预算
上下文被截断
较旧的消息可能会被丢弃,导致人工智能“忘记”对话的早期部分
什么消耗了上下文空间
1. 对话历史记录
您发送的每条消息和您收到的每条回复都保留在上下文中。长时间的谈话自然会消耗更多的空间。2. 文件内容
当您附加文件或文件夹时,它们的全部内容都会注入到上下文中:- 文本文件 — 包含完整内容
- 代码文件 — 发送整个文件内容
- 文档 — 包含已解析的文本
- 图像 — 添加描述或 OCR 文本
3. 工具定义
每个启用的工具都会消耗上下文空间。工具定义包括:- 工具名称和描述
- 必需和可选参数
- 参数说明及类型
4.系统说明
后台提示、基础文档、系统指令都占用空间。工具如何使用上下文
以下是工具如何影响您的环境的真实示例:| 启用工具 | Approximate Context Used | 剩余内容用于您的内容 |
|---|---|---|
| 0 工具 | 〜5% | 〜95% |
| 5 个工具 | ~15% | 〜85% |
| 10 个工具 | 〜30% | 〜70% |
| 20 个工具 | 〜50% | 〜50% |
| 30+ 工具 | ~70%+ | 〜30% |
这些是近似值。实际使用情况因工具复杂性和描述长度而异。
管理环境的策略
1.使用流程进行工具编排(推荐)
减少工具相关上下文消耗的最有效方法是使用 Flow — Alter 的内置工具编排器。Flow 作为单个Tools加载
Flow 不是将所有启用的工具加载到每个请求中,而是充当一种工具,可以为每项任务智能地选择和编排正确的工具。好处:
- 上下文使用量减少 60-80%
- 提高响应时间
- 自动处理多步骤任务
- 节省合理使用预算
2.禁用未使用的工具
仅启用您经常使用的工具:3. 自定义操作工具集
每个操作都可以使用其自己的特定工具进行配置。这是控制上下文使用的有效方法:询问任何行动
当您在提示框中键入内容而不选择特定操作时,询问任何内容 操作是默认使用的。它在 Alter 中随处运行 - 最大限度地减少此处的工具选择以获得最大影响。自定义操作
创建自定义操作时,请仔细考虑实际需要哪些工具:从默认值中学习
默认情况下,大多数内置更改操作都禁用工具。例如,“正确语法”不需要任何工具——它是纯文本转换。
尽量简约
仅启用您的特定工作流程所需的工具。如果您的操作只是格式化文本,那么您可能不需要任何工具。
流程与特定工具
**当您需要灵活性但不知道需要哪些特定工具时,请使用 Flow。它自动处理工具选择。
当您确切知道您的工作流程需要哪些工具时,请使用特定工具。这可以提供更好的性能并减少人工智能的来回转动。
4. 对大文件使用工作区
不要将大文件附加到每个对话中:- 为具有大文件的项目创建工作空间
- 需要时参考工作区
- 切换任务时清除工作区上下文
了解Workspaces
工作区有助于更有效地组织文件和管理上下文
4.定期理清上下文
在以下情况下,使用 ⌘ K (Command + K) 清除所有上下文:- 开始一项新的、不相关的任务
- 以前的上下文不再相关
- 响应速度越来越慢
5. 总结长对话
对于很长的对话:- 将对话导出到文件
- 通过摘要开始新对话
- 如果需要,引用导出的文件
6. 对文件附件有选择性
而不是附加整个文件夹:- 仅附加您需要的特定文件
- 处理完毕后从上下文中删除文件
监控上下文使用情况
虽然 Alter 不显示实时上下文计量器,但您可以间接监控使用情况:观看响应时间
较慢的响应通常表明上下文使用率较高
检查 Tool 计数
更多可用的工具=更多的上下文消耗。定期查看工具管理器。
快速获胜清单
相关文档
使用 Flow 进行 Tool 编排
减少与工具相关的上下文使用的最佳方法
Tool 经理指南
了解如何管理您的工具集成
Workspaces
有效地组织文件和管理上下文