我现在在尝试运用 AI Agent / 工作流搭建提高工作效率的智能体团队或AI工作流,连两个星期下来,又踩了一些坑…
不稳定少了但不是没了
在开始用智能体实现工作流之前,我期待的是智能体本身就能够稳定的执行指令,这样工作流就没有那么大意义了。但是实际显然并没有那么理想,智能体有智能体的不稳定:
- 控制不稳定:工作流的描述实际上也是一段提示词,智能体能基本保障按照步骤执行,但更接近机械重复,并不能简单的达到”控制”,比如跳过、循环、分支判断这些,都有概率出现和预期不一样的结果。
- 调用不稳定:Skill 本质也依然是提示词,Agent的代码中也许对它们做了特别的处理,但本质上还是一段加载在最前,结构化较好的提示词,不论从被出发还是被执行的角度,都无法保证 LLM 能百分百按需求输出,也就很容易得到不理想的结果。
- 输出不稳定:与直接用LLM类似,无法对输出的格式做严格约束,所以。
- 不稳定的乘法效应:就如同GPU训练的模型放到CPU跑,计算精度的下降会导致最终预测结果完全变样那般,以上的不稳定存在于每一个智能体中,如果依靠智能体串联起来执行任务,最终的结果可能与预期南辕北辙…
总之,我的使用体会是,智能体确实很大程度的让LLM突出的结果更稳定了,但是当我们提供权限,赋予其直接执行命令的能力后,任务链条的无尽延伸和不可控制的摆动会让最终的结果无法达到预期。
智能体与工作流各有用武之地
综合智能体现在的问题,工作流,尤其是设计目的是对LLM的输出进行强控制的工作流,短时间内应该还是不会被替代的。毕竟有的任务是要AI给大致思路,但更多的任务是有路径或SOP,需要严格执行以拿到形式确定的结果的。在无法梳理为程序的节点使用AI,其余部分用AI生成代码来确定的执行,可能才是更好的方式。
而尝试和决定某项工作应该用什么,就是需要花时间和累积经验的了。