本文深入浅出地介绍了大模型LLM的概念、边界以及实战应用。通过一个天才员工的寓言故事引出LLM在知识截止、上下文窗口、幻觉和无法行动等方面的局限。接着详细讲解了Prompt、RAG、向量数据库、MCP、Agent和工作流等关键技术阐述了它们如何解决LLM的缺陷使其成为一个真正能干活的员工。文章以阿里云百炼为例结合实际场景为读者提供了一套完整的LLM应用框架帮助小白程序员快速上手并深入学习大模型技术。先讲一个故事想象你开了一家公司。你招了一个天才——他读过世界上几乎所有的书能写文章、能翻译、能编代码、能分析数据。但他有几个致命缺陷•他没有记忆——每次你走进办公室跟他说话他都不记得上次的对话。•他不知道公司内部的事——他读过全世界的书但没读过你公司的内部文档、客户资料、产品手册。•他不会用工具——他知道怎么写代码、写 SQL但他没法真的连上你的数据库去查他知道怎么写代码但他没法真的打开IDE。•他只能被动回答——你问一句他答一句他不会主动规划先需求再分析、再设计技术文档、最后写代码这种多步骤任务。这个天才就是LLM大语言模型。而接下来要讲的所有技术——Prompt、RAG、向量数据库、MCP、Agent、工作流——本质上都是在解决上面这四个缺陷把这个聪明但受限的大脑变成一个真正能干活的员工。大模型LLMLLM是什么LLMLarge Language Model大语言模型是用海量文本训练出来的神经网络。GPT-4、Claude、DeepSeek、Qwen、Llama 都属于此类。它的核心能力只有一个给定前文预测下一个 token词/字/符号。本质上是一个在海量文本上训练出来的概率预测器——给它一段话它会猜下一个最合理的词然后再猜下一个如此往复最终生成一篇连贯的回答。所以当模型足够大、训练数据足够多时这个预测下一个词的能力涌现出了惊人的效果推理、编码、翻译、总结、创作……它的边界但LLM有几条硬约束约束说明知识截止训练数据有截止日期之后的事它不知道。上下文窗口每次对话能塞进去的文本有限4K、32K、128K、200K tokens 不等超出就看不见。幻觉它是在预测最可能的下一个词不是在查证事实。所以它会一本正经地编造不存在的论文、API、人名。无法行动它只能输出文本不能调用 API、读写文件、操作数据库。理解了这些边界后面的每一项技术就都有了动机。实战中的 LLM以阿里云百炼通义千问为例你调用它的方式通常是发一组 messagesmessages [ {role: system, content: 你是XX系统运维助手...}, {role: user, content: 帮我查询XXXXXXXXXXXXXX}]response ai_client.call_with_messages(messages)模型收到后会根据 system 里的人设和 user 的问题生成一段回复。但注意——模型本身不会去调任何接口它只是在说话。提示词PromptPrompt是什么Prompt就是你发给 LLM 的输入文本。听起来是废话——但怎么写这段文本直接决定了输出质量。很多产品文案里的“「人设」「定制助手」”本质上就是把一段话写进System Prompt见下文的层级表。这就像你跟一个什么都懂的顾问说话• 你说帮我写个方案——他会给你一个泛泛而谈的方案。• 你说你是一位有 10 年经验的物联网架构师请针对车辆运输监控场景设计一套从设备接入到数据存储的技术方案要求支持 10 万台设备同时在线用表格列出模块划分——他会给你一份精准得多的输出。Prompt 的层级在实际应用中Prompt 不是一句话而是分层组装的层次作用实战举例System Prompt定义角色、能力边界、输出格式“你是铅封设备运维客服识别用户意图后输出 JSON”Intent Prompt指导意图识别“若用户问设备状态输出{intent: realtime_status}”Reply Prompt控制回复风格与结构“用 Markdown 表格展示必须包含锁状态、报警等级”Few-shot 示例给模型看几个标准 QA 对“Q: 查YS01状态 → A: {intent:…}”Prompt 提示词工程 的核心技巧技巧说法例子角色设定告诉模型你是谁“你是XXXX系统运维助手”Few-shot给几个示例“输入xxx输出yyy。现在请处理zzz”Chain of Thought让它分步思考“请一步一步推理先列出已知条件……”约束输出格式限定返回格式“请以 JSON 格式返回字段包含 name, reason, score”负向约束告诉它不要做什么“不要编造数据如果不确定就说不知道”实战意图识别 PromptINTENT_SYSTEM_PROMPT 你是XX设备运维AI。用户会用口语问你设备相关问题。请识别用户意图并从以下意图列表中选择- realtime_status: 查某设备实时状态- alarm_query: 查报警记录- alarm_statistics: 报警统计- trajectory_playback: 轨迹回放- comprehensive_risk_analysis: 综合风险分析输出严格 JSON{intent:xxx,device_number:xxx,...}若是手册类问题怎么/如何/步骤输出{intent:manual_guide,question:...}关键技巧•口语化兼容提前告诉模型用户可能说’看下’、‘帮我查’、‘是不是’。•严格输出格式不写请尽量输出 JSON而写输出严格 JSON——模型对严格二字敏感。•兜底路由永远给一个manual_guide兜底避免模型硬猜。Prompt 是最容易上手、成本最低的优化手段但它解决不了LLM 不知道你公司内部信息的问题。这时候就需要 RAG。RAG问题前面说了LLM 的知识是固定的。你问它怎么处理XXX类型报警它可能瞎编一通。但你公司有一本《设备操作手册》里面写得清清楚楚按照上面说的Prompt提示词工程把整本手册文档塞进Prompt的Context 区域可以但有问题• 上下文窗口有限文档可能几十万字塞不下。• 即使塞得下token 越多越慢、越贵而且 LLM 在大海捞针时准确率会下降。RAG 的做法RAGRetrieval-Augmented Generation检索增强生成的解决方法很直接用户提问 → 先去知识库里搜一圈→ 把搜到的相关段落塞进 Prompt→ 模型看着答案回答这就像考试时允许翻书——AI 从闭卷硬背变成了开卷查阅。RAG 工作流程用户问题离线报警怎么处理 │ ▼ ┌──────────┐ │ Embedding │ 把问题转成向量一组数字 └────┬─────┘ │ ▼ ┌──────────────┐ │ 向量数据库检索 │ 找到最相关的 3~5 段文档片段 └────┬─────────┘ │ ▼ ┌──────────────────────────────────┐ │ 拼接 Prompt │ │ System: 你是运维助手 │ │ Context: [检索到的手册段落] │ │ User: 离线报警怎么处理 │ └────┬─────────────────────────────┘ │ ▼ ┌──────────┐ │ LLM │ 基于检索到的内容生成回答 └────┬─────┘ │ ▼ 根据操作手册第3.2节离线报警处理步骤如下1.检查天线连接...实战中 RAG 的两种实现方式方式一平台托管型如阿里云百炼知识库你上传 PDF/Word 到百炼平台它自动切片、向量化、建索引。调用时走call_agent_app平台帮你做检索和注入result ai_client.call_agent_app(promptuser_question)# 平台在底层已完成检索知识库 → 注入上下文 → 模型回答# 返回中可能带 doc_references引用了哪些文档片段优点零代码搞定检索链路。缺点黑盒你控制不了检索策略。方式二自建型本地向量库自己用 LangChain / LlamaIndex 等框架# 1. 文档切片chunks text_splitter.split_documents(docs)# 2. 向量化存入vectorstore FAISS.from_documents(chunks, embedding_model)# 3. 检索relevant_docs vectorstore.similarity_search(query, k5)# 4. 注入 Promptcontext \n.join([d.page_content for d in relevant_docs])prompt f参考资料\n{context}\n\n用户问题{query}优点完全可控。缺点要自己维护切片策略、向量索引、更新机制。向量数据库为什么不用关键词搜索传统搜索如MySQL、Elasticsearch全文检索靠的是关键词匹配。但人的表达方式千变万化用户问“设备掉线了怎么办”文档里写的是“设备离线排查指南”关键词完全对不上但语义是一回事。Embedding把文本变成数字这就需要Embedding嵌入向量。Embedding 模型如OpenAI text-embedding-3、BGE、Jina 等能把任意一段文本变成一个高维向量比如 1536 维的浮点数数组设备掉线了怎么办 → [0.023, -0.187, 0.442, ..., 0.091] (1536个数)设备离线排查指南 → [0.019, -0.191, 0.438, ..., 0.088] (1536个数)语义相近的文本向量就相近余弦相似度高。这样搜索就变成了在向量空间中找离我最近的那几个点。可以把向量粗略想成「语义坐标」意思相近的句子在坐标系里靠得近意思无关的句子离得远所以才能用「远近」做搜索。向量数据库是什么向量数据库就是专门存储和检索这些高维向量的数据库。常见的有名称特点Milvus开源分布式适合大规模QdrantRust 写的性能好API 友好Weaviate内置多种 Embedding 模型Chroma轻量Python 生态适合快速原型Pinecone云托管免运维pgvectorPostgreSQL 扩展如果你已有 PG 可以直接用RAG 里的向量数据库工作流【离线建库阶段】公司文档 → 切分成小块(chunk) → 每块用 Embedding 模型转成向量 → 存入向量数据库【在线查询阶段】用户问题 → Embedding 模型转向量 → 向量数据库做相似度搜索(ANN)→ 返回 Top-K 最相关的文档块 → 塞进 Prompt → LLM 回答其中切分成小块Chunking很关键——切太大搜出来不精准切太小丢失上下文。常见策略是按段落、按固定token数、按语义边界切分并加一些重叠overlap。智能体Agent从问答机器到自主员工前面的“RAG向量数据库”解决了LLM 不知道公司内部信息的问题但 LLM 还是只能被动回答。你想让它做的是这种事“帮我查一下上周掉线超过 3 次的设备分析掉线原因生成一份报告发到运维群里。”这需要查数据库 → 分析 → 写报告 → 调通知接口四个步骤LLM 可以自己规划、自己一步步执行。这就是Agent智能体。到这一步AI才是真正实现“你告诉我要什么我自己思考怎么做”。大白话说Agent 像不只「回你一段话」的助手而是能按你的目标自己多步操作——该查库就查库该调接口就调接口中间还能结合检索和生成。Agent 的核心循环Agent 的本质是一个思考-行动-观察的循环ReAct 模式:┌──────────────┐ │ 用户指令 │ └──────┬───────┘ ▼ ┌─────────────────┐ ┌─│ 思考 (Think) │ LLM 分析当前状态决定下一步做什么 │ └────────┬────────┘ │ ▼ │ ┌─────────────────┐ │ │ 行动 (Act) │ 调用工具查数据库、读文件、调 API…… │ └────────┬────────┘ │ ▼ │ ┌─────────────────┐ │ │ 观察 (Observe) │ 拿到工具返回结果理解结果 │ └────────┬────────┘ │ │ │ 还没完成──是──┘ │ │ │ 否 │ ▼ │ ┌─────────────────┐ └──│ 输出最终结果 │ └─────────────────┘每一轮循环里LLM 看到所有历史之前的思考、行动、结果然后决定下一步——是继续调工具还是已经够了可以给出最终答案。Agent 和普通对话的区别普通 LLM 对话Agent能力只能输出文本能调用外部工具步骤一问一答多轮规划、多步执行自主性你问什么答什么自主拆解任务、决定用哪些工具典型交互“帮我写个 SQL”“帮我查出结果并生成报表”Agent 需要什么Agent 要跑起来需要三样东西一个 LLM——作为大脑做决策一组工具Tools——Agent 能调用的能力查数据库、读文件、发请求……一套调度机制——管理思考-行动-观察循环管理上下文其中工具怎么提供给 LLM就引出了下一个概念——MCP。MCP问题假设你的 Agent 需要用到这些工具• 查 MySQL 数据库• 读写本地文件• 调用公司内部 HTTP API• 推送消息微信、钉钉• 查询工单每个工具的接入方式不同有的要写函数、有的要写 HTTP 客户端、有的要装 SDK……而且每换一个LLM框架LangChain、AutoGen、Dify……工具的接入方式可能又不一样。MCP 是什么MCPModel Context Protocol模型上下文协议是 Anthropic 提出的一个开放标准协议目标是统一 LLM 应用与外部工具/数据源之间的通信方式。你可以把它理解成“LLM 世界的 USB 接口”•没有 USB 之前每个外设打印机、键盘、摄像头都有自己的专用接口。•有了 USB 之后所有外设都用同一个接口即插即用。MCP 做的就是同样的事┌──────────┐ MCP 协议 ┌──────────────┐│ LLM 应用 │ ◄──(JSON-RPC)──► │ MCP Server ││ (Agent) │ │ (数据库/文件/ ││ │ │ API/任何工具) │└──────────┘ └──────────────┘MCP 的架构┌─────────────────────────────────────────────────────────┐│ MCP Host ││ 如 Cursor、Claude Desktop、你自己的 Agent 应用 ││ ││ ┌──────────┐ ┌──────────┐ ┌──────────┐ ││ │MCP Client│ │MCP Client│ │MCP Client│ ││ └────┬─────┘ └────┬─────┘ └────┬─────┘ │└────────┼─────────────┼─────────────┼────────────────────┘ │ │ │ MCP 协议 MCP 协议 MCP 协议 │ │ │ ┌─────▼────┐ ┌─────▼────┐ ┌────▼─────┐ │MCP Server│ │MCP Server│ │MCP Server│ │ MySQL │ │ 文件系统 │ │ Slack │ └──────────┘ └──────────┘ └──────────┘•MCP Host运行 Agent 的应用比如 Cursor IDE、Claude Desktop。•MCP ClientHost 内部负责和某个 MCP Server 通信。•MCP Server暴露具体工具能力查数据库、读文件、发消息等以标准协议对外服务。MCP Server 提供什么一个 MCP Server 可以暴露三种能力能力说明例子Tools工具可被 LLM 调用的函数query_database(sql), send_message(channel, text)Resources资源可被读取的数据数据库 schema、文件内容、API 文档Prompts提示模板预定义的 Prompt 模板“分析这张表的数据质量”MCP 的价值•对工具开发者写一次 MCP Server所有支持 MCP 的 Agent 都能用。•对 Agent 开发者不用为每个工具写适配代码接入 MCP Server 就行。•对用户工具可以像插件一样即插即用比如在 Cursor 里加一行配置就接入了数据库工具。工作流WorkflowAgent 的问题Agent 很强大但也有一个隐患不可控。因为每一步都由 LLM 自主决策所以• 同样的问题两次执行的步骤可能不同。• LLM 可能想多了做了不必要的操作。• 关键业务场景如审批、交易需要确定性不能让 AI 自由发挥。工作流是什么工作流Workflow就是把任务拆成预定义的节点和流转路径每个节点可以是• 一次 LLM 调用如总结这段文本• 一次工具调用如查数据库• 一个条件判断如如果分数 80 走 A 路径否则走 B• 一个人工审核节点• 一段代码逻辑┌────────┐ ┌──────────┐ ┌─────────────┐ ┌──────────┐│ 接收输入 │────│ RAG 检索 │────│ LLM 生成报告 │────│ 发送通知 │└────────┘ └──────────┘ └──────┬──────┘ └──────────┘ │ 置信度 0.7 │ ┌────▼────┐ │ 人工审核 │ └─────────┘Agent vs 工作流Agent工作流路径LLM 动态决定预定义好的确定性低每次可能不同高流程固定灵活性高能处理意外情况低只走预设路径适用场景探索性任务、复杂推理重复性业务、合规流程可观测性较难追踪每个节点都可监控实际中的最佳实践现实中往往是工作流 Agent 混合使用•主流程用工作流编排确保流程可控。•某些节点内部用 Agent让 LLM 自主处理复杂子任务。比如• 工作流节点1接收用户工单• 工作流节点2RAG 检索知识库•工作流节点3[Agent] 自主分析问题、选择工具查询、生成解决方案• 工作流节点4人工审核• 工作流节点5自动回复用户节点 3 内部是一个 Agent 自由运作但整体流程是固定的。常见的工作流平台平台特点Dify开源可视化编排内置 RAG支持 Agent 节点Coze扣子字节出品国内生态好LangGraphLangChain 出品代码级编排灵活但有学习曲线n8n / Flowise开源自动化平台可接入 LLM 节点FastGPT开源知识库 工作流总结那么它们是如何协同工作的呢咱们看一个完整的例子。先概括一句用户只说一句目标系统要同时解决三件事——流程怎么走工作流、中间怎么动脑和动手Agent LLM、事实与能力从哪来RAG / 向量库 MCP。下面例子就是把这三件事拆开又合上。三层分工•编排层工作流规定必经节点先识别意图再进分析再发通知、记日志——保证可监控、可复现关键动作不丢。•执行层Agent LLM Prompt 在「分析」里多步推理先拿结构化数据谁掉线再拿非结构化知识操作手册里怎么解释最后按模板生成报告Prompt负责每次调用怎么说、输出长什么样。•知识与工具层RAG 向量数据库 MCPRAG解决「公司内部写了什么」MCP解决「系统里能调什么」——查表、发钉钉各走标准工具。场景你搭建了一个智能运维助手运维人员可以用自然语言提问系统自动分析并处理。用户说“帮我查一下昨天掉线超过 3 次的设备分析原因生成报告发到钉钉群里。”完整链路与上面三层一一对应用户提问 │ ▼┌─────────────────────────────────────────────────────────────┐│ 工作流 (Workflow) ││ ││ 节点1: 意图识别LLM Prompt ││ → 识别出查询设备 分析 生成报告 发送通知 ││ │ ││ ▼ ││ 节点2: Agent 执行分析任务 ││ ┌──────────────────────────────────────────┐ ││ │ Think: 需要先查数据库 │ ││ │ Act: 调用 MCP Server (MySQL) │ ││ │ → query: SELECT ... WHERE 掉线3 │ ││ │ Observe: 得到 15 台设备列表 │ ││ │ │ ││ │ Think: 需要了解这些设备的产品类型和常见故障 │ ││ │ Act: RAG 检索向量数据库搜索相关文档 │ ││ │ Observe: 找到XX型号常见掉线原因文档片段 │ ││ │ │ ││ │ Think: 信息够了可以生成报告 │ ││ │ Act: 加载 Skill「运维分析报告模板」 LLM │ ││ │ 生成报告Prompt 含查询结果 RAG 片段│ ││ │ Observe: 报告已生成 │ ││ └──────────────────────────────────────────┘ ││ │ ││ ▼ ││ 节点3: 调用 MCP Server (钉钉) 发送报告 ││ │ ││ ▼ ││ 节点4: 记录操作日志 ││ │└─────────────────────────────────────────────────────────────┘ │ ▼ 返回给用户已完成报告已发送到钉钉群共涉及 15 台设备。概况起来就是工作流管章法与收口Agent在分析节点里串多步事实靠 RAG向量库打底动作靠 MCP话怎么说靠 Prompt各自分工如下技术角色本例工作流定死主路径识别 → 分析 → 发钉钉 → 记日志分析内部的细步骤交给 Agent整体节奏仍可控。Agent在节点 2 内决定顺序先 MySQL 拿清单 → 再 RAG 补手册知识 → 再生成报告。LLM每次「想」和「写」的引擎意图分类、推理衔接、最终成文。Prompt各步的指令与上下文拼装方式含塞进检索结果、查询结果。RAG从公司文档里捞出与设备型号/故障相关的片段喂给模型当依据。向量数据库文档先向量化存好支撑 RAG 按语义找片段。MCP统一接入MySQL 工具查数据、钉钉、微信发消息Agent 不必为每家系统各写一套对接细节。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取