[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"site-home-live-entry-setting":3,"site-header-contests":8,"site-header-camps":49,"news-detail-70b72480-df03-4333-a4f3-2f7476646b6a":104},{"enabled":4,"title":5,"statusText":5,"buttonText":5,"campSlug":5,"stage":6,"classroomId":7,"hasClassroom":4},false,"",0,null,{"total":9,"list":10,"pageNum":44,"pageSize":45,"size":9,"startRow":44,"endRow":9,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":48,"navigateFirstPage":44,"navigateLastPage":44},3,[11,25,35],{"slug":12,"title":13,"logo":7,"liveUrl":14,"prize":15,"sponsor":16,"description":17,"organizer":18,"startTime":19,"endTime":20,"registrationDeadline":21,"status":22,"dashboardVisibility":23,"createdAt":24},"spring2026","2026春季启元人工智能大赛","https:\u002F\u002Fwww.bilibili.com\u002Fblackboard\u002Flive\u002Flive-activity-player.html?cid=1822703816&quality=0","200,000","麒麟软件有限公司","“2026春季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。\n各参赛选手需在规定的比赛周期内，依据赛事规则选定赛题并完成相应挑战，优胜者将共同角逐总额20万元的赛事奖金池，并且还将有机会获得实习和知名企业优质岗位内推资格。","启元实验室","2026-04-19 16:00:00","2026-07-13 16:00:00","2026-06-16 16:00:00","ongoing","private","2026-04-16 08:00:00",{"slug":26,"title":27,"logo":7,"liveUrl":14,"prize":28,"sponsor":7,"description":29,"organizer":18,"startTime":30,"endTime":31,"registrationDeadline":32,"status":33,"dashboardVisibility":23,"createdAt":34},"autumn2025","2025秋季启元人工智能大赛","150,000","“2025秋季启元人工智能大赛”是由启元实验室主办的面向全国人工智能领域开发者、科研人员及高校学生的权威赛事。大赛旨在促进与培养具备工程实践能力和创新能力的优秀人工智能领域开发者、推广国产软硬件技术与生态、助力国家人工智能产业高质量发展。","2025-11-08 08:00:00","2026-01-13 08:00:00","2025-12-30 08:00:00","ended","2025-11-03 08:00:00",{"slug":36,"title":37,"logo":7,"liveUrl":14,"prize":38,"sponsor":7,"description":39,"organizer":18,"startTime":40,"endTime":41,"registrationDeadline":42,"status":33,"dashboardVisibility":23,"createdAt":43},"summer2025","启元人工智能大赛(系统方向)","80,000","启元人工智能大赛由启元实验室主办，其中系统赛道基于启元实验室九源软件栈的相关开源项目，通过拉动开源社区力量，一方面促进国产智能计算生态的发展，另一方面也为人工智能系统方向的学生及从业者提供一个实践平台。","2025-07-08 08:00:00","2025-08-25 08:00:00","2025-07-22 08:00:00","2025-06-22 08:00:00",1,5,true,8,[44],{"total":45,"list":50,"pageNum":44,"pageSize":45,"size":45,"startRow":44,"endRow":45,"pages":44,"prePage":6,"nextPage":6,"isFirstPage":46,"isLastPage":46,"hasPreviousPage":4,"hasNextPage":4,"navigatePages":47,"navigatepageNums":103,"navigateFirstPage":44,"navigateLastPage":44},[51,62,73,84,94],{"id":52,"slug":53,"title":54,"logo":55,"publicLiveEmbedUrl":14,"description":56,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":16,"startTime":58,"endTime":59,"status":22,"dashboardVisibility":60,"createdAt":58,"updatedAt":61},"019eeeff-6b00-7d55-a629-efafded3e232","summer2026","2026年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2026-06\u002F019eef7f-7816-7828-9309-79c2c61dd568.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=ixgDar1lMmHjbBJQAxVGZ8Yvap0%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。","...","2026-06-22 08:00:00","2026-10-19 08:00:00","public","2026-10-12 08:00:00",{"id":63,"slug":64,"title":65,"logo":66,"publicLiveEmbedUrl":7,"description":67,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":68,"startTime":69,"endTime":70,"status":33,"dashboardVisibility":23,"createdAt":71,"updatedAt":72},"019af3f3-e06a-7245-aa8d-37dc99a69c73","winter2025","2025年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-12\u002F019afc69-b7ca-7805-91fb-605429671c01.png?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=kffjCHc54J7b9dci0o64PsGiNNY%3D","由启元实验室发起的InfiniTensor大模型与人工智能系统训练营，面向开源社区、高校及产业界伙伴开放。活动以「普及AI全栈知识技术、培养工程实践与创新型人才、推广国产软硬件技术生态」为核心目标，助力国家人工智能产业高质量发展。 \n","新华三技术有限公司","2025-12-25 08:00:00","2026-03-27 08:00:00","2025-12-06 08:00:00","2026-10-22 20:24:30",{"id":74,"slug":36,"title":75,"logo":76,"publicLiveEmbedUrl":7,"description":77,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":78,"startTime":79,"endTime":80,"status":81,"dashboardVisibility":23,"createdAt":82,"updatedAt":83},"01980342-208c-7803-b3f3-19e1d31960ba","2025年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fuploads\u002F2025-07\u002F0198045e-28fe-78f0-95fe-23835ce58395.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=v5zDviaQXWrFvzCvbSGHzAlbiAM%3D","InfiniTensor大模型与人工智能系统训练营由启元实验室及清华大学 AI 系统方向团队发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营联合开源项目开发者、学术界大牛、工业界资深工程师参与授课与项目指导。课程采用「线上直播授课 + 在线答疑 + 项目实践辅导 」的方式进行，确保每位同学都能获得充分成长。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","北京积算科技有限公司","2025-07-14 08:00:00","2025-09-30 08:00:00","upcoming","2025-07-13 08:00:00","2026-10-22 20:24:58",{"id":85,"slug":86,"title":87,"logo":88,"publicLiveEmbedUrl":7,"description":89,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":90,"endTime":91,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":93},"01980cf9-a7d8-7796-ae86-0bbe05334add","winter2024","2024年冬季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-ce23-7624-a287-9f07dd0d85f6.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区、高校和产业界，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过视频、直播课、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。报名学员请阅读“导学”课程页的训练营介绍。","2025-01-05 08:00:00","2025-03-22 08:00:00","2025-07-15 08:00:00","2026-10-22 20:24:39",{"id":95,"slug":96,"title":97,"logo":98,"publicLiveEmbedUrl":7,"description":99,"introduction":57,"organizer":18,"coOrganizer":5,"sponsor":5,"startTime":100,"endTime":101,"status":81,"dashboardVisibility":23,"createdAt":92,"updatedAt":102},"01980c20-363a-7dc3-8f5a-58a68e08dcc4","summer2024","2024年夏季InfiniTensor大模型与人工智能系统训练营","https:\u002F\u002Ftesting-cdn.infinitensor.com\u002Fuploads\u002F2025-07\u002F01981269-fbfa-788a-afcd-17fa9be74ff9.jpg","InfiniTensor大模型与人工智能系统训练营由清华大学发起，面向开源社区和高校，普及人工智能各方面知识和技术，培养相关人才。训练营全程免费，通过课程、习题和项目实践，在人工智能飞速发展的背景下，为学员提供一窥深层技术的机会。","2024-07-20 08:00:00","2024-09-29 08:00:00","2026-10-22 20:24:49",[44],{"newsDetail":105,"processedData":128},{"publishTime":106,"img":107,"keywords":108,"treeType":44,"description":109,"showStatus":44,"updateTime":110,"type":44,"title":111,"content":112,"nextArticle":113,"createTime":118,"sortOrder":6,"canonicalPath":119,"id":120,"contentType":121,"prevArticle":122},"2026-11-02 16:00:00","https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002Fe7d67af5-5a39-4630-b581-88d75adbffa2.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=Gk5UOXWSOcD7hP9najRaPIonL2w%3D","InfiniLM,InfiniTensor,智能体,工具调用,向量检索","InfiniLM 支持工具调用，InfiniTensor 提供向量检索，二者配合可搭建本地智能体；文中给出 PilotDeck 部署实操示例，可构建内网知识、运维助手。","2026-11-02 12:30:13","九源开源技术周 05| 用 InfiniLM 和 InfiniTensor 把智能体跑起来","![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002Fafd9ae43-a619-444a-b785-5e3837d7e780.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bOEZZVRh7CU%2BoTDfUdPBW%2BW9LX4%3D)\n\n让智能体帮忙排查一次服务启动失败，我们可能只会说一句：\"看看日志，帮我找找原因。\"它却得先读报错，再查部署手册，发现信息不够，还要回头检查配置。用户问了一句话，背后可能已经跑了好几轮模型和工具。\n\n这也给底层推理提出了新的要求：模型要能说清楚调用什么工具，读懂工具返回的结果，再接着往下做；遇到模型没见过的内部资料，还需要有办法把相关内容找出来。这次，**InfiniLM** 和 **InfiniTensor** 分别补上了这两部分能力，让我们可以把本地模型和资料检索接进常用的智能体。\n\n### 让模型把工具真正用起来\n\n模型说一句“我来查一下文档”，程序还没法直接执行。它需要知道调用哪个工具、查询什么、返回几条结果。InfiniLM 会把智能体提供的工具说明和参数定义传给模型，再将模型的输出整理成明确的调用信息，包括**工具名称、参数，以及用于关联结果的调用标识**。\n\n不同模型表达工具调用的方式并不一样，有的用 JSON，有的用专门的标签。InfiniLM 在服务端处理这些差异，通过兼容 **OpenAI 风格的 Chat Completions 接口**返回统一的结果。接入这一接口的智能体，就可以继续使用自己的工具执行流程，不必逐个解析模型的原始输出。\n\n真正做任务时，一次调用通常还不够。比如查到\"先检查动态库搜索路径\"之后，模型还得读一下当前配置，才能判断问题出在哪里。上层智能体执行工具，把结果连同对话历史再次提交给 **InfiniLM**；InfiniLM 将这些信息组织成下一轮输入，并对应好每次调用和返回结果，让模型沿着已有线索继续分析。\n\n流式交互也要处理好这件事。普通回复、思考内容和工具调用会分别传递，工具参数完整并通过检查后，再交给上层处理。这样，界面可以持续展示进展，智能体也能拿到完整的调用信息，继续执行后面的步骤。\n\n### 让智能体查到自己的资料\n\n再来看查资料这一边。用户问\"为什么启动时找不到库\"，部署手册里写的可能是\"动态链接库搜索路径\"。两句话意思相关，字面却不一样。资料一多，只靠关键词就容易漏掉真正有用的段落。\n\nInfiniTensor 这次接入了 **BGE-small-zh-v1.5 中文向量模型**，将文本编码成 512 维向量，用相似度寻找相关内容。建库时，先把资料拆成合适长度的片段，计算并保存向量；查询时，只需要编码当前问题，再从已有索引里找出相关原文。每次提问都不用重新为整份知识库计算向量。\n\n这里还有一个很实际的问题：建库是一批长短不一的文档，查询可能只有一句话。对推理框架来说，批量和序列长度一直在变。InfiniTensor 可以在同一个模型实例中保留计算图和权重，根据当前输入调整执行所需的形状，换一批文本时不用重新加载模型。\n\n文本接口也会自动分批，按当前批次中最长的文本补齐长度。一句短问题用不着总被补到模型允许的最大长度，调用方也不用自己把文档凑成固定大小的批次。这让同一个向量模型既能处理批量建库，也能持续接收零散查询。\n\n把检索封装成工具后，两部分就接上了：**InfiniLM 支撑大模型判断下一步做什么，智能体负责执行工具，InfiniTensor 为检索提供文本向量**，找到的原文再送回模型。\n\n![由智能体衔接模型推理与工具执行，将本地资料带入后续判断](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002F1a12a2f1-f959-45b4-a9e8-c4a96aed941b.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=dVoRwt58ekWrQK1huuomZUTiQj4%3D)\n\n\n### 先把模型服务接到 PilotDeck\n\n接下来用一个简单例子看看怎么用。我们在同一台 Linux\u002FNVIDIA 机器上运行 PilotDeck 和模型服务。PilotDeck 可以直接安装并启动：\n\n```bash\ncurl -fsSL https:\u002F\u002Fraw.githubusercontent.com\u002FOpenBMB\u002FPilotDeck\u002Fmain\u002Finstall.sh | bash\npilotdeck\n```\n\n打开终端提示的网址，就能进入智能体界面。安装好支持工具调用的 InfiniLM，并准备好 Qwen3-4B 模型后，另开一个终端，在 InfiniLM 仓库目录启动服务：\n\n```bash\npython pythoninference_server.py \\\n  --model \u002Fmodels\u002FQwen3-4B \\\n  --device nvidia --dtype bfloat16 --tp 1 \\\n  --max-batch-size 1 \\\n  --max-cache-len 32768 --max-new-tokens 4096 \\\n  --tool-call-parser hermes \\\n  --host 127.0.0.1 --port 8000\n```\n\n这里的 `--tool-call-parser hermes` 启用了 Qwen3 对应的工具调用解析。然后在 PilotDeck 的\"**设置 → 模型池**\"里添加自定义服务：\n\n| 配置项 | 本文示例 |\n| :--- | :--- |\n| 服务商 ID | `infinilm` |\n| 协议 | `openai`（Chat Completions） |\n| 服务地址 | `http:\u002F\u002F127.0.0.1:8000\u002Fv1` |\n| API Key | `local-infinilm` |\n| 模型 ID | `Qwen3-4B` |\n\n本例没有开启服务端鉴权，API Key 使用占位值即可。模型按纯文本配置，上下文长度和最大输出分别设为 **32768、4096 token**，与启动参数一致。\n\n选中这个模型，打开一个项目目录，就可以试着问：\"读取 README.md，告诉我这个项目怎么启动。\"这已经会经过**模型提出调用 → 智能体读取文件 → 模型根据结果回答**的完整过程。\n\n\n### 再加上自己的资料库\n\n安装好 InfiniTensor、准备好它导出的 BGE 模型包之后，把资料整理成 `documents.jsonl`，每行包含一个唯一的 `id` 和一段 `text`。在 InfiniTensor 的独立 Python 环境中，进入仓库目录，先建库，再查询：\n\n```bash\npython examplesembedding_retrieval.py \\\n  --model-dir \u002Fmodels\u002Fbge-small-zh \\\n  encode --documents documents.jsonl --output indexes\u002Fknowledge\n\npython examplesembedding_retrieval.py \\\n  --model-dir \u002Fmodels\u002Fbge-small-zh \\\n  query --index indexes\u002Fknowledge --text '启动时找不到动态库怎么办？' --top-k 5\n```\n\n第一条命令把资料保存成向量索引，第二条从中找出最相关的 5 段内容，并返回原文、文档 ID 和相关度分数。到这里，就可以先看检索能不能找到自己需要的资料。\n\n要让 PilotDeck 自动查询这份资料库，可以将查询接口封装成 `search_knowledge` 这样的 **MCP 工具**。MCP 是智能体连接外部工具的一种通用方式；启动检索服务后，在 PilotDeck 的\"**设置 → MCP 服务器**\"中添加它，填写实际服务地址即可。这个工具服务保留一个常驻的向量模型实例，就能复用前面提到的计算图和权重。\n\n接好以后，再问：\"读取启动日志，查一下部署资料，帮我判断为什么找不到动态库，回答时带上资料 ID。\"智能体就有了**读日志**和**查内部资料**两种手段，我们也可以顺着原文核对它的判断。\n\n同样的方式也可以用于 OpenClaw 等支持相应模型接口和 MCP 工具的智能体应用。模型和资料准备好后，这里的推理与检索可以在本地完成，适合用来搭建内网知识助手、运维助手。平时仍然在熟悉的界面里提问，背后的模型服务和资料检索则由 InfiniLM 与 InfiniTensor 提供。\n\n\n## 🔗项目仓库\n\n- **InfiniLM**：https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniLM\n- **InfiniTensor**：https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTensor\n\n\n\n## 关注与交流\n\n![](https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002F99a0e187-6a55-4c13-9ff3-bce3eee422c8.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0qYkzWqlaOFCtrX%2FtL3zhGmQ06c%3D)",{"publishTime":106,"createTime":114,"canonicalPath":115,"id":116,"title":117},"2026-11-02 12:24:05","\u002Fnews\u002F60d71ec8-450f-40b7-842f-44af5a77f836","60d71ec8-450f-40b7-842f-44af5a77f836","九源开源技术周 04 | 九齿多后端，让简单的算子代码跑得更快","2026-11-02 12:27:45","\u002Fnews\u002F70b72480-df03-4333-a4f3-2f7476646b6a","70b72480-df03-4333-a4f3-2f7476646b6a","markdown",{"publishTime":123,"createTime":124,"canonicalPath":125,"id":126,"title":127},"2026-11-03 00:00:00","2026-11-02 12:13:31","\u002Fnews\u002F464432a7-37ce-4f2c-b2ea-a8620ff0bd1b","464432a7-37ce-4f2c-b2ea-a8620ff0bd1b","2026 GAI+C 大会智能计算分论坛在京举办，多项全栈自主成果重磅发布",{"htmlContent":129,"headings":130},"\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002Fafd9ae43-a619-444a-b785-5e3837d7e780.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=bOEZZVRh7CU%2BoTDfUdPBW%2BW9LX4%3D\" alt=\"\">\u003C\u002Fp>\n\u003Cp>让智能体帮忙排查一次服务启动失败，我们可能只会说一句："看看日志，帮我找找原因。"它却得先读报错，再查部署手册，发现信息不够，还要回头检查配置。用户问了一句话，背后可能已经跑了好几轮模型和工具。\u003C\u002Fp>\n\u003Cp>这也给底层推理提出了新的要求：模型要能说清楚调用什么工具，读懂工具返回的结果，再接着往下做；遇到模型没见过的内部资料，还需要有办法把相关内容找出来。这次，\u003Cstrong>InfiniLM\u003C\u002Fstrong> 和 \u003Cstrong>InfiniTensor\u003C\u002Fstrong> 分别补上了这两部分能力，让我们可以把本地模型和资料检索接进常用的智能体。\u003C\u002Fp>\n\u003Ch3 id=\"让模型把工具真正用起来\">\u003Ca class=\"anchor\" href=\"#让模型把工具真正用起来\" aria-label=\"跳转到标题：让模型把工具真正用起来\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>让模型把工具真正用起来\u003C\u002Fh3>\u003Cp>模型说一句“我来查一下文档”，程序还没法直接执行。它需要知道调用哪个工具、查询什么、返回几条结果。InfiniLM 会把智能体提供的工具说明和参数定义传给模型，再将模型的输出整理成明确的调用信息，包括\u003Cstrong>工具名称、参数，以及用于关联结果的调用标识\u003C\u002Fstrong>。\u003C\u002Fp>\n\u003Cp>不同模型表达工具调用的方式并不一样，有的用 JSON，有的用专门的标签。InfiniLM 在服务端处理这些差异，通过兼容 \u003Cstrong>OpenAI 风格的 Chat Completions 接口\u003C\u002Fstrong>返回统一的结果。接入这一接口的智能体，就可以继续使用自己的工具执行流程，不必逐个解析模型的原始输出。\u003C\u002Fp>\n\u003Cp>真正做任务时，一次调用通常还不够。比如查到"先检查动态库搜索路径"之后，模型还得读一下当前配置，才能判断问题出在哪里。上层智能体执行工具，把结果连同对话历史再次提交给 \u003Cstrong>InfiniLM\u003C\u002Fstrong>；InfiniLM 将这些信息组织成下一轮输入，并对应好每次调用和返回结果，让模型沿着已有线索继续分析。\u003C\u002Fp>\n\u003Cp>流式交互也要处理好这件事。普通回复、思考内容和工具调用会分别传递，工具参数完整并通过检查后，再交给上层处理。这样，界面可以持续展示进展，智能体也能拿到完整的调用信息，继续执行后面的步骤。\u003C\u002Fp>\n\u003Ch3 id=\"让智能体查到自己的资料\">\u003Ca class=\"anchor\" href=\"#让智能体查到自己的资料\" aria-label=\"跳转到标题：让智能体查到自己的资料\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>让智能体查到自己的资料\u003C\u002Fh3>\u003Cp>再来看查资料这一边。用户问"为什么启动时找不到库"，部署手册里写的可能是"动态链接库搜索路径"。两句话意思相关，字面却不一样。资料一多，只靠关键词就容易漏掉真正有用的段落。\u003C\u002Fp>\n\u003Cp>InfiniTensor 这次接入了 \u003Cstrong>BGE-small-zh-v1.5 中文向量模型\u003C\u002Fstrong>，将文本编码成 512 维向量，用相似度寻找相关内容。建库时，先把资料拆成合适长度的片段，计算并保存向量；查询时，只需要编码当前问题，再从已有索引里找出相关原文。每次提问都不用重新为整份知识库计算向量。\u003C\u002Fp>\n\u003Cp>这里还有一个很实际的问题：建库是一批长短不一的文档，查询可能只有一句话。对推理框架来说，批量和序列长度一直在变。InfiniTensor 可以在同一个模型实例中保留计算图和权重，根据当前输入调整执行所需的形状，换一批文本时不用重新加载模型。\u003C\u002Fp>\n\u003Cp>文本接口也会自动分批，按当前批次中最长的文本补齐长度。一句短问题用不着总被补到模型允许的最大长度，调用方也不用自己把文档凑成固定大小的批次。这让同一个向量模型既能处理批量建库，也能持续接收零散查询。\u003C\u002Fp>\n\u003Cp>把检索封装成工具后，两部分就接上了：\u003Cstrong>InfiniLM 支撑大模型判断下一步做什么，智能体负责执行工具，InfiniTensor 为检索提供文本向量\u003C\u002Fstrong>，找到的原文再送回模型。\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002F1a12a2f1-f959-45b4-a9e8-c4a96aed941b.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=dVoRwt58ekWrQK1huuomZUTiQj4%3D\" alt=\"由智能体衔接模型推理与工具执行，将本地资料带入后续判断\">\u003C\u002Fp>\n\u003Ch3 id=\"先把模型服务接到-pilotdeck\">\u003Ca class=\"anchor\" href=\"#先把模型服务接到-pilotdeck\" aria-label=\"跳转到标题：先把模型服务接到 PilotDeck\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>先把模型服务接到 PilotDeck\u003C\u002Fh3>\u003Cp>接下来用一个简单例子看看怎么用。我们在同一台 Linux\u002FNVIDIA 机器上运行 PilotDeck 和模型服务。PilotDeck 可以直接安装并启动：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-bash\">curl -fsSL https:\u002F\u002Fraw.githubusercontent.com\u002FOpenBMB\u002FPilotDeck\u002Fmain\u002Finstall.sh | bash\npilotdeck\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>打开终端提示的网址，就能进入智能体界面。安装好支持工具调用的 InfiniLM，并准备好 Qwen3-4B 模型后，另开一个终端，在 InfiniLM 仓库目录启动服务：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-bash\">python pythoninference_server.py \\\n  --model \u002Fmodels\u002FQwen3-4B \\\n  --device nvidia --dtype bfloat16 --tp 1 \\\n  --max-batch-size 1 \\\n  --max-cache-len 32768 --max-new-tokens 4096 \\\n  --tool-call-parser hermes \\\n  --host 127.0.0.1 --port 8000\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>这里的 \u003Ccode>--tool-call-parser hermes\u003C\u002Fcode> 启用了 Qwen3 对应的工具调用解析。然后在 PilotDeck 的"\u003Cstrong>设置 → 模型池\u003C\u002Fstrong>"里添加自定义服务：\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth align=\"left\">配置项\u003C\u002Fth>\n\u003Cth align=\"left\">本文示例\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd align=\"left\">服务商 ID\u003C\u002Ftd>\n\u003Ctd align=\"left\">\u003Ccode>infinilm\u003C\u002Fcode>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">协议\u003C\u002Ftd>\n\u003Ctd align=\"left\">\u003Ccode>openai\u003C\u002Fcode>（Chat Completions）\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">服务地址\u003C\u002Ftd>\n\u003Ctd align=\"left\">\u003Ccode>http:\u002F\u002F127.0.0.1:8000\u002Fv1\u003C\u002Fcode>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">API Key\u003C\u002Ftd>\n\u003Ctd align=\"left\">\u003Ccode>local-infinilm\u003C\u002Fcode>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd align=\"left\">模型 ID\u003C\u002Ftd>\n\u003Ctd align=\"left\">\u003Ccode>Qwen3-4B\u003C\u002Fcode>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Cp>本例没有开启服务端鉴权，API Key 使用占位值即可。模型按纯文本配置，上下文长度和最大输出分别设为 \u003Cstrong>32768、4096 token\u003C\u002Fstrong>，与启动参数一致。\u003C\u002Fp>\n\u003Cp>选中这个模型，打开一个项目目录，就可以试着问："读取 README.md，告诉我这个项目怎么启动。"这已经会经过\u003Cstrong>模型提出调用 → 智能体读取文件 → 模型根据结果回答\u003C\u002Fstrong>的完整过程。\u003C\u002Fp>\n\u003Ch3 id=\"再加上自己的资料库\">\u003Ca class=\"anchor\" href=\"#再加上自己的资料库\" aria-label=\"跳转到标题：再加上自己的资料库\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>再加上自己的资料库\u003C\u002Fh3>\u003Cp>安装好 InfiniTensor、准备好它导出的 BGE 模型包之后，把资料整理成 \u003Ccode>documents.jsonl\u003C\u002Fcode>，每行包含一个唯一的 \u003Ccode>id\u003C\u002Fcode> 和一段 \u003Ccode>text\u003C\u002Fcode>。在 InfiniTensor 的独立 Python 环境中，进入仓库目录，先建库，再查询：\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-bash\">python examplesembedding_retrieval.py \\\n  --model-dir \u002Fmodels\u002Fbge-small-zh \\\n  encode --documents documents.jsonl --output indexes\u002Fknowledge\n\npython examplesembedding_retrieval.py \\\n  --model-dir \u002Fmodels\u002Fbge-small-zh \\\n  query --index indexes\u002Fknowledge --text '启动时找不到动态库怎么办？' --top-k 5\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>第一条命令把资料保存成向量索引，第二条从中找出最相关的 5 段内容，并返回原文、文档 ID 和相关度分数。到这里，就可以先看检索能不能找到自己需要的资料。\u003C\u002Fp>\n\u003Cp>要让 PilotDeck 自动查询这份资料库，可以将查询接口封装成 \u003Ccode>search_knowledge\u003C\u002Fcode> 这样的 \u003Cstrong>MCP 工具\u003C\u002Fstrong>。MCP 是智能体连接外部工具的一种通用方式；启动检索服务后，在 PilotDeck 的"\u003Cstrong>设置 → MCP 服务器\u003C\u002Fstrong>"中添加它，填写实际服务地址即可。这个工具服务保留一个常驻的向量模型实例，就能复用前面提到的计算图和权重。\u003C\u002Fp>\n\u003Cp>接好以后，再问："读取启动日志，查一下部署资料，帮我判断为什么找不到动态库，回答时带上资料 ID。"智能体就有了\u003Cstrong>读日志\u003C\u002Fstrong>和\u003Cstrong>查内部资料\u003C\u002Fstrong>两种手段，我们也可以顺着原文核对它的判断。\u003C\u002Fp>\n\u003Cp>同样的方式也可以用于 OpenClaw 等支持相应模型接口和 MCP 工具的智能体应用。模型和资料准备好后，这里的推理与检索可以在本地完成，适合用来搭建内网知识助手、运维助手。平时仍然在熟悉的界面里提问，背后的模型服务和资料检索则由 InfiniLM 与 InfiniTensor 提供。\u003C\u002Fp>\n\u003Ch2 id=\"项目仓库\">\u003Ca class=\"anchor\" href=\"#项目仓库\" aria-label=\"跳转到标题：🔗项目仓库\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>🔗项目仓库\u003C\u002Fh2>\u003Cul>\n\u003Cli>\u003Cstrong>InfiniLM\u003C\u002Fstrong>：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniLM\">https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniLM\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli>\u003Cstrong>InfiniTensor\u003C\u002Fstrong>：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTensor\">https:\u002F\u002Fgithub.com\u002FInfiniTensor\u002FInfiniTensor\u003C\u002Fa>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2 id=\"关注与交流\">\u003Ca class=\"anchor\" href=\"#关注与交流\" aria-label=\"跳转到标题：关注与交流\">\u003Cspan class=\"octicon octicon-link\">\u003C\u002Fspan>\u003C\u002Fa>关注与交流\u003C\u002Fh2>\u003Cp>\u003Cimg src=\"https:\u002F\u002Foss.infinitensor.com\u002Fprod\u002Fdata\u002Fqy-test\u002Fuploads\u002F2026-11\u002F99a0e187-6a55-4c13-9ff3-bce3eee422c8.jpg?Expires=1793615529&OSSAccessKeyId=LTAI5t9R6uzvTa69CT92cFvV&Signature=0qYkzWqlaOFCtrX%2FtL3zhGmQ06c%3D\" alt=\"\">\u003C\u002Fp>\n",[131,133,135,138,140,144],{"id":132,"text":132,"level":9},"让模型把工具真正用起来",{"id":134,"text":134,"level":9},"让智能体查到自己的资料",{"id":136,"text":137,"level":9},"先把模型服务接到-pilotdeck","先把模型服务接到 PilotDeck",{"id":139,"text":139,"level":9},"再加上自己的资料库",{"id":141,"text":142,"level":143},"项目仓库","🔗项目仓库",2,{"id":145,"text":145,"level":143},"关注与交流"]