一次提问,多模型并行流式竞速与质量对比。更集成了可视化工作流编排(Agent Studio)、提示词自优化(Prompt Coach)及智能体开发模块,完全本地运行,掌控数据隐私。
def bubble_sort(arr):
n = len(arr)
for i in range(n):
for j in range(0, n-i-1):
if arr[j] > arr[j+1]:
arr[j], arr[j+1] = arr[j+1], arr[j]
def bubble_sort(arr):
for i in range(len(arr)):
for j in range(len(arr)-i-1):
if arr[j] > arr[j+1]:
arr[j], arr[j+1] = arr[j+1], arr[j]
return arr
def bubbleSort(arr):
n = len(arr)
# 遍历所有数组元素
for i in range(n):
for j in range(0, n-i-1):
if arr[j] > arr[j+1]:
arr[j], arr[j+1] = arr[j+1], arr[j]
无论是做模型选型、评测速度,还是可视化编排复杂的工作流,LLM Runner 都是您的得力助手。
支持一次提问向数十个模型同时发送请求,响应流实时同步输出。首 Token 延迟、生成速率(TPS)一目了然。
每个输出 Token 对应一个色彩方格,其颜色深浅动态映射生成速度,并在结束后自动为模型速度进行排行。
基于 React Flow 编排 API、LLM 生成、条件分支和自定义插件节点。提供单步节点调试与完整的变量输入绑定。
建立测试用例库,配置自动评估标准,模型将在多次运行中自我评估并自动修改 Prompt,直到符合最优表现。
可快速开发配置 ReAct 智能体。绑定自定义 JSON 格式的 OpenAI 工具,并支持打包为单文件规格进行导出与分发。
您的所有 API Key、工作流及对话历史均存储在您本机,绝不经过第三方中转。全面保护您的数据资产安全。
通过可视化的图形界面,像画思维导图一样编排大模型。实现逻辑分支判断、HTTP 外部 API 调用与本地插件的无缝衔接。
在「开始」节点配置外部输入参数,支持强类型变量。在后续 LLM 及 HTTP 节点中,通过双大括号无缝插值引用。
设定 LLM 节点的输出格式为 JSON,在 UI 中直接配置期望的字段名称 and 类型,系统将发送严格的 JSON 约束并自动校验。
无需从头开始跑完整个图。右键点击任意节点即可填入模拟数据进行单步测试,直观查看耗时与输出结果,快速定位 bug。
编写 Prompt 是个玄学?LLM Runner 将其转变为严谨的工程化测试。让模型在不断的反馈中自我调优,迭代出最佳版本。
在以往,修改 Prompt 往往是一次随意的尝试,并且极易引入“修好了一个,却改坏了其他用例”的问题(Regression)。
Prompt Coach 提供了一个科学的调优闭环:首先录入代表性的黄金测试用例,再配置目标准确率。启动任务后,模型会并发运行多个候选版本,自动评估输出并撰写针对性的微调指令,自动生成更强大的下一轮提示词。
告别单凭感觉的响应速度判定。通过高精度时间戳统计与首 Token 延迟捕获,多模型速度直观对比。
通过灵活的 Base URL 配置,您可以接入各大主流模型提供商,或任意第三方兼容转发接口,甚至是本地 Ollama 实例。
完全本地运行的桌面工作台 · 现已提供 Windows 与 Linux x86_64 版本