Python 编程最佳 LLM:如何选型与测试
没有适用于 Python 编程的最佳 LLM,因为答案取决于你的任务、上下文大小以及你愿意为每次请求支付的费用。本文提供了评估标准、三种编程工作流的可用代码,以及一个小型框架,用于在你的实际工作中比较模型。
更新于

要点
- 公开排行榜只是一个起点。在你的代码库上运行一个包含 50 个任务的测试能告诉你更多。
- 对于 API 使用,请检查上下文大小、函数调用、JSON 模式、确定性设置和每次请求的价格。
- 此 API 提供一个上下文窗口为 100,000 token、支持函数调用和 JSON 模式的开放权重模型,价格为每 1M token $0.15 和 $0.50。
- 一次 150 次调用的评估运行成本约为 5 美分,因此评估比猜测更便宜。
为什么没有模型对所有人都最好
Python 开发涵盖的工作差异很大。编写一个十行的辅助函数、重构一个 2,000 行的模块、阅读堆栈跟踪、生成测试、将 shell 脚本转换为 Python 以及构建一个编辑文件的工具,这些都是编程。一个模型可能在某一方面很强,而在另一方面表现平庸。排行榜是许多任务和许多语言的平均结果。你的代码库、你的风格规则和你的库只是其中的一小部分。
因此,对该问题的实际答案是采取一套流程。确定你的需求,筛选出两三个符合技术要求的模型,将相同的任务通过每个模型运行一遍,并统计有多少任务通过了你自己的测试。本文的其余部分将介绍这些要求,然后展示如何针对此 API 进行测试。
在细节之前还有最后一点。本网站背后的服务运行着一个开放权重模型,由独立提供商运营,并针对合法成人用途进行了调整,使其在没有内容拒绝的情况下回答。它不是任何模型供应商的官方 API,这里也没有基准测试声明。将其作为你候选名单中的一个候选项,并像对待任何其他模型一样对其进行测量。
API 的关键标准
如果你从代码调用模型而不是在编辑器中与其聊天,少量技术属性决定了它是否适合。
| 标准 | 为什么它对 Python 工作很重要 | 此 API |
|---|---|---|
| 上下文窗口 | 整个模块、长回溯和测试输出必须能容纳,并为答案留出空间 | 100,000 token,提示词加上补全 |
| 函数调用 | 让模型运行代码、测试和 linter,然后对输出做出反应 | 是:工具、tool_choice、流式 tool_calls |
| JSON 模式 | 机器可读的审查、lint 报告和重构计划 | 是:response_format json_object |
| 可重复性 | 较低的温度参数和固定的种子使测试运行具有可比性 | temperature、top_p、stop、seed 和惩罚被透传 |
| 流式输出 | 响应式工具和长生成 | SSE 并在末尾提供使用情况 |
| 价格 | Agent 循环多次重新发送上下文 | 每 1M token 输入 $0.15,输出 $0.50 |
| 拒绝响应 | 你拥有的系统的安全工具、爬虫和红队脚本是合法的,但 API 经常拒绝 | 针对合法成人使用,回答时不进行内容拒绝调优 |
表格没有说明代码质量,因为上述属性是事实,而质量是你测试的东西。质量也会随提示词变化。固定 Python 版本、允许库和答案格式的系统消息往往与模型本身一样重要。
此 API 仅支持文本。你将代码作为文本发送到提示词中,并返回文本。没有图像、音频或视频生成,没有嵌入和微调,因此需要嵌入的代码搜索系统必须从其他地方获取嵌入。
工作流 1:使用严格提示词生成函数
从最简单的情况开始:要求一个函数并提取代码块。低温度提供稳定的输出。系统消息固定语言版本和回复格式,这使得提取成为一行正则表达式。从 密钥页面 获取密钥,并将其导出为 LLM_API_KEY。
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
三个提示词使用习惯有助于此。指定 Python 版本,这样模型就不会使用你无法运行的语法。说“仅限标准库”,除非你真的想要第三方包。并且要求简短回答,因为长解释会消耗输出 token,而且很少会改变代码。如果模型在代码块后继续添加非代码文本,传递 stop 序列,或者像正则表达式那样剥离围栏之外的所有内容。
工作流 2:让模型运行并修复自己的代码
可靠性的最大飞跃通常来自工具调用。与其要求代码并碰运气,不如给模型一个执行脚本并返回输出的函数。它编写代码,运行它,阅读回溯并纠正自己。工具调用结果以 role: "tool" 的消息返回,由 tool_call_id 匹配。
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
小心处理 run_python 函数。它在你的机器上以你的权限执行模型编写的代码。对于超出一次性实验的任何内容,请在容器或临时虚拟机中运行它,没有网络、有时间限制且无法访问你的凭据。示例中的十秒超时和修剪后的输出是最低要求。
循环限制为五轮,以便困惑的模型不会无限旋转。在实践中,大多数简单函数需要一到两次运行。如果你看到模型重复相同的失败调用,将回溯以文字形式添加到下一个用户消息中,或降低温度。请记住,流式工具调用请求在其流结束之前保持其并发槽位,且完整密钥允许 8 个并发请求,因此共享一个密钥的团队应排队 agent 运行。
工作流 3:使用 JSON 模式进行结构化代码审查
当脚本可以读取审查结果时,审查就很有用。JSON 模式强制有效的 JSON,系统消息定义形状。使用 temperature 0 和固定的 seed,同一文件在重复运行中产生相同的审查,这使得运行之间的差异有意义。
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
从 pre-commit 钩子或 CI 步骤使用它,并将结果打印为注释。预期假阳性和假阴性。模型审查者是一双快速且永不疲倦的眼睛,但它不能替代测试、类型检查器或 linter。先运行这些,并使用模型查看它们看不到的内容,例如不清晰的命名、缺失的边缘情况和吞没异常的异常处理。
100,000 token 的上下文窗口允许在一个请求中包含整个文件,有时是小包。正文限制为 8 MB,使用源代码时不会达到。如果审查被截断,请检查是否将 max_tokens 设置得太低;该参数是可选的,补全可能会使用上下文剩余的部分。
在你的任务上测试模型
这是一个小型测试框架,它做了排行榜无法做的事情:它针对你的测试运行你的任务。每个任务都有一个提示词和一个测试片段。脚本多次要求模型提供代码,将测试附加到代码中,运行结果并计算通过次数。更改 base URL 和模型名称以以相同方式比较另一个提供商。
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
将任务列表扩展到 30 或 50 项,取自真实工作:你上个月修复的 bug、你编写的解析器、具有棘手边缘情况的函数。包括一些其他工具拒绝或犹豫的任务。每个任务运行三到五次,因为一个样本说明不了什么。记录通过率、平均输出长度和每个任务的成本,并将结果保存在文件中,以便在更改提示词后重新运行。如前所述,在沙箱中运行生成的代码。
查看失败情况,而不仅仅是百分比。如果大多数遗漏来自一个库,请在系统消息中添加提示。如果它们来自模型发明函数名称,请在提示词中提供相关签名。如果它们来自长输入,在责怪模型之前测试更短的提示词。
编程工作的成本
价格为每 1M 输入 token $0.15,每 1M 输出 token $0.50,失败或被拒绝的请求不收费。三个带有数学计算的示例:
- 评估运行。 50 个任务 x 3 个样本是 150 次调用。每次 400 个输入和 600 个输出 token,输入为 60,000 token($0.009),输出为 90,000 token($0.045)。总计:$0.054。
- 文件审查。 约 600 行的文件大约包含 8,000 个 token,审查需要 1,200 个 token。输入成本为 $0.0012,输出成本为 $0.0006,总计 $0.0018。500 次审查的成本为 $0.90。
- Agent 循环。 经过 6 轮迭代,总共发送 18,000 个输入 token 并接收 1,500 个输出 token 的修复操作,成本为 $0.0027 加上 $0.00075,即 $0.00345。
Agent 循环占主导地位,因为每一轮都会重新发送不断增长的对话。像示例那样精简工具输出,你就可以控制大部分账单。充值金额为 $20至 $500之间的任意整笔金额,从 $50起 +5%,从 $100起 +10%,从 $200起 +15%,通过 TRC20 上的 USDT 或 Base 上的 USDC 支付,额度永不过期。查看 定价。新账户也可以一键领取 $0.50的试用额度,用于进行几次评估运行。试用密钥允许 2 个并发请求和每分钟 60 个请求。
当其他选择更优时
诚实地看待任何单一接口的局限性。如果你需要一个支持内联补全的编辑器插件、厂商构建的代码 Agent 或与某云工具紧密集成,专为该目的构建的产品可能更适合你,你应该查看它们当前的定价和条款。如果你的代码从不触发拒绝,该模型的拒绝行为对你没有优势,你的测试结果应作为决定依据。如果你需要嵌入或图像输入,你需要其他服务来处理这些部分。当你需要一个可以从脚本和工具调用的普通 OpenAI 兼容接口,拥有大上下文窗口、工具调用和低价格时,该 API 是理想选择。API 文档列出了完整的参数集。
更多指南
问答
这是适合 Python 工作的模型吗?
没有哪个模型在所有任务中都是最好的。该 API 提供一个支持工具调用、JSON 模式和 100,000-token 上下文窗口的开放权重模型,上述框架可让你将其与自己的测试进行对比。
模型能运行我的 Python 代码吗?
不能单独运行。你需要定义一个工具(例如 run_python),你的代码执行该工具并返回工具消息。请在沙箱中运行。
一个请求能容纳多大的代码库?
窗口大小为 100,000 个 token,包含提示词和补全。这可以一次性覆盖许多文件,但无法覆盖整个大型仓库。
它与 OpenAI Python 包兼容吗?
兼容。将 base_url 设置为 API URL,传入你的密钥,并使用模型 ID uncensored。
一次测试运行成本多少?
一次包含 150 次代码调用、每次输入 400 个 token 和输出 600 个 token 的运行,成本约为 $0.054。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。
Base URLhttps://api.visionllmapi.com/v1