Python 程式設計最佳 LLM:如何挑選與測試
沒有單一最好的 Python 程式設計 LLM,因為答案取決於你的任務、上下文大小以及你願意為每個請求支付的金額。本文提供標準、三個程式碼工作流程的程式碼,以及一個小型測試框架,讓你在自己的工作上比較模型。
更新於

重點摘要
- 公開排名僅是起點。在你的程式碼庫上進行 50 個任務的測試能提供更多資訊。
- 對於 API 使用,請檢查上下文大小、函式呼叫、JSON 模式、確定性設定與每個請求的價格。
- 此 API 提供一個帶有 100,000 token 上下文視窗、函式呼叫與 JSON 模式的開放權重模型,價格為每 1M token $0.15 與 $0.50。
- 一次 150 次呼叫的評估執行成本約 5 美分,因此測量比猜測更便宜。
為什麼沒有模型對所有人都是最好的
Python 程式設計涵蓋非常不同的工作。撰寫十行輔助程式、重構 2,000 行的模組、閱讀堆疊追蹤、生成測試、將 shell 腳本轉換為 Python,以及建立編輯檔案的工具,這些都是程式設計,而模型可能在某一方面很強,但在另一方面表現平庸。排行榜是針對許多任務和許多語言的平均值。你的程式碼庫、你的風格規則和你的程式庫只是其中的一小部分。
因此,針對這個問題的實際答案是程序。決定你需要什麼,列出符合技術要求的兩三個模型,讓每個模型執行相同的任務,並計算通過你自己測試的數量。本文的其餘部分涵蓋這些要求,然後展示如何針對此 API 進行測試。
在細節之前還有另一點。此網站後面的服務運行一個開放權重模型,由獨立供應商運營,並針對合法成人用途進行調整以無審查地回答。它不是任何模型供應商的官方 API,這裡也沒有基準聲稱。將其視為候選名單中的一個候選人,並像其他任何模型一樣衡量它。
API 的關鍵標準
如果你從程式碼呼叫模型而不是在編輯器中與之聊天,一些技術特性將決定它是否適合。
| 標準 | 為什麼它對 Python 工作很重要 | 此 API |
|---|---|---|
| 上下文視窗 | 整個模組、長追蹤堆疊和測試輸出必須在留有回答空間的情況下容納 | 100,000 token,含提示詞與補全 |
| 工具呼叫 | 讓模型透過工具執行程式碼、測試和 linter,然後對輸出做出反應 | 是:工具、tool_choice、串流輸出的 tool_calls |
| JSON 模式 | 機器可讀取的審查、linter 報告和重構計劃 | 是:response_format json_object |
| 可重複性 | 較低的溫度和固定的種子可使測試執行結果具有可比性 | temperature、top_p、stop、seed 和 penalties 會直接傳遞 |
| 串流輸出 | 響應式工具和長生成 | SSE,並在結尾提供用量 |
| 價格 | Agent 迴圈多次重新發送上下文 | 每 1M token 輸入 $0.15,輸出 $0.50 |
| 拒絕回應 | 你擁有系統的安全工具、爬蟲和紅隊腳本是合法的,但經常被拒絕 | 經過調整,可在合法成人用途下無內容拒絕地回答 |
表格沒有說明程式碼品質,因為上述特性是事實,而品質是你需要測試的。品質也會隨提示詞而變化。系統訊息固定 Python 版本、允許的程式庫和回答格式,其重要性往往與模型相當。
此 API 僅限文字。你將程式碼作為文字傳入提示詞,並獲得文字返回。沒有影像、音訊或影片生成,沒有嵌入和微調,因此需要嵌入的程式碼搜尋系統必須從其他地方獲取它們。
工作流程 1:生成函式,使用嚴格提示詞
從最簡單的情況開始:要求一個函式並提取程式碼區塊。低溫度可產生穩定的輸出。系統提示詞會鎖定語言版本和回覆格式,使提取動作只需一行正則表達式即可。從金鑰頁面取得金鑰,並將其匯出為LLM_API_KEY。
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
這裡有三個提示詞習慣可以幫助你。指定 Python 版本,以免模型使用你無法執行的語法。除非你真的需要第三方套件,否則請說「僅限標準函式庫」。並要求簡短的回答,因為長篇解釋會消耗輸出 token,且通常不會改變程式碼。如果模型在區塊後持續添加文字,請傳遞一個stop序列,或像正則表達式那樣移除柵欄外的所有內容。
工作流程 2:讓模型運行並修正自己的程式碼
可靠性最大的提升通常來自函式呼叫。與其要求程式碼並希望如此,不如給模型一個執行腳本並返回輸出的函式。它編寫程式碼、執行它、閱讀追蹤追蹤並自我修正。工具結果作為帶有 role: "tool" 的訊息返回,由 tool_call_id 匹配。
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
謹慎處理 run_python 函式。它在你的機器上以你的權限執行模型編寫的程式碼。對於超出一次性實驗的任何內容,請在容器或可棄置的虛擬機器中執行它,沒有網路、有時限且無法訪問你的憑證。十秒超時和範例中的修剪輸出是最低要求。
迴圈限制在五輪以內,以免困惑的模型無限迴圈。實際上,大多數簡單函式只需一兩次執行即可。如果你看到模型重複執行相同的失敗呼叫,請將追蹤資訊以文字形式加入下一個使用者提示詞,或降低溫度。請注意,串流輸出的函式呼叫請求會佔用其並行槽位,直到串流結束為止,且完整金鑰允許 8 個並行請求,因此共享一個金鑰的團隊應對代理程式執行進行排隊。
工作流程 3:使用 JSON 模式進行結構化程式碼審查
當腳本能讀取審查時,審查就很有用。JSON 模式強制有效的 JSON,系統訊息定義形狀。使用 temperature 0 和固定的 seed,同一個檔案在重複執行中產生相同的審查,這使得執行之間的差異有意義。
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
從 pre-commit hook 或 CI 步驟中使用此功能,並將結果以註解形式列印。預期會有誤報和漏報。模型審查者是一雙快速且不知疲倦的「第二雙眼睛」,但它無法取代測試、型別檢查器或程式碼檢查器。先執行這些工具,並讓模型處理它們無法察覺的問題,例如命名不清、缺少邊界情況以及吞沒例外的錯誤處理。
100,000 token 的上下文視窗允許在一個請求中包含整個檔案和有時的小型套件。主體限制為 8 MB,使用原始程式碼時不會達到。如果審查被截斷,請檢查是否將 max_tokens 設得太低;該參數是可選的,補全可能會使用上下文視窗中剩餘的部分。
在你的任務上測試模型
這裡有一個小型測試框架,可完成排行榜無法做到的事:它將你的任務與你的測試進行比對執行。每個任務都包含一個提示詞和一個測試程式碼片段。腳本會多次要求模型提供程式碼,將測試附加到程式碼後執行結果並計算通過次數。更改 Base URL 和模型名稱,即可用相同方式比較其他供應商。
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
將任務列表擴展到 30 或 50 項,取自實際工作:你上個月修復的錯誤、你編寫的解析器、具有棘手邊界情況的函式。包括一些其他工具拒絕或猶豫的任務。每個任務運行三到五次,因為一個樣本說明不了什麼。記錄通過率、平均輸出長度以及每個任務的成本,並將結果保存在文件中,以便在更改提示詞後重新運行。如前所述,在沙箱中運行生成的程式碼。
查看失敗案例,而不僅是百分比。如果大多數遺漏來自某個函式庫,請在系統提示詞中添加提示。如果它們來自模型發明函式名稱,請在提示詞中提供相關的函式簽名。如果它們來自長輸入,請在歸咎於模型之前,測試較短的提示詞。
程式開發工作的成本
價格為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,失敗或遭拒的請求不會收費。三個含計算過程的範例:
- 評估執行。 50 個任務 x 3 個樣本等於 150 次呼叫。每次 400 個輸入和 600 個輸出 token,輸入為 60,000 token ($0.009),輸出為 90,000 token ($0.045)。總計:$0.054。
- 檔案審查。一個約 600 行的檔案大約是 8,000 個 token,審查需要 1,200 個 token。輸入費用為 $0.0012,輸出費用為 $0.0006,總計 $0.0018。五百次審查費用為 $0.90。
- Agent 循環。一個進行六輪修正的循環,總共發送 18,000 個輸入 token 並接收 1,500 個輸出 token,費用為 $0.0027 加上 $0.00075,即 $0.00345。
代理程式迴圈佔主導地位,因為每輪都會重新發送不斷增長的對話。如範例所示,縮減工具輸出,即可控制大部分帳單。儲值金額為 $20 至 $500 的整數金額,$50 起加贈 5%、$100 起加贈 10%、$200 起加贈 15%,以 TRC20 上的 USDT 或 Base 上的 USDC 支付,額度無過期日。請見定價。新帳戶也可以一鍵領取 $0.50 的免費試用額度,用於執行幾次評估。試用金鑰允許 2 個並行請求和每分鐘 60 次請求。
當其他選擇更好時
誠實面對任何單一端點的局限。如果你想要具有行內補全功能的編輯器外掛、供應商構建的程式碼代理程式,或與單一雲端工具緊密整合的產品,針對該目的而構建的產品可能更適合你,你應該查看它們目前的定價和條款。如果你的程式碼從未觸發拒絕,此模型的拒絕行為無法為你帶來優勢,你的測試結果應作為決定依據。如果你需要嵌入或影像輸入,你需要其他服務來處理這些部分。當你需要一個標準的 OpenAI 相容端點,可以從腳本和工具中呼叫,並擁有大視窗、函式呼叫和低價格時,此 API 是良好的選擇。API 文件列出了完整的參數集。
更多指南
問答
這是適合 Python 工作的模型嗎?
沒有單一模型適合所有任務。此 API 提供一個具有函式呼叫、JSON 模式和 100,000-token 上下文視窗的開放權重模型,上述基準測試可讓你將其與自己的測試進行比較。
模型可以執行我的 Python 程式碼嗎?
並非如此。你定義一個工具(例如 run_python),你的程式碼執行它並將輸出作為工具訊息返回。在沙箱中執行。
一個請求可以容納多大的程式碼庫?
視窗大小為 100,000 個 token,用於提示詞與補全。這涵蓋了許多檔案,但無法涵蓋整個大型程式碼庫。
它與 OpenAI Python 套件相容嗎?
是的。將 base_url 設為 API URL,傳入你的金鑰,並使用模型 ID uncensored。
一次測試運行費用多少?
一次包含 150 次程式碼呼叫的運行,每次 400 個輸入 token 和 600 個輸出 token,費用約為 $0.054。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
Base URLhttps://api.visionllmapi.com/v1