Najlepszy LLM do kodowania w Pythonie: Jak wybrać i przetestować
Nie ma jednego najlepszego LLM do kodowania w Pythonie, ponieważ odpowiedź zależy od Twoich zadań, rozmiaru okna kontekstu i tego, ile jesteś w stanie zapłacić za zapytanie. Ten artykuł dostarcza kryteriów, działającego kodu dla trzech przepływów pracy kodowania oraz małego harnessa do porównywania modeli na Twoich własnych zadaniach.
Zaktualizowano

Kluczowe punkty
- Publiczne rankingi to punkt wyjścia. Test na 50 zadaniach na Twoim własnym repozytorium mówi więcej.
- Do użytku API sprawdź rozmiar okna kontekstu, wywoływanie funkcji, tryb JSON, ustawienia deterministyczne i cenę za zapytanie.
- To API obsługuje jeden model o otwartych wagach z oknem 100 000 tokenów, wywoływaniem funkcji i trybem JSON, w cenie $0,15 i $0,50 za 1 mln tokenów.
- Test oceny na 150 wywołaniach kosztuje około 5 centów, więc mierzenie jest tańsze niż zgadywanie.
Na tej stronie
- Dlaczego żaden model nie jest najlepszy dla każdego
- Kryteria istotne dla API
- Przepływ pracy 1: generowanie funkcji z rygorystycznym promptem
- Przepływ pracy 2: pozwól modelowi uruchomić i naprawić własny kod
- Przepływ pracy 3: strukturalny przegląd kodu w trybie JSON
- Przetestuj modele na własnych zadaniach
- Koszt pracy programistycznej
- Kiedy lepsza jest inna opcja
- Więcej przewodników
Dlaczego żaden model nie jest najlepszy dla każdego
Kodowanie w Pythonie obejmuje bardzo różne zadania. Napisanie dziesięciolinijkowej funkcji pomocniczej, refaktoryzacja 2000-wierszowego modułu, czytanie śladu stosu, generowanie testów, tłumaczenie skryptu powłoki na Pythona i budowanie narzędzia edytującego pliki to wszystko kodowanie, a model może być silny w jednym, a przeciętny w drugim. Tablice liderów uśredniają wyniki dla wielu zadań i wielu języków. Twoje repozytorium, Twoje zasady stylizacji i Twoje biblioteki to wąski wycinek tego obrazu.
Praktyczną odpowiedzią na to pytanie jest procedura. Zdecyduj, czego potrzebujesz, wybierz na krótką listę dwa lub trzy modele spełniające wymagania techniczne, uruchom te same zadania przez każdy z nich i policz, ile z nich przechodzi Twoje własne testy. Reszta tego artykułu omawia wymagania, a następnie pokazuje, jak przeprowadzić testy w tym API.
Jeszcze jedna uwaga przed szczegółami. Usługa stojąca za tą witryną obsługuje jeden model o otwartych wagach, prowadzony przez niezależnego dostawcę i dostrojony do odpowiadania bez odmawiania odpowiedzi dla prawnego użytku przez osoby dorosłe. Nie jest to oficjalne API żadnego dostawcy modeli i nie ma tu żadnych twierdzeń benchmarkowych. Traktuj go jako jednego z kandydatów na Twoją krótką listę i zmierz go jak każdy inny.
Kryteria istotne dla API
Jeśli wywołujesz model z kodu zamiast rozmawiać z nim w edytorze, kilka właściwości technicznych decyduje o tym, czy pasuje.
| Kryterium | Dlaczego ma znaczenie dla pracy w Pythonie | To API |
|---|---|---|
| Okno kontekstu | Całe moduły, długie ślady stosu i wyniki testów muszą zmieścić się z miejscem na odpowiedź | 100 000 tokenów, prompt plus completion |
| Wywoływanie funkcji | Pozwala modelowi uruchomić kod, testy i lintera, a następnie zareagować na wynik | Tak: narzędzia, tool_choice, strumieniowane tool_calls |
| Tryb JSON | Przeglądy czytelne dla maszyn, raporty linterów i plany refaktoryzacji | Tak: response_format json_object |
| Powtarzalność | Niższa temperatura i ustalony seed sprawiają, że uruchomienia testowe są porównywalne | temperature, top_p, stop, seed i kary są przekazywane dalej |
| Strumieniowanie | Responsywne narzędzia i długie generacje | SSE z użyciem na końcu |
| Cena | Pętle agentów wielokrotnie wysyłają kontekst | $0,15 wejście i $0,50 wyjście za 1 mln tokenów |
| Odmowy | Narzędzia bezpieczeństwa, skrapery i skrypty red-team dla systemów, które posiadasz, są prawne, ale często odrzucane | Dostosowany do odpowiadania bez odmawiania odpowiedzi do prawnego użytku przez osoby dorosłe |
Tabela nic nie mówi o jakości kodu, ponieważ powyższe właściwości to fakty, a jakość to coś, co testujesz. Jakość zmienia się również wraz z promptem. Komunikat systemowy, który ustala wersję Pythona, dozwolone biblioteki i format odpowiedzi, często ma tyle samo znaczenia co model.
To API jest tylko tekstowe. Wysyłasz kod jako tekst w promptcie, a otrzymujesz tekst z powrotem. Nie ma generowania obrazów, audio ani wideo, nie ma embeddingsów ani dostrajania, więc system wyszukiwania kodu potrzebujący embeddingsów musi je pozyskać gdzieś indziej.
Przepływ pracy 1: generowanie funkcji z rygorystycznym promptem
Zacznij od najprostszego przypadku: poproś o jedną funkcję i wyodrębnij blok kodu. Niska temperatura daje stabilny wynik. Komunikat systemowy określa wersję języka i format odpowiedzi, co sprawia, że ekstrakcja to jednowierszowy regex. Pobierz klucz ze strony klucza i wyeksportuj go jako LLM_API_KEY.
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
Trzy nawyki w tworzeniu promptów pomagają w tym. Nazwij wersję Pythona, aby model nie sięgał po składnię, której nie możesz uruchomić. Powiedz „tylko biblioteka standardowa”, chyba że naprawdę chcesz pakietów zewnętrznych. I poproś o krótką odpowiedź, ponieważ długie wyjaśnienia kosztują tokeny wyjściowe i rzadko zmieniają kod. Jeśli model nadal dodaje tekst po bloku, przekaż sekwencję stop lub usuń wszystko spoza znaczników, jak to robi wyrażenie regularnego.
Przepływ pracy 2: pozwól modelowi uruchomić i naprawić własny kod
Największy skok w niezawodności zwykle pochodzi z wywoływania funkcji. Zamiast prosić o kod i mieć nadzieję, dajesz modelowi funkcję, która wykonuje skrypt i zwraca wynik. Pisze kod, uruchamia go, czyta stack trace i poprawia się. Wyniki narzędzi wracają jako wiadomości z role: "tool", dopasowane przez tool_call_id.
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
Traktuj funkcję run_python z ostrożnością. Wykonuje kod napisany przez model na Twojej maszynie, z Twoimi uprawnieniami. W przypadku czegokolwiek poza jednorazowym eksperymentem, uruchom go w kontenerze lub jednorazowej maszynie wirtualnej, bez sieci, z limitem czasu i bez dostępu do Twoich danych logowania. Dziesięciosekundowy limit czasu i przycięty wynik w przykładzie to minimum.
Pętla jest ograniczona do pięciu rund, więc zagubiony model nie może kręcić się w nieskończoność. W praktyce większość prostych funkcji potrzebuje jednego lub dwóch uruchomień. Jeśli widzisz, że model powtarza tę samą nieudaną operację, dodaj traceback do następnej wiadomości użytkownika słowami lub obniż temperaturę. Pamiętaj, że strumieniowane zapytanie z wywoływaniem funkcji trzyma swój slot współbieżności do końca strumienia, a pełny klucz pozwala na 8 równoległych zapytań, więc zespół dzielący jeden klucz powinien kolejkować uruchomienia agentów.
Przepływ pracy 3: strukturalny przegląd kodu w trybie JSON
Przeglądy są przydatne, gdy skrypt może je odczytać. Tryb JSON wymusza poprawny JSON, a komunikat systemowy definiuje kształt. Przy temperature 0 i stałym seed, ten sam plik daje ten sam przegląd przy powtórzonych uruchomieniach, co sprawia, że różnice między uruchomieniami mają sens.
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
Używaj tego z hooka przed zatwierdzeniem lub kroku CI i wydrukuj wynik jako adnotacje. Spodziewaj się fałszywych alarmów i fałszywych braków. Recenzent modeli to druga para oczu, która jest szybka i nigdy nie jest zmęczona, ale nie zastępuje testów, sprawdzera typów ani lintera. Uruchom je najpierw i użyj modelu do tego, czego one nie widzą, takich jak niejasne nazewnictwo, brakujące przypadki brzegowe i obsługa wyjątków, które pochłaniają błędy.
Okno 100 000 tokenów pozwala na całe pliki i czasem małe pakiety w jednym zapytaniu. Limit ciała to 8 MB, którego nie osiągniesz z kodem źródłowym. Jeśli przegląd zostanie ucięty, sprawdź, czy nie ustawiłeś max_tokens zbyt nisko; parametr jest opcjonalny, a uzupełnienie może użyć tego, co zostało z okna.
Przetestuj modele na własnych zadaniach
Oto mały harness, który robi to, czego nie może tablica liderów: uruchamia Twoje zadania przeciwko Twoim testom. Każde zadanie ma prompt i fragment testu. Skrypt pyta model o kod wielokrotnie, dołącza test do kodu, uruchamia wynik i liczy przejścia. Zmień bazowy URL i nazwę modelu, aby porównać innego dostawcę w ten sam sposób.
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
Rozszerz listę zadań do 30 lub 50 pozycji pochodzących z rzeczywistej pracy: błąd, który naprawiłeś w zeszłym miesiącu, parser, który napisałeś, funkcja z trudnym przypadkiem brzegowym. Uwzględnij niektóre zadania, które inne narzędzia odrzuciły lub wahały się. Uruchom każde zadanie trzy do pięciu razy, ponieważ jedna próbka mówi mało. Zapisz stopę przejścia, średnią długość wyjścia i koszt na zadanie i przechowaj wyniki w pliku, aby móc je ponownie uruchomić po zmianie promptów. Uruchamiaj wygenerowany kod w piaskownicy, jak wspomniano powyżej.
Spójrz na porażki, nie tylko na procent. Jeśli większość braków pochodzi z jednej biblioteki, dodaj wskazówkę do komunikatu systemowego. Jeśli pochodzą od modelu wymyślającego nazwy funkcji, podaj mu odpowiednie sygnatury w prompcie. Jeśli pochodzą od długich wejść, przetestuj krótszy prompt, zanim obwinisz model.
Ile kosztuje praca z kodem
Ceny to $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, a nieudane lub odrzucone zapytania nie są rozliczane. Trzy przykłady z matematyką:
- Uruchomienie oceny. 50 zadań x 3 próbki to 150 wywołań. Przy 400 wejściowych i 600 wyjściowych tokenach każde, wejście to 60 000 tokenów ($0,009), a wyjście to 90 000 tokenów ($0,045). Razem: $0,054.
- Przegląd pliku. Plik około 600 wierszy to około 8 000 tokenów, z 1200-tokenowym przeglądem. Wejście kosztuje $0,0012, wyjście kosztuje $0,0006, razem $0,0018. Pięćset przeglądów kosztuje $0,90.
- Pętla agenta. Poprawka z sześcioma rundami, która wysyła łącznie 18 000 tokenów wejściowych i otrzymuje 1 500 tokenów wyjściowych, kosztuje $0,0027 plus $0,00075, czyli $0,00345.
Pętle agentów dominują, ponieważ każda runda ponownie wysyła rosnącą konwersację. Ogranicz wyjścia narzędzi, jak w przykładzie, a kontrolujesz większość kosztów. Doładowania to dowolna kwota całkowita od $20 do $500 z bonusem +5% od $50, +10% od $100 i +15% od $200, płatne w USDT na TRC20 lub USDC na Base, bez wygaśnięcia kredytu. Zobacz cennik. Nowe konta mogą również jednorazowo uzyskać $0,50 darmowego kredytu próbnego, który wystarcza na kilka uruchomień ewaluacyjnych. Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę.
Kiedy lepsza jest inna opcja
Bądź szczery co do ograniczeń dowolnego pojedynczego endpointu. Jeśli chcesz wtyczkę edytora z uzupełnianiem w miejscu, agenta programistycznego od dostawcy lub ścisłą integrację z narzędziami jednej chmury, produkt stworzony specjalnie do tego celu może być dla Ciebie lepszy, a powinieneś sprawdzić ich aktualny cennik i warunki. Jeśli Twój kod nigdy nie wywołuje odmowy, zachowanie modelu w zakresie odmowy nie daje Ci przewagi, a wyniki Twoich testów powinny zadecydować. Jeśli potrzebujesz embeddingów lub wejścia obrazowego, potrzebujesz innej usługi do tych części. To API jest dobrym dopasowaniem, gdy chcesz prostego endpointu kompatybilnego z OpenAI, który możesz wywoływać ze skryptów i narzędzi, z dużym oknem kontekstu, wywoływaniem funkcji i niską ceną. Dokumentacja API zawiera pełną listę parametrów.
Więcej przewodników
Pytania i odpowiedzi
Czy to odpowiedni model do pracy w Pythonie?
Żaden pojedynczy model nie jest najlepszy do każdego zadania. To API oferuje jeden model o otwartych wagach z wywoływaniem funkcji, trybem JSON i oknem 100 000 tokenów, a przedstawiony powyżej framework pozwala go zmierzyć z Twoimi własnymi testami.
Czy model może uruchomić mój kod Pythona?
Nie samodzielnie. Definiujesz narzędzie, np. run_python, a Twój kod je wykonuje i zwraca wynik jako wiadomość narzędzia. Uruchom go w piaskownicy.
Jaka wielkość bazy kodu mieści się w jednym zapytaniu?
Okno kontekstu ma 100 000 tokenów dla prompta plus uzupełnienia. Obejmuje to wiele plików naraz, ale nie całe duże repozytorium.
Czy działa z pakietem Pythona OpenAI?
Tak. Ustaw base_url na URL API, przekaż swój klucz i użyj ID modelu uncensored.
Ile kosztuje jedno uruchomienie testowe?
Uruchomienie 150 zapytań kodujących, każde z 400 tokenami wejściowymi i 600 tokenami wyjściowymi, kosztuje około $0,054.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.
Bazowy URLhttps://api.visionllmapi.com/v1