Python Kodlama İçin En İyi LLM: Nasıl Seçilir ve Test Edilir
Python kodlama için tek bir en iyi LLM yoktur, çünkü cevap görevlerinize, bağlam boyutunuza ve istek başına ödemeyi göze alabileceğiniz miktara bağlıdır. Bu makale size kriterleri, üç kodlama iş akışı için çalışan kodu ve modelleri kendi işinizde karşılaştırmak için küçük bir test ortamı sunar.
güncellendi

Temel noktalar
- Halka açık sıralamalar bir başlangıç noktasıdır. Kendi kod tabanınızda 50 görevlik bir test, size daha fazla şey söyler.
- API kullanımı için bağlam boyutunu, fonksiyon çağırma, JSON modu, deterministik ayarları ve istek başına fiyatı kontrol edin.
- Bu API, 100.000 tokenlık pencere, araç çağırma ve JSON modu sunan tek bir açık ağırlıklı modeli, 1M token başına $0,15 (giriş) ve $0,50 (çıkış) fiyatla sağlar.
- 150 çağrılık bir değerlendirme çalıştırma maliyeti yaklaşık 5 senttir, bu da ölçümün tahminden daha ucuz olduğu anlamına gelir.
Bu sayfada
- Neden hiçbir model herkes için en iyi değil
- Bir API için önemli kriterler
- İş Akışı 1: Sıkı bir istemle bir fonksiyon oluşturma
- İş Akışı 2: Modelin kendi kodunu çalıştırmasına ve düzeltmesine izin verme
- İş akışı 3: JSON modu ile yapılandırılmış kod incelemesi
- Kendi görevlerinizde modelleri test etme
- Kodlama işlerinin maliyeti
- Başka bir seçimin daha iyi olduğu durumlar
- Daha fazla kılavuz
Neden hiçbir model herkes için en iyi değil
Python kodlama çok farklı işleri kapsar. On satırlık bir yardımcı program yazmak, 2.000 satırlık bir modülü yeniden düzenlemek, bir yığın izini okumak, testler oluşturmak, bir kabuk betiğini Python'a çevirmek ve dosyaları düzenleyen bir araç oluşturmak hepsi kodlamadır; bir model birinde güçlü, diğerinde ortalama olabilir. Liderlik tabloları birçok görev ve dil üzerinde ortalamadır. Deponuz, stil kurallarınız ve kütüphaneleriniz bunun dar bir dilimidir.
Bu sorunun pratik cevabı bir işlemdir. İhtiyacınızı belirleyin, teknik gereksinimleri karşılayan iki veya üç modeli daraltın, aynı görevleri her bir modelde çalıştırın ve kendi testlerinizden kaçının geçtiğini sayın. Bu makalenin geri kalanı gereksinimleri kapsar, ardından bu API'ye karşı testlerin nasıl yapılacağını gösterir.
Detaylardan önce bir nokta daha. Bu sitenin arkasındaki hizmet, bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanım için içerik reddi olmadan yanıt vermeye ayarlanmış tek bir açık ağırlıklı modeli çalıştırır. Herhangi bir model satıcısının resmi API'si değildir ve burada benchmark iddiaları yoktur. Bunu kısa listenizdeki bir aday olarak ele alın ve diğerleriyle aynı şekilde ölçün.
Bir API için önemli kriterler
Bir modelle editörde sohbet etmek yerine koddan onu çağırıyorsanız, birkaç teknik özellik uyup uymayacağını belirler.
| Kriter | Python işleri için neden önemlidir | Bu API |
|---|---|---|
| Bağlam penceresi | Tüm modüller, uzun yığın izleri ve test çıktısı, cevap için yer bırakarak sığmalıdır | 100.000 token, istem plus tamamlama |
| Araç çağırma | Modelin kod, testler ve linterları çalıştırmasına ve çıktıya tepki vermesine olanak tanır | Evet: fonksiyonlar, tool_choice, akışlı tool_calls |
| JSON modu | Makine tarafından okunabilir incelemeler, linter raporları ve yeniden düzenleme planları | Evet: response_format json_object |
| Tekrarlanabilirlik | Düşük temperature ve sabit seed, test çalıştırmalarını karşılaştırılabilir kılar | sıcaklık, top_p, durma, tohum ve cezalar geçirilir |
| Akış | Duyarlı araçlar ve uzun üretimler | Kullanım bilgisiyle SSE |
| Fiyat | Agent döngüleri bağlamı birçok kez yeniden gönderir | 1M token başına $0,15 giriş ve $0,50 çıktı |
| Redler | Sahip olduğunuz sistemler için güvenlik araçları, veri kazıyıcılar ve red-team betikleri yasal olsa da genellikle reddedilir | Yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır |
Tablo, kod kalitesi hakkında hiçbir şey söylemez, çünkü yukarıdaki özellikler gerçeklerdir ve kalite test ettiğiniz bir şeydir. Kalite ayrıca istemle değişir. Python sürümünü, izin verilen kütüphaneleri ve cevap formatını sabitleyen bir sistem mesajı, model kadar önemlidir.
Bu API yalnızca metin içindir. Kodu istemde metin olarak gönderirsiniz ve metin olarak alırsınız. Görüntü, ses veya video üretimi, gömme (embedding) veya ince ayar (fine-tuning) yoktur; gömme gerektiren bir kod arama sistemi bunları başka bir yerden almalıdır.
İş Akışı 1: Sıkı bir istemle bir fonksiyon oluşturma
En basit durumla başlayın: bir fonksiyon isteyin ve kod bloğunu çıkarın. Düşük temperature kararlı bir çıktı verir. Sistem mesajı dil sürümünü ve yanıt formatını sabitler, bu da çıkarma işlemini tek satırlık bir regex'e indirger. anahtar sayfasından bir anahtar alın ve onu LLM_API_KEY olarak dışa aktarın.
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
Üç istem alışkanlığı burada yardımcı olur. Python sürümünü adlandırın, böylece model çalıştıramayacağınız bir sözdizimine başvurmaz. Üçüncü taraf paketler gerçekten istemedikçe "sadece standart kütüphane" deyin. Ve kısa bir yanıt isteyin, çünkü uzun açıklamalar çıktı token'larına mal olur ve kodu nadiren değiştirir. Model bloktan sonra metin eklemeye devam ederse, bir stop dizisi geçirin veya regex'in yaptığı gibi çit dışındaki her şeyi temizleyin.
İş Akışı 2: Modelin kendi kodunu çalıştırmasına ve düzeltmesine izin verme
Güvenilirlikteki en büyük sıçrama genellikle fonksiyon çağırma ile gelir. Kod isteyip umut etmek yerine, modelin bir betiği çalıştırmasını ve çıktıyı döndürmesini sağlayan bir fonksiyon verirsiniz. Model kod yazar, çalıştırır, yığın izini okur ve kendini düzeltir. Fonksiyon sonuçları role: "tool" ile gönderilir ve tool_call_id ile eşleşir.
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
run_python fonksiyonunu dikkatle kullanın. Modelin yazdığı kodu, makinenizde, izinlerinizle çalıştırır. Çöp denemesinden ötesinde her şey için, ağ bağlantısı olmadan, zaman sınırı ve kimlik bilgilerinize erişim olmadan bir konteyner veya geçici sanal makinede çalıştırın. Örnekteki on saniyelik zaman aşımı ve kısaltılmış çıktı minimumdur.
Döngü beş turla sınırlıdır, böylece şaşkın bir model sonsuza kadar dönemez. Pratikte, çoğu basit fonksiyon bir veya iki çalıştırma gerektirir. Modelin aynı başarısız çağrıyı tekrarladığını görürseniz, traceback'ı bir sonraki kullanıcı mesajına kelimelerle ekleyin veya temperature'u düşürün. Akışlı bir fonksiyon çağırma isteğinin stream bitene kadar eşzamanlılık slotunu tuttuğunu ve bir tam anahtarın 8 eşzamanlı istek izni verdiğini unutmayın, bu nedenle tek anahtarı paylaşan bir ekip, ajan çalıştırmalarını kuyruğa almalıdır.
İş Akışı 3: JSON modu ile yapılandırılmış kod incelemesi
İncelemeler bir betiğin okuyabildiğinde faydalıdır. JSON modu geçerli JSON'u zorlar ve sistem mesajı şekli tanımlar. temperature 0 ve sabit bir seed ile, aynı dosya tekrarlanan çalıştırmalarda aynı incelemeyi üretir, bu da çalıştırmalar arasındaki farkları anlamlı kılar.
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
Bunu bir ön-bağlama (pre-commit) kancasından veya bir CI adımından kullanın ve sonucu açıklama olarak yazdırın. Yanlış pozitifler ve yanlış negatifler bekleyin. Bir model inceleyicisi hızlı ve hiç yorulmayan ikinci bir gözdür, ancak testleri, bir tür denetleyiciyi veya bir linter'ı yerine geçmez. Bunları önce çalıştırın ve modelin göremediği şeyler için kullanın, örneğin belirsiz adlandırma, eksik kenar durumları ve istisnaları yutan hata yönetimi.
100.000 tokenlik pencere, bir istekte tüm dosyaları ve bazen küçük paketleri sağlar. Gövde sınırı 8 MB'tır, kaynak kodla buna ulaşmazsınız. Bir inceleme kesilirse, max_tokens değerini çok düşük ayarlayıp ayarlamadığınızı kontrol edin; parametre isteğe bağlıdır ve bir tamamlama pencerenin kalanını kullanabilir.
Kendi görevlerinizde modelleri test etme
İşte bir liderlik tablosunun yapamadığı şeyleri yapan küçük bir test ortamı: görevlerinizi testlerinize karşı çalıştırır. Her görev bir istem ve bir test parçasına sahiptir. Betik, modelden birkaç kez kod ister, testi koda ekler, sonucu çalıştırır ve geçişleri sayar. Başka bir sağlayıcıyı aynı şekilde karşılaştırmak için base URL'yi ve model adını değiştirin.
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
Gerçek işten alınan bir hata düzeltmesi, yazdığınız bir ayrıştırıcı, tuhaf bir kenar durumu olan bir fonksiyon gibi 30 veya 50 maddelik bir görev listesine büyütün. Diğer araçların reddettiği veya temkinli davrandığı bazı görevler ekleyin. Her görevi üç ila beş kez çalıştırın, çünkü tek bir örnek çok az şey söyler. Geçme oranını, ortalama çıktı uzunluğunu ve görev başına maliyeti kaydedin ve istemleri değiştirdikten sonra yeniden çalıştırabilmeniz için sonuçları bir dosyada saklayın. Yukarıda belirtildiği gibi, oluşturulan kodu bir kum havuzunda çalıştırın.
Yüzdeye değil, başarısızlıklara bakın. Eğer çoğu kaçış bir kütüphaneden geliyorsa, sistem mesajına bir ipucu ekleyin. Eğer modelin fonksiyon adları uydurmasından kaynaklanıyorsa, ilgili imzaları isteme verin. Uzun girdilerden kaynaklanıyorsa, modeli suçlamadan önce daha kısa bir istem test edin.
Kodlama işi neye mal olur?
Fiyatlar 1M giriş tokeni başına $0,15 ve 1M çıktı tokeni başına $0,50'dir; başarısız veya reddedilen istekler için ücret alınmaz. Matematikle üç örnek:
- Değerlendirme çalıştırması. 50 görev x 3 örnek 150 çağrıdır. Her biri için 400 giriş ve 600 çıktı tokeni ile giriş 60.000 token ($0,009) ve çıktı 90.000 token ($0,045) olur. Toplam: $0,054.
- Dosya incelemesi. Yaklaşık 600 satırlık bir dosya, 1.200 token'lık bir inceleme ile birlikte yaklaşık 8.000 token'a denk gelir. Giriş maliyeti $0,0012, çıkış maliyeti $0,0006, toplam $0,0018 eder. Beş yüz inceleme $0,90'a mal olur.
- Agent döngüsü. Toplamda 18.000 giriş token'ı gönderen ve 1.500 çıkış token'ı alan, altı tur içeren bir düzeltme işlemi $0,0027 artı $0,00075, yani $0,00345'e mal olur.
Ajan döngüleri baskın çünkü her tur artan konuşmayı yeniden gönderir. Örnek gibi araç çıktısını kısaltırsanız, faturayı büyük ölçüde kontrol edersiniz. Bakiye yükleme işlemleri $20 ile $500 arasında herhangi bir tam miktarda olabilir ve $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 eklenir; USDT (TRC20) veya USDC (Base) ile ödenir ve krediler süresizdir. fiyatlandırma sayfasına bakın. Yeni hesaplar tek tıkla $0,50 deneme kredisi de talep edebilir; bu, birkaç değerlendirme çalıştırmasını finanse eder. Bir deneme anahtarı 2 eşzamanlı istek ve dakikada 60 istek izni verir.
Başka bir seçimin daha iyi olduğu durumlar
Her bir uç noktanın sınırları konusunda dürüst olun. Satır içi tamamlama özelliğine sahip bir editör eklentisi, bir satıcı tarafından geliştirilmiş bir kodlama ajanı veya tek bir bulutun araçlarıyla sıkı entegrasyon istiyorsanız, bu amaçla geliştirilmiş bir ürün size daha iyi hitap edebilir; mevcut fiyatlandırmalarını ve şartlarını kontrol etmelisiniz. Kodunuz asla bir reddedilme tetiklemezse, bu modelin reddedme davranışı size hiçbir avantaj sağlamaz ve karar vermeniz için test sonuçlarınız belirleyici olmalıdır. Gömme vektörler (embeddings) veya görüntü girişi gerekiyorsa, bu kısımlar için başka bir hizmete ihtiyacınız vardır. Bu API; betikler ve araçlar üzerinden çağrılabilen, geniş bir pencereye, fonksiyon çağırma özelliğine ve düşük bir fiyata sahip düz bir OpenAI uyumlu uç nokta istiyorsanız iyi bir seçenektir. API dokümantasyonu tam parametre setini listeler.
Daha fazla kılavuz
Sorular ve cevaplar
Bu model Python işleri için uygun mu?
Her görev için en iyi tek bir model yoktur. Bu API, fonksiyon çağırma, JSON modu ve 100.000 token'lık bir pencereye sahip tek bir açık ağırlıklı model sunar ve yukarıdaki çerçeve, modeli kendi testlerinizle ölçmenize olanak tanır.
Model Python kodumu çalıştırabilir mi?
Tek başına hayır. run_python gibi bir araç tanımlarsınız ve kodunuz bunu çalıştırır ve çıktıyı bir araç mesajı olarak döndürür. Bunu bir kum havuzunda çalıştırın.
Tek bir istekte ne kadar büyük bir kod tabanı sığar?
Pencere, istem ve tamamlama için 100.000 token'dır. Bu, birçok dosyayı aynı anda kapsar, ancak tüm büyük bir depoyu değil.
OpenAI Python paketi ile çalışır mı?
Evet. base_url'i API URL'sine ayarlayın, anahtarınızı iletin ve model ID olarak uncensored'ı kullanın.
Bir test çalışması ne kadar tutar?
Her biri 400 giriş ve 600 çıkış token'ı içeren 150 kodlama çağrısı içeren bir çalışma yaklaşık $0.054'e mal olur.
Anahtarınız bir adım uzaktadır
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.
Temel URLhttps://api.visionllmapi.com/v1