Model LLM Terbaik untuk Pemrograman Python: Cara Memilih dan Menguji
Tidak ada satu LLM terbaik untuk pemrograman Python, karena jawabannya bergantung pada tugas Anda, ukuran konteks Anda, dan berapa yang bersedia Anda bayar per permintaan. Artikel ini memberikan kriteria, kode kerja untuk tiga alur kerja pengkodean, dan harness kecil untuk membandingkan model pada pekerjaan Anda sendiri.
Diperbarui

Poin utama
- Peringkat publik adalah titik awal. Sebuah tes 50-tugas pada basis kode Anda sendiri memberi tahu Anda lebih banyak.
- Untuk penggunaan API, periksa ukuran konteks, pemanggilan fungsi, mode JSON, pengaturan deterministik, dan harga per permintaan.
- API ini melayani satu model bobot terbuka dengan jendela 100.000 token, pemanggilan fungsi, dan mode JSON, dengan harga $0,15 dan $0,50 per 1 juta token.
- Sesi evaluasi 150 panggilan memakan biaya sekitar 5 sen, sehingga pengukuran lebih murah daripada menebak.
Di halaman ini
- Mengapa tidak ada model terbaik untuk semua orang
- Kriteria yang penting untuk API
- Alur kerja 1: menghasilkan fungsi dengan prompt ketat
- Alur kerja 2: biarkan model menjalankan dan memperbaiki kode sendiri
- Alur kerja 3: tinjauan kode terstruktur dengan mode JSON
- Uji model pada tugas Anda sendiri
- Biaya pekerjaan pengkodean
- Ketika pilihan lain lebih baik
- Panduan lainnya
Mengapa tidak ada model terbaik untuk semua orang
Pemrograman Python mencakup pekerjaan yang sangat berbeda. Menulis helper sepuluh baris, melakukan refactoring modul 2.000 baris, membaca tumpukan jejak, menghasilkan tes, menerjemahkan skrip shell ke Python, dan membangun alat yang mengedit file semuanya adalah pengkodean, dan model bisa kuat di satu sisi dan sedang di sisi lain. Papan peringkat rata-rata di banyak tugas dan banyak bahasa. Repositori Anda, aturan gaya Anda, dan pustaka Anda adalah irisan sempit dari itu.
Jadi jawaban praktis untuk pertanyaan tersebut adalah prosedur. Putuskan apa yang Anda butuhkan, buat daftar pendek dua atau tiga model yang memenuhi persyaratan teknis, jalankan tugas yang sama melalui masing-masing model, dan hitung berapa banyak yang lolos tes Anda sendiri. Sisa artikel ini membahas persyaratan, lalu menunjukkan cara melakukan pengujian terhadap API ini.
Satu poin lagi sebelum detailnya. Layanan di balik situs ini menjalankan satu model bobot terbuka, dioperasikan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun, dan tidak ada klaim benchmark di sini. Anggap ini sebagai salah satu kandidat untuk daftar pendek Anda dan ukur seperti model lain.
Kriteria yang penting untuk API
Jika Anda memanggil model dari kode alih-alih mengobrol dengannya di editor, beberapa properti teknis menentukan apakah itu cocok.
| Kriteria | Mengapa hal ini penting untuk pekerjaan Python | API ini |
|---|---|---|
| Jendela konteks | Seluruh modul, traceback panjang, dan output tes harus muat dengan ruang untuk jawaban | 100.000 token, prompt plus penyelesaian |
| Pemanggilan alat | Memungkinkan model menjalankan kode, tes, dan linter, lalu bereaksi terhadap output | Ya: tools, tool_choice, streamed tool_calls |
| Mode JSON | Tinjauan yang dapat dibaca mesin, laporan linter, dan rencana refaktor | Ya: response_format json_object |
| Repetabilitas | Suhu lebih rendah dan seed tetap membuat run pengujian dapat dibandingkan | suhu, top_p, berhenti, seed dan penalti diteruskan |
| Streaming | Alat responsif dan generasi panjang | SSE dengan penggunaan di akhir |
| Harga | Loop agen mengirim ulang konteks berkali-kali | $0,15 input dan $0,50 output per 1 juta token |
| Penolakan | Alat keamanan, scraper, dan skrip red-team untuk sistem yang Anda miliki adalah sah tetapi sering ditolak | Disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah |
Tabel tidak mengatakan apa pun tentang kualitas kode, karena properti di atas adalah fakta dan kualitas adalah sesuatu yang Anda uji. Kualitas juga berubah dengan prompt. Pesan sistem yang memperbaiki versi Python, pustaka yang diizinkan, dan format jawaban sering kali sama pentingnya dengan model.
API ini hanya teks. Anda mengirim kode sebagai teks dalam prompt, dan Anda mendapatkan teks kembali. Tidak ada pembuatan gambar, audio, atau video, tidak ada embedding, dan tidak ada fine-tuning, sehingga sistem pencarian kode yang membutuhkan embedding harus mendapatkannya dari tempat lain.
Alur kerja 1: menghasilkan fungsi dengan prompt ketat
Mulailah dengan kasus paling sederhana: minta satu fungsi dan ekstrak blok kode. Suhu rendah memberikan output yang stabil. Pesan sistem menetapkan versi bahasa dan format balasan, yang membuat ekstraksi menjadi regex satu baris. Dapatkan kunci dari halaman kunci dan ekspor sebagai LLM_API_KEY.
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
Tiga kebiasaan prompt membantu di sini. Sebutkan versi Python, agar model tidak menggunakan sintaks yang tidak dapat Anda jalankan. Katakan "hanya pustaka standar" kecuali Anda benar-benar menginginkan paket pihak ketiga. Dan minta jawaban singkat, karena penjelasan panjang menghabiskan token output dan jarang mengubah kode. Jika model terus menambahkan teks setelah blok, kirimkan urutan stop, atau hapus semua di luar pagar sebagai yang dilakukan regex.
Alur kerja 2: biarkan model menjalankan dan memperbaiki kode sendiri
Lonjakan terbesar dalam keandalan biasanya berasal dari pemanggilan alat. Alih-alih meminta kode dan berharap, Anda memberikan model fungsi yang mengeksekusi skrip dan mengembalikan output. Model menulis kode, menjalankannya, membaca traceback, dan memperbaikinya sendiri. Hasil alat kembali sebagai pesan dengan role: "tool", cocok dengan tool_call_id.
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
Perlakukan fungsi run_python dengan hati-hati. Ini mengeksekusi kode yang ditulis model, di mesin Anda, dengan izin Anda. Untuk apa pun selain eksperimen sekali pakai, jalankan di dalam wadah atau mesin virtual yang dapat dibuang, tanpa jaringan, batas waktu, dan tanpa akses ke kredensial Anda. Waktu tunggu sepuluh detik dan output yang dipangkas dalam contoh adalah minimum.
Loop dibatasi pada lima putaran agar model yang bingung tidak berputar selamanya. Dalam praktiknya, sebagian besar fungsi sederhana membutuhkan satu atau dua kali jalan. Jika Anda melihat model mengulangi panggilan gagal yang sama, tambahkan traceback ke pesan pengguna berikutnya dengan kata-kata, atau turunkan suhu. Ingatlah bahwa permintaan pemanggilan fungsi yang streaming memegang slot konkurensinya hingga stream berakhir, dan kunci penuh memungkinkan 8 permintaan konkuren, sehingga tim yang berbagi satu kunci harus mengantrikan jalankan agen.
Alur kerja 3: tinjauan kode terstruktur dengan mode JSON
Ulasan berguna ketika skrip dapat membacanya. Mode JSON memaksa JSON yang valid, dan pesan sistem menentukan bentuknya. Dengan temperature 0 dan seed yang tetap, file yang sama menghasilkan ulasan yang sama pada setiap run berulang, sehingga perbedaan antara run menjadi bermakna.
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
Gunakan ini dari hook pra-komit atau langkah CI, dan cetak hasilnya sebagai anotasi. Harapkan positif palsu dan negatif palsu. Peninjau model adalah sepasang mata kedua yang cepat dan tidak pernah lelah, tetapi tidak menggantikan pengujian, pengecek tipe, atau linter. Jalankan itu terlebih dahulu dan gunakan model untuk apa yang tidak dapat mereka lihat, seperti penamaan yang tidak jelas, kasus tepi yang hilang, dan penanganan kesalahan yang menelan pengecualian.
Jendela 100.000 token memungkinkan seluruh file dan terkadang paket kecil dalam satu permintaan. Batas body adalah 8 MB, yang tidak akan Anda capai dengan kode sumber. Jika peninjau terpotong, periksa apakah Anda mengatur max_tokens terlalu rendah; parameter ini opsional dan penyelesaian mungkin menggunakan sisa jendela.
Uji model pada tugas Anda sendiri
Berikut adalah kerangka kerja kecil yang melakukan apa yang tidak dapat dilakukan papan peringkat: menjalankan tugas Anda terhadap tes Anda. Setiap tugas memiliki prompt dan cuplikan tes. Skrip meminta kode dari model beberapa kali, menambahkan tes ke kode, menjalankan hasilnya dan menghitung keberhasilan. Ubah URL dasar dan nama model untuk membandingkan penyedia lain dengan cara yang sama.
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
Perbesar daftar tugas menjadi 30 atau 50 item yang diambil dari pekerjaan nyata: bug yang Anda perbaiki bulan lalu, parser yang Anda tulis, fungsi dengan kasus tepi yang canggung. Sertakan beberapa tugas yang ditolak atau diragukan oleh alat lain. Jalankan setiap tugas tiga hingga lima kali, karena satu sampel tidak banyak. Catat tingkat keberhasilan, panjang output rata-rata, dan biaya per tugas, dan simpan hasilnya dalam file agar Anda dapat menjalankan ulang setelah mengubah prompt. Jalankan kode yang dihasilkan di sandbox, seperti yang dicatat di atas.
Lihat kegagalan, bukan hanya persentase. Jika sebagian besar kegagalan berasal dari satu pustaka, tambahkan petunjuk ke pesan sistem. Jika berasal dari model yang menemukan nama fungsi, berikan tanda tangan yang relevan dalam prompt. Jika berasal dari input panjang, uji prompt yang lebih pendek sebelum menyalahkan model.
Berapa biaya pekerjaan coding
Harga adalah $0,15 per 1M token input dan $0,50 per 1M token output, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Tiga contoh dengan perhitungan:
- Jalankan evaluasi. 50 tugas x 3 sampel adalah 150 panggilan. Pada 400 input dan 600 token output masing-masing, input adalah 60.000 token ($0,009) dan output adalah 90.000 token ($0,045). Total: $0,054.
- Peninjauan file. File sekitar 600 baris adalah sekitar 8.000 token, dengan peninjau 1.200 token. Biaya input $0,0012, biaya output $0,0006, total $0,0018. Lima ratus peninjauan biaya $0,90.
- Loop agen. Perbaikan dengan enam putaran yang mengirim 18.000 token input secara total dan menerima 1.500 token output biaya $0,0027 ditambah $0,00075, jadi $0,00345.
Loop agen mendominasi karena setiap putaran mengirim ulang percakapan yang berkembang. Pangkas output alat, seperti contoh, dan Anda mengendalikan sebagian besar tagihan. Top-up adalah jumlah utuh apa pun dari $20 hingga $500 dengan +5% dari $50, +10% dari $100 dan +15% dari $200, dibayar dengan USDT di TRC20 atau USDC di Base, tanpa masa berlaku pada saldo. Lihat harga. Akun baru juga dapat mengklaim $0,50 kredit uji coba dengan satu klik, yang mendanai beberapa run evaluasi. Kunci uji memungkinkan 2 permintaan paralel dan 60 per menit.
Ketika pilihan lain lebih baik
Jujur tentang batas setiap endpoint tunggal. Jika Anda menginginkan plugin editor dengan penyelesaian inline, agen pengkodean yang dibangun oleh vendor, atau integrasi ketat dengan pengujian satu cloud, produk yang dibangun untuk tujuan itu mungkin lebih cocok untuk Anda, dan Anda harus memeriksa harga dan ketentuan terbaru mereka. Jika kode Anda tidak pernah memicu penolakan, perilaku penolakan model ini tidak memberikan keunggulan bagi Anda, dan hasil pengujian Anda harus memutuskan. Jika Anda memerlukan embedding atau input gambar, Anda memerlukan layanan lain untuk bagian itu. API ini sangat cocok ketika Anda menginginkan endpoint kompatibel OpenAI yang dapat Anda panggil dari skrip dan alat, dengan jendela besar, panggilan alat, dan harga rendah. Dokumentasi API mencantumkan set parameter lengkap.
Panduan lainnya
Tanya jawab
Apakah ini model yang tepat untuk pekerjaan Python?
Tidak ada model tunggal terbaik untuk setiap tugas. API ini menawarkan satu model bobot terbuka dengan panggilan alat, mode JSON dan jendela 100.000 token, dan kerangka kerja di atas memungkinkan Anda mengukurnya melawan tes Anda sendiri.
Dapatkah model menjalankan kode Python saya?
Tidak secara mandiri. Anda menentukan alat, seperti run_python, dan kode Anda mengeksekusinya dan mengembalikan output sebagai pesan alat. Jalankan di dalam sandbox.
Seberapa besar basis kode yang muat dalam satu permintaan?
Jendelanya adalah 100.000 token untuk prompt plus penyelesaian. Itu mencakup banyak file sekaligus, tetapi bukan seluruh repositori besar.
Apakah ini berfungsi dengan paket Python OpenAI?
Ya. Atur base_url ke URL API, kirimkan kunci Anda, dan gunakan ID model uncensored.
Berapa biaya satu pengujian?
Satu pengujian dengan 150 panggilan pemrograman masing-masing dengan 400 token input dan 600 token output biayanya sekitar $0,054.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.
URL Dasarhttps://api.visionllmapi.com/v1