AR ▾
احصل على مفتاح API

أفضل نموذج LLM لبرمجة بايثون: كيفية الاختبار والاختيار

لا يوجد نموذج LLM واحد هو الأفضل لبرمجة بايثون، لأن الإجابة تعتمد على مهامك، وحجم السياق، وما أنت مستعد لدفعه مقابل كل طلب. يوفر هذا المقال المعايير، وأكوادًا عاملة لثلاثة سير عمل برمجي، وأداة تشغيل صغيرة لمقارنة النماذج على عملك الخاص.

تم التحديث

تدفقات بيانات متوازية تمر عبر ترس وتخرج ككتل كود متراكمة، لبرمجة بايثون باستخدام API لنموذج LLM

نقاط رئيسية

  • التقييمات العامة هي نقطة بداية. اختبار من 50 مهمة على مستودع الكود الخاص بك يخبرك بالمزيد.
  • للاستخدام عبر الـ API، تحقق من حجم نافذة السياق، استدعاء الدوال، وضع JSON، الإعدادات الحتمية، والسعر لكل طلب.
  • تقدم هذه الـ API نموذجًا مفتوح الأوزان بنافذة سياق بحجم 100,000 رمز، ويدعم استدعاء الدوال ووضع JSON، بسعر $0.15 و$0.50 لكل مليون رمز.
  • تكاليف تشغيل تقييم يتضمن 150 استدعاء حوالي 5 سنتات، لذا فإن القياس أرخص من التخمين.

لماذا لا يوجد نموذج واحد هو الأفضل للجميع

تغطي مهام البرمجة بلغة Python وظائف متنوعة جداً. كتابة دالة مساعدة من عشرة أسطر، وإعادة هيكلة وحدة برمجية تضم 2,000 سطر، وقراءة تتبع المكدس (stack trace)، وتوليد اختبارات، وترجمة نص برمجي لـ shell إلى Python، وبناء أداة لتعديل الملفات، كلها مهام برمجية. وقد يكون النموذج قوياً في أحدها ومتوسط الأداء في الآخر. تتراوح نتائج لوحات المتصدرين (Leaderboards) بين العديد من المهام ولغات متعددة. يمثل مستودعك وقواعد التنسيق الخاصة بك ومكتباتك شريحة ضيقة من ذلك النطاق الأوسع.

لذا، فإن الإجابة العملية على هذا السؤال هي إجراء محدد. حدد ما تحتاجه، وقم بإعداد قائمة مختصرة من نموذجين أو ثلاثة تفي بالمتطلبات التقنية، وشغّل المهام نفسها عبر كل منها، وعدّ كم منها يجتاز اختباراتك الخاصة. يغطي هذا المقال المتطلبات، ثم يوضح كيفية إجراء الاختبارات مقابل هذا الـ API.

نقطة إضافية قبل الدخول في التفاصيل. تشغل الخدمة وراء هذا الموقع نموذج واحد مفتوح الأوزان، تديره جهة مستقلة، وتم ضبطه للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. إنه ليس الـ API الرسمي لأي بائع نماذج، ولا توجد هنا ادعاءات عن نتائج المعايير (benchmarks). عامله كمرشح واحد لقائمتك المختصرة وقيّمه مثل أي نموذج آخر.

المعايير التي تهمك في الـ API

إذا قمت باستدعاء نموذج من الكود بدلاً من الدردشة معه في محرر، فإن بعض الخصائص التقنية تحدد ما إذا كان مناسباً.

المعيارلماذا يهم ذلك لأعمال Pythonهذه واجهة برمجة التطبيقات (API)
نافذة السياقيجب أن تتسع نافذة السياق للوحدات الكاملة، وتتابيع الأخطاء الطويلة، ومخرجات الاختبارات مع مساحة كافية للإجابة100,000 رمز، الموجّه بالإضافة إلى الإكمال
استدعاء الدواليسمح للنموذج بتشغيل الكود، واختبارات، وأدوات الفحص (linters)، ثم التفاعل مع المخرجاتنعم: الأدوات، tool_choice، استدعاءات الأدوات المتدفقة
وضع JSONمراجعات قابلة للقراءة الآلية، وتقارير الفحص، وخطط إعادة الهيكلةنعم: response_format json_object
إمكانية التكرارتجعل درجة الحرارة المنخفضة والبذرة الثابتة (seed) لتشغيل الاختبارات قابلة للمقارنةتمرير temperature، top_p، stop، seed والعقوبات كما هي
البث المتدفقأدوات سريعة الاستجابة وتوليدات طويلةSSE مع الاستخدام في النهاية
السعرتعيد حلقات الوكلاء إرسال السياق مرات عديدة$0.15 للإدخال و$0.50 للإخراج لكل مليون رمز
الرفضأدوات الأمان، وأدوات الحفر، وسكربتات الفريق الأحمر لأنظمة تملكها تكون مشروعة قانونياً لكن غالباً ما تُرفضمضبط للإجابة دون رفض المحتوى للاستخدام القانوني للبالغين

الجدول لا يذكر شيئاً عن جودة الكود، لأن الخصائص المذكورة أعلاه هي حقائق وجودة شيء تختبره. الجودة أيضاً تتغير مع الموجّه. رسالة النظام التي تحدد إصدار بايثون، والمكتوبات المسموح بها وتنسيق الإجابة غالباً ما تكون بنفس أهمية النموذج.

هذه الـ API للنصوص فقط. ترسل الكود كنص في الموجّه، وتعود لك بنص. لا يوجد توليد صور أو صوت أو فيديو، ولا تضميدات ولا ضبط دقيق، لذا فإن نظام بحث الكود الذي يحتاج إلى تضميدات يجب أن يحصل عليها من مكان آخر.

سير العمل 1: توليد دالة بموجه صارم

ابدأ بأبسط حالة: اطلب دالة واحدة واستخرج كتلة الكود. درجة الحرارة المنخفضة تعطي مخرجات مستقرة. رسالة النظام تثبت إصدار اللغة وتنسيق الرد، مما يجعل الاستخراج عبارة عن تعبير نمطي سطر واحد. احصل على مفتاح من صفحة المفاتيح وقم بتصديره كـ LLM_API_KEY.

import os
import re

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def ask_for_code(task):
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a senior Python developer. Use Python 3.11, the standard "
                    "library only unless told otherwise, and type hints. Reply with one "
                    "fenced python block and at most three sentences of explanation."
                ),
            },
            {"role": "user", "content": task},
        ],
    )
    text = resp.choices[0].message.content
    match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return match.group(1) if match else text


print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))

ثلاث عادات في كتابة الطلب تساعد هنا. حدد إصدار بايثون، حتى لا يلجأ النموذج إلى تركيب لا يمكنك تشغيله. قل "المكتبة القياسية فقط" إلا إذا كنت تريد حقاً حزم الطرف الثالث. واطلب إجابة قصيرة، لأن الشروحات الطويلة تستهلك رموز المخرجات ونادراً ما تغير الكود. إذا استمر النموذج في إضافة نثر بعد الكتلة، مرر تسلسل stop، أو اشطّب كل شيء خارج السياج كما يفعل التعبير النمطي.

سير العمل 2: اسمح للنموذج بتشغيل وتصحيح كوده الخاص

أكبر قفزة في الموثوقية تأتي عادةً من استدعاء الدوال. بدلاً من طلب الكود والأمل، تعطى النموذج دالة تنفذ سكريبتاً وتعيد المخرجات. يكتب الكود، يشغله، يقرأ تتبع الخطأ ويصحح نفسه. نتائج الأدوات تعود كرسائل مع role: "tool"، يتم مطابقتها بواسطة tool_call_id.

import json
import os
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def run_python(code):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code)
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
        return (r.stdout + r.stderr)[-3000:] or "(no output)"
    except subprocess.TimeoutExpired:
        return "timeout after 10 seconds"


tools = [{
    "type": "function",
    "function": {
        "name": "run_python",
        "description": "Run a Python script and return stdout and stderr.",
        "parameters": {
            "type": "object",
            "properties": {"code": {"type": "string"}},
            "required": ["code"],
        },
    },
}]

messages = [
    {"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
    {"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]

for _ in range(5):
    resp = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        tools=tools,
        tool_choice="auto",
        temperature=0.2,
    )
    msg = resp.choices[0].message
    messages.append(msg.model_dump(exclude_none=True))
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": run_python(args["code"]),
        })

عامل دالة run_python بعناية. فهي تنفّذ الكود الذي كتبه النموذج على جهازك، بصلاحياتك. لأي شيء يتجاوز تجربة عابرة، شغّلها في حاوية أو آلة افتراضية مؤقتة، بدون شبكة، مع حد زمني وبدون وصول إلى بيانات اعتمادك. مهلة العشر ثوانٍ والإخراج المقصوص في المثال هما الحد الأدنى.

يُحدّ التكرار بخمس جولات حتى لا يدور النموذج المُربَك إلى الأبد. عملياً، تحتاج معظم الوظائف البسيطة إلى تشغيل واحد أو اثنين. إذا رأيت النموذج يُكرّر نفس المكالكة الفاشلة، أضف تتبع المكدّس إلى رسالة المستخدم التالية بالكلمات، أو خفّض درجة الحرارة. ضع في اعتبارك أن طلب استدعاء الدوال المتدفق يحتفظ بموقعه المتزامن حتى ينتهي البث، ومفتاح كامل يسمح بـ 8 طلبات متزامنة، لذا على الفريق الذي يشارك مفتاحاً واحداً أن يصفّ دورات الوكيل.

سير العمل 3: مراجعة الكود المهيكلة بوضع JSON

المراجعات مفيدة عندما يمكن لسكريبت قراءتها. وضع JSON يفرض JSON صالحاً، وتحدد رسالة النظام الشكل. مع temperature 0 وثابت seed، ينتج الملف نفسه نفس المراجعة في التشغيلات المتكررة، مما يجعل الاختلافات بين التشغيلات ذات معنى.

import json
import os

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

source = open("service.py").read()

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    temperature=0,
    seed=7,
    messages=[
        {
            "role": "system",
            "content": (
                "Review the Python file. Reply with a JSON object with the key issues, "
                "a list of objects with keys line, severity (low, medium or high), "
                "problem and fix. Return an empty list if you find nothing."
            ),
        },
        {"role": "user", "content": source},
    ],
)

for issue in json.loads(resp.choices[0].message.content)["issues"]:
    print(issue["severity"], issue["line"], issue["problem"])

استخدم هذا من خطاف ما قبل الالتزام أو خطوة CI، وطبع النتيجة كإشارات. توقع الإيجابيات الكاذبة والسلبيات الكاذبة. مراجع النموذج هو زوج عينين ثانٍ سريع ولا يكل أبداً، لكنه لا يستبدل الاختبارات، أو مدقق الأنواع، أو المدقق اللين. شغّل تلك أولاً واستخدم النموذج لما لا يمكنها رؤيته، مثل التسمية غير الواضحة، وحالات الحافة المفقودة، ومعالجة الأخطاء التي تبتلع الاستثناءات.

نافذة الـ 100,000 رمز تسمح بملفات كاملة وأحياناً حزم صغيرة في طلب واحد. حد الجسم هو 8 MB، وهو شيء لن تصل إليه مع الكود المصدري. إذا تم قطع المراجعة، تحقق مما إذا كنت قد حددت max_tokens منخفضاً جداً؛ المعلمة اختيارية وقد يستخدم الإكمال ما تبقى من النافذة.

اختبر النماذج على مهامك الخاصة

إطار عمل صغير يقوم بما لا يمكن أن تفعله قائمة المتصدرين: يشغل مهامك ضد اختباراتك. كل مهمة لها طلب وقطعة اختبار. يطلب السكريبت من النموذج الكود عدة مرات، يلحق الاختبار بالكود، يشغل النتيجة ويعد النجاحات. غيّر عنوان URL الأساسي واسم النموذج لمقارنة مزود آخر بنفس الطريقة.

import os
import re
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

TASKS = [
    {
        "prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
        "test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
    },
    {
        "prompt": "Write chunk(items, n) that yields lists of at most n items.",
        "test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
    },
]
SAMPLES = 3


def extract(text):
    m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return m.group(1) if m else text


def passes(code, test):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code + "\n\n" + test + "\n")
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
        return r.returncode == 0
    except subprocess.TimeoutExpired:
        return False


total = ok = 0
for task in TASKS:
    for _ in range(SAMPLES):
        resp = client.chat.completions.create(
            model="uncensored",
            temperature=0.4,
            messages=[
                {"role": "system", "content": "Reply with one fenced python block and nothing else."},
                {"role": "user", "content": task["prompt"]},
            ],
        )
        total += 1
        ok += passes(extract(resp.choices[0].message.content), task["test"])

print(f"{ok}/{total} passed")

نمو قائمة المهام إلى 30 أو 50 عنصرًا مأخوذة من العمل الحقيقي: خطأ أصلحته الشهر الماضي، محلل كتبته، دالة بحالة حافة محرجة. ضمّن بعض المهام التي رفضتها أدوات أخرى أو ترددت فيها. شغل كل مهمة من ثلاث إلى خمس مرات، لأن عينة واحدة تقول قليلاً. سجل معدل النجاح، ومتوسط طول المخرجات والتكلفة لكل مهمة، واحتفظ بالنتائج في ملف حتى تتمكن من إعادة التشغيل بعد تغيير الطلبات. شغّل الكود المولد في بيئة معزولة، كما هو موضح أعلاه.

انظر إلى الفشل، وليس فقط النسبة المئوية. إذا كانت معظم الأخطاء تأتي من مكتبة واحدة، أضف تلميحاً إلى رسالة النظام. إذا كانت تأتي من اختراع النموذج لأسماء الدوال، أعطه التوقيعات ذات الصلة في الطلب. إذا كانت تأتي من المدخلات الطويلة، اختبر طلباً أقصر قبل أن تلوم النموذج.

تكلفة العمل البرمجي

الأسعار هي $0.15 لكل مليون رمز إدخال و $0.50 لكل مليون رمز مخرجات، ولا يتم شحن الطلبات الفاشلة أو المرفوضة. ثلاثة أمثلة مع الحساب:

  • تقييم التشغيل. 50 مهمة x 3 عينات هي 150 مكالمة. عند 400 إدخال و 600 مخرجات لكل منها، الإدخال هو 60,000 رمز ($0.009) والمخرجات هي 90,000 رمز ($0.045). المجموع: $0.054.
  • مراجعة الملف. ملف من حوالي 600 سطر هو حوالي 8,000 رمز، مع مراجعة بـ 1,200 رمز. تكلفة الإدخال $0.0012، وتكلفة المخرجات $0.0006، المجموع $0.0018. خمسمائة مراجعة تكلف $0.90.
  • حلقة الوكيل. إصلاح مع ست جولات يرسل 18,000 رمز إدخال في المجموع ويستقبل 1,500 رمز مخرجات يكلف $0.0027 بالإضافة إلى $0.00075، أي $0.00345.

تسيطر حلقات الوكيل لأن كل جولة تُعيد إرسال محادثة النموّية. قصّ مخرجات الدوال، كما في المثال، وستتحكّم في معظم الفاتورة. شحن الرصيد يكون بمبلغ صحيح من $20 إلى $500 مع +5% من $50، +10% من $100 و+15% من $200، مدفوعاً بـ USDT على TRC20 أو USDC على Base، بدون انتهاء للرصيد. انظر التسعير. يمكن للحسابات الجديدة أيضاً المطالبة بـ $0.50 من رصيد تجريبي بنقرة واحدة، مما يمول بضع عمليات تقييم. يسمح المفتاح التجريبي بـ 2 طلب متزامن و60 في الدقيقة.

عندما يكون خيار آخر أفضل

كن صادقاً بشأن حدود أي نقطة نهاية واحدة. إذا كنت تريد إضافة محرر مع إكمال مضمن، أو وكيل برمجة مبني من البائع، أو تكامل وثيق مع أدوات سحابة واحدة، فقد يناسبك منتج مبني لهذا الغرض بشكل أفضل، ويجب أن تتحقق من أسعارهم وشروطهم الحالية. إذا لم يثير كودك رفضاً أبداً، فإن سلوك الرفض لهذا النموذج لا يمنحك ميزة، ويجب أن تقرر نتائج اختباراتك. إذا كنت تحتاج إلى رموز أو إدخال صورة، فأنت بحاجة إلى خدمة أخرى لتلك الأجزاء. هذه الواجهة البرمجية هي ملاءمة جيدة عندما تريد نقطة نهاية متوافقة مع OpenAI يمكنك استدعاؤها من السكريبتات والأدوات، مع نافذة كبيرة، استدعاء الأدوات وسعر منخفض. يدرج وثائق الواجهة البرمجية مجموعة المعلمات الكاملة.

02

أسئلة وأجوبة

هل هذا النموذج مناسب لأعمال Python؟

لا يوجد نموذج واحد هو الأفضل لكل المهام. تقدم هذه الـ API نموذجًا مفتوح الأوزان يدعم استدعاء الدوال، وضع JSON، ونافذة سياق بحجم 100,000 رمز، وتتيح لك أداة الاختبار أعلاه قياسه مقابل اختباراتك الخاصة.

هل يمكن للنموذج تشغيل كود Python الخاص بي؟

ليس بمفرده. تعرّف على الأداة (مثل run_python)، ويقوم كودك بتنفيذها وإرجاع المخرجات كرسالة أداة. شغّله في بيئة معزولة (sandbox).

ما حجم مستودع الكود الذي يتسع لطلب واحد؟

النافذة تتسع لـ 100,000 رمز للموجه والإكمال معًا. يغطي ذلك العديد من الملفات في آن واحد، لكن ليس مستودعًا ضخمًا كاملًا.

هل يعمل مع حزمة Python الخاصة بـ OpenAI؟

نعم. اضبط base_url ليكون رابط الـ API، مرر مفتاحك، واستخدم معرف النموذج uncensored.

كم يكلف تشغيل الاختبار؟

تكاليف تشغيل يتضمن 150 استدعاء برمجي، بـ 400 رمز إدخال و600 رمز إخراج لكل استدعاء، حوالي $0.054.

مفتاحك على بُعد نموذج واحد

أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.

عنوان URL الأساسيhttps://api.visionllmapi.com/v1

احصل على مفتاح API