VI ▾
Lấy khóa API

LLM tốt nhất cho Python: Cách chọn và kiểm thử

Không có một mô hình LLM nào tốt nhất cho việc lập trình Python, vì câu trả lời phụ thuộc vào nhiệm vụ của bạn, kích thước cửa sổ ngữ cảnh và số tiền bạn sẵn sàng trả cho mỗi yêu cầu. Bài viết này cung cấp cho bạn các tiêu chí, mã nguồn hoạt động cho ba quy trình lập trình, và một bộ công cụ nhỏ để so sánh các mô hình trên chính công việc của bạn.

Cập nhật

Dòng dữ liệu đẳng hướng chạy qua một bánh răng và xuất hiện dưới dạng các khối mã xếp chồng, dành cho Python với API LLM

Điểm chính

  • Bảng xếp hạng công khai chỉ là điểm bắt đầu. Một bài kiểm thử 50 tác vụ trên cơ sở mã của bạn sẽ cho bạn biết nhiều hơn.
  • Đối với sử dụng API, hãy kiểm tra kích thước ngữ cảnh, gọi hàm, chế độ JSON, cài đặt xác định và giá mỗi yêu cầu.
  • API này cung cấp một mô hình trọng số mở với cửa sổ ngữ cảnh 100.000 token, gọi hàm và chế độ JSON, với giá $0,15 và $0,50 cho mỗi 1 triệu token.
  • Một lần chạy đánh giá với 150 lệnh gọi tốn khoảng 5 cent, vì vậy việc đo lường rẻ hơn là đoán mò.

Tại sao không có mô hình nào là tốt nhất cho mọi người

Lập trình Python bao gồm nhiều công việc rất khác nhau. Viết một hàm phụ trợ 10 dòng, tái cấu trúc một mô-đun 2.000 dòng, đọc dấu vết ngăn xếp, tạo bài kiểm thử, chuyển đổi một script shell sang Python và xây dựng một công cụ chỉnh sửa tệp đều là lập trình, và một mô hình có thể mạnh ở lĩnh vực này nhưng trung bình ở lĩnh vực khác. Các bảng xếp hạng trung bình hóa qua nhiều tác vụ và nhiều ngôn ngữ. Kho mã, quy tắc định dạng và thư viện của bạn chỉ là một phần nhỏ của điều đó.

Vì vậy, câu trả lời thực tế cho câu hỏi này là một quy trình. Hãy quyết định những gì bạn cần, chọn ra hai hoặc ba mô hình đáp ứng các yêu cầu kỹ thuật, chạy cùng các tác vụ trên mỗi mô hình và đếm xem có bao nhiêu bài kiểm thử của bạn được vượt qua. Phần còn lại của bài viết này đề cập đến các yêu cầu, sau đó trình bày cách thực hiện kiểm thử với API này.

Một điểm nữa trước khi đi vào chi tiết. Dịch vụ đằng sau trang web này chạy một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung đối với việc sử dụng hợp pháp cho người trưởng thành. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào, và không có tuyên bố về điểm chuẩn ở đây. Hãy coi nó như một ứng viên cho danh sách rút gọn của bạn và đo lường nó như bất kỳ mô hình nào khác.

Các tiêu chí quan trọng đối với một API

Nếu bạn gọi một mô hình từ mã thay vì trò chuyện với nó trong trình soạn thảo, một số thuộc tính kỹ thuật sẽ quyết định xem nó có phù hợp hay không.

Tiêu chíTại sao nó quan trọng đối với công việc PythonAPI này
Cửa sổ ngữ cảnhToàn bộ mô-đun, dấu vết ngăn xếp dài và kết quả kiểm thử phải vừa với chỗ còn lại cho câu trả lời100,000 token, prompt cộng với hoàn tất
Gọi công cụCho phép mô hình chạy mã, bài kiểm thử và công cụ rà soát, sau đó phản ứng với kết quảCó: công cụ, tool_choice, tool_calls được truyền phát
Chế độ JSONCác bài rà soát, báo cáo rà soát và kế hoạch tái cấu trúc có thể đọc được bằng máyCó: response_format json_object
Tính lặp lạiNhiệt độ thấp hơn và hạt cố định làm cho các lần chạy kiểm thử có thể so sánh đượctemperature, top_p, stop, seed và hình phạt được truyền qua
Truyền phátCông cụ phản hồi và chuỗi tạo dàiSSE với thông tin sử dụng ở cuối
GiáVòng lặp agent gửi lại ngữ cảnh nhiều lần$0,15 đầu vào và $0,50 đầu ra cho mỗi 1 triệu token
Lời từ chốiCông cụ bảo mật, trình thu thập dữ liệu và script kiểm thử đỏ cho các hệ thống bạn sở hữu là hợp pháp nhưng thường bị từ chốiĐược tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích sử dụng của người trưởng thành hợp pháp

Bảng không nói gì về chất lượng mã, vì các thuộc tính ở trên là sự thật và chất lượng là thứ bạn cần kiểm thử. Chất lượng cũng thay đổi theo prompt. Một thông báo hệ thống cố định phiên bản Python, các thư viện được phép và định dạng câu trả lời thường quan trọng không kém mô hình.

API này chỉ dành cho văn bản. Bạn gửi mã dưới dạng văn bản trong prompt và nhận lại văn bản. Không có tạo hình ảnh, âm thanh hoặc video, không có embedding và không có tinh chỉnh, vì vậy một hệ thống tìm kiếm mã cần embedding phải lấy chúng từ nơi khác.

Quy trình làm việc 1: tạo một hàm với prompt nghiêm ngặt

Hãy bắt đầu với trường hợp đơn giản nhất: yêu cầu một hàm và trích xuất khối mã. Nhiệt độ thấp cho đầu ra ổn định. Thông báo hệ thống cố định phiên bản ngôn ngữ và định dạng phản hồi, giúp việc trích xuất chỉ là một biểu thức chính quy một dòng. Lấy khóa từ trang khóa và xuất nó dưới dạng LLM_API_KEY.

import os
import re

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def ask_for_code(task):
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a senior Python developer. Use Python 3.11, the standard "
                    "library only unless told otherwise, and type hints. Reply with one "
                    "fenced python block and at most three sentences of explanation."
                ),
            },
            {"role": "user", "content": task},
        ],
    )
    text = resp.choices[0].message.content
    match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return match.group(1) if match else text


print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))

Ba thói quen về prompt giúp ích ở đây. Đặt tên phiên bản Python, để mô hình không sử dụng cú pháp bạn không thể chạy. Nói "chỉ thư viện chuẩn" trừ khi bạn thực sự muốn các gói bên thứ ba. Và yêu cầu một câu trả lời ngắn, vì các giải thích dài tốn token đầu ra và hiếm khi thay đổi mã. Nếu mô hình tiếp tục thêm văn bản sau khối mã, hãy truyền một chuỗi stop, hoặc cắt bỏ mọi thứ bên ngoài hàng rào như biểu thức chính quy làm.

Quy trình làm việc 2: để mô hình chạy và sửa mã của chính nó

Bước nhảy lớn nhất về độ tin cậy thường đến từ gọi hàm. Thay vì yêu cầu mã và hy vọng, bạn cung cấp cho mô hình một hàm thực thi một script và trả về kết quả. Nó viết mã, chạy nó, đọc dấu vết ngăn xếp và tự sửa lỗi. Kết quả công cụ được trả lại dưới dạng thông báo với role: "tool", được khớp bằng tool_call_id.

import json
import os
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def run_python(code):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code)
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
        return (r.stdout + r.stderr)[-3000:] or "(no output)"
    except subprocess.TimeoutExpired:
        return "timeout after 10 seconds"


tools = [{
    "type": "function",
    "function": {
        "name": "run_python",
        "description": "Run a Python script and return stdout and stderr.",
        "parameters": {
            "type": "object",
            "properties": {"code": {"type": "string"}},
            "required": ["code"],
        },
    },
}]

messages = [
    {"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
    {"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]

for _ in range(5):
    resp = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        tools=tools,
        tool_choice="auto",
        temperature=0.2,
    )
    msg = resp.choices[0].message
    messages.append(msg.model_dump(exclude_none=True))
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": run_python(args["code"]),
        })

Hãy cẩn thận với hàm run_python. Nó thực thi mã do mô hình viết, trên máy của bạn, với quyền của bạn. Đối với bất cứ điều gì vượt quá một thí nghiệm tạm thời, hãy chạy nó trong một container hoặc máy ảo tạm thời, không có mạng, giới hạn thời gian và không truy cập vào thông tin xác thực của bạn. Thời gian chờ 10 giây và kết quả được cắt ngắn trong ví dụ là mức tối thiểu.

Vòng lặp được giới hạn ở năm vòng để một mô hình bị nhầm không thể quay vô hạn. Trong thực tế, hầu hết các hàm đơn giản chỉ cần một hoặc hai lần chạy. Nếu bạn thấy mô hình lặp lại cùng một lệnh gọi thất bại, hãy thêm dấu vết ngăn xếp vào thông báo người dùng tiếp theo bằng lời, hoặc giảm nhiệt độ. Hãy nhớ rằng một yêu cầu gọi hàm được truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc, và một khóa đầy đủ cho phép 8 yêu cầu đồng thời, vì vậy một nhóm chia sẻ một khóa nên xếp hàng các lần chạy agent.

Quy trình làm việc 3: rà soát mã có cấu trúc với chế độ JSON

Các bài rà soát hữu ích khi một script có thể đọc chúng. Chế độ JSON bắt buộc JSON hợp lệ, và thông báo hệ thống xác định hình dạng. Với temperature 0 và seed cố định, cùng một tệp tạo ra cùng một bài rà soát trong các lần chạy lặp lại, điều này làm cho các diff giữa các lần chạy có ý nghĩa.

import json
import os

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

source = open("service.py").read()

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    temperature=0,
    seed=7,
    messages=[
        {
            "role": "system",
            "content": (
                "Review the Python file. Reply with a JSON object with the key issues, "
                "a list of objects with keys line, severity (low, medium or high), "
                "problem and fix. Return an empty list if you find nothing."
            ),
        },
        {"role": "user", "content": source},
    ],
)

for issue in json.loads(resp.choices[0].message.content)["issues"]:
    print(issue["severity"], issue["line"], issue["problem"])

Hãy sử dụng điều này từ một pre-commit hook hoặc một bước CI, và in kết quả dưới dạng các chú thích. Hãy mong đợi các kết quả dương tính giả và âm tính giả. Một trình xem xét mô hình giống như một cặp mắt thứ hai, nhanh chóng và không bao giờ mệt mỏi, nhưng nó không thay thế cho các bài kiểm tra, bộ kiểm tra kiểu hoặc trình kiểm tra cú pháp (linter). Hãy chạy những công cụ đó trước và sử dụng mô hình cho những gì chúng không thể phát hiện, chẳng hạn như tên biến không rõ ràng, các trường hợp biên bị thiếu và xử lý ngoại lệ nuốt lỗi.

Cửa sổ ngữ cảnh 100.000 token cho phép toàn bộ các tệp và đôi khi các gói nhỏ trong một yêu cầu. Giới hạn thân là 8 MB, điều mà bạn sẽ không đạt được với mã nguồn. Nếu một bài rà soát bị cắt ngang, hãy kiểm tra xem bạn có đặt max_tokens quá thấp không; tham số này là tùy chọn và một kết quả có thể sử dụng phần còn lại của cửa sổ ngữ cảnh.

Kiểm thử các mô hình trên các tác vụ của bạn

Đây là một bộ công cụ nhỏ làm những gì bảng xếp hạng không thể: nó chạy các tác vụ của bạn trên các bài kiểm thử của bạn. Mỗi tác vụ có một prompt và một đoạn mã kiểm thử. Script yêu cầu mô hình cung cấp mã nhiều lần, nối mã kiểm thử vào mã, chạy kết quả và đếm số lần vượt qua. Thay đổi base URL và tên mô hình để so sánh nhà cung cấp khác theo cách tương tự.

import os
import re
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

TASKS = [
    {
        "prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
        "test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
    },
    {
        "prompt": "Write chunk(items, n) that yields lists of at most n items.",
        "test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
    },
]
SAMPLES = 3


def extract(text):
    m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return m.group(1) if m else text


def passes(code, test):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code + "\n\n" + test + "\n")
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
        return r.returncode == 0
    except subprocess.TimeoutExpired:
        return False


total = ok = 0
for task in TASKS:
    for _ in range(SAMPLES):
        resp = client.chat.completions.create(
            model="uncensored",
            temperature=0.4,
            messages=[
                {"role": "system", "content": "Reply with one fenced python block and nothing else."},
                {"role": "user", "content": task["prompt"]},
            ],
        )
        total += 1
        ok += passes(extract(resp.choices[0].message.content), task["test"])

print(f"{ok}/{total} passed")

Mở rộng danh sách tác vụ lên 30 hoặc 50 mục lấy từ công việc thực tế: một lỗi bạn đã sửa vào tháng trước, một trình phân tích bạn đã viết, một hàm có một trường hợp cạnh khó xử. Bao gồm một số tác vụ mà các công cụ khác từ chối hoặc do dự. Chạy mỗi tác vụ ba đến năm lần, vì một mẫu nói rất ít. Ghi lại tỷ lệ vượt qua, độ dài đầu ra trung bình và chi phí cho mỗi tác vụ, và lưu kết quả trong một tệp để bạn có thể chạy lại sau khi thay đổi prompt. Chạy mã được tạo trong một sandbox, như đã lưu ý ở trên.

Hãy xem xét các lỗi, không chỉ phần trăm. Nếu hầu hết các lỗi đến từ một thư viện, hãy thêm một gợi ý vào thông báo hệ thống. Nếu chúng đến từ việc mô hình tạo ra tên hàm, hãy cung cấp cho nó các chữ ký liên quan trong prompt. Nếu chúng đến từ các đầu vào dài, hãy kiểm thử một prompt ngắn hơn trước khi đổ lỗi cho mô hình.

Chi phí cho công việc lập trình

Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, và các yêu cầu thất bại hoặc bị từ chối không được tính phí. Ba ví dụ với toán học:

  • Đánh giá. 50 nhiệm vụ x 3 mẫu là 150 lệnh gọi. Với 400 token đầu vào và 600 token đầu ra cho mỗi lệnh, đầu vào là 60.000 token ($0,009) và đầu ra là 90.000 token ($0,045). Tổng cộng: $0,054.
  • Kiểm tra tệp. Một tệp khoảng 600 dòng tương đương khoảng 8.000 token, với phần kiểm tra là 1.200 token. Chi phí đầu vào là $0,0012, chi phí đầu ra là $0,0006, tổng cộng $0,0018. Năm trăm lần kiểm tra tốn $0,90.
  • Vòng lặp agent. Một lần sửa với sáu vòng lặp gửi tổng cộng 18.000 token đầu vào và nhận 1.500 token đầu ra tốn $0,0027 cộng thêm $0,00075, tức $0,00345.

Các vòng lặp agent chiếm ưu thế vì mỗi vòng lặp gửi lại toàn bộ cuộc hội thoại đang mở rộng. Hãy cắt giảm đầu ra của công cụ (tool), như ví dụ đã làm, và bạn sẽ kiểm soát được phần lớn hóa đơn. Nạp tiền (Top-ups) là bất kỳ số tiền nguyên nào từ $20 đến $500 với mức +5% từ $50, +10% từ $100 và +15% từ $200, thanh toán bằng USDT trên TRC20 hoặc USDC trên Base, tín dụng không bao giờ hết hạn. Xem giá cả. Tài khoản mới cũng có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, đủ để chạy vài lần đánh giá. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.

Khi một lựa chọn khác tốt hơn

Hãy trung thực về giới hạn của bất kỳ endpoint đơn lẻ nào. Nếu bạn muốn một plugin chỉnh sửa với tính năng hoàn thành nội tuyến, một agent lập trình do nhà cung cấp xây dựng hoặc tích hợp chặt chẽ với hệ sinh thái công cụ của một nhà cung cấp điện toán đám mây cụ thể, một sản phẩm được xây dựng cho mục đích đó có thể phù hợp hơn với bạn, và bạn nên kiểm tra giá cả và điều khoản hiện tại của họ. Nếu mã của bạn không bao giờ kích hoạt việc từ chối, hành vi từ chối của mô hình này không mang lại lợi thế nào cho bạn, và kết quả kiểm tra của bạn sẽ là yếu tố quyết định. Nếu bạn cần nhúng (embeddings) hoặc đầu vào hình ảnh, bạn cần một dịch vụ khác cho những phần đó. API này rất phù hợp khi bạn muốn một endpoint tương thích OpenAI đơn giản mà bạn có thể gọi từ các tập lệnh và công cụ, với cửa sổ ngữ cảnh lớn, khả năng gọi công cụ (tool calling) và giá thấp. Tài liệu API liệt kê đầy đủ các tham số.

02

Hỏi đáp

Mô hình này có phù hợp cho công việc Python không?

Không có mô hình đơn lẻ nào là tốt nhất cho mọi tác vụ. API này cung cấp một mô hình trọng số mở với gọi hàm, chế độ JSON và cửa sổ 100.000 token, và bộ công cụ ở trên cho phép bạn đo lường nó so với các bài kiểm tra của riêng bạn.

Mô hình có thể chạy mã Python của tôi không?

Không tự nó làm được điều đó. Bạn định nghĩa một công cụ (tool), chẳng hạn như run_python, và mã của bạn sẽ thực thi nó và trả về kết quả dưới dạng một thông báo công cụ (tool message). Hãy chạy nó trong một môi trường sandbox.

Một codebase lớn đến mức nào có thể vừa trong một yêu cầu?

Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với phần hoàn thành (completion). Điều đó bao phủ nhiều tệp cùng lúc, nhưng không bao gồm toàn bộ một kho lưu trữ lớn.

Nó có hoạt động với gói Python của OpenAI không?

Có. Đặt base_url thành URL API, truyền khóa của bạn và sử dụng model ID là uncensored.

Một lần chạy thử tốn bao nhiêu?

Một lần chạy với 150 lệnh gọi lập trình, mỗi lệnh có 400 token đầu vào và 600 token đầu ra, tốn khoảng $0,054.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

URL cơ sởhttps://api.visionllmapi.com/v1

Lấy khóa API