Лучшая LLM для Python-кода: как выбрать и протестировать
Не существует единой лучшей LLM для кодинга на Python, потому что ответ зависит от ваших задач, размера контекста и того, сколько вы готовы платить за запрос. Эта статья даёт вам критерии, рабочий код для трёх сценариев кодинга и небольшой тестовый стенд для сравнения моделей на ваших собственных задачах.
Обновлено

Ключевые моменты
- Публичные рейтинги — это лишь отправная точка. Тест из 50 задач на вашей собственной кодовой базе расскажет больше.
- Для использования API проверяйте размер контекста, поддержку вызова функций, JSON-режим, детерминированные настройки и цену за запрос.
- Этот API предлагает одну модель с открытыми весами с контекстным окном на 100 000 токенов, поддержкой вызова функций и JSON-режимом по цене $0,15 и $0,50 за 1 млн токенов.
- Оценка из 150 вызовов стоит около 5 центов, поэтому измерение дешевле, чем догадки.
На этой странице
- Почему ни одна модель не является лучшей для всех
- Критерии, важные для API
- Сценарий 1: генерация функции со строгим промптом
- Сценарий 2: запуск модели и исправление её собственного кода
- Рабочий процесс 3: структурированный код-ревью с JSON-режимом
- Тестирование моделей на своих задачах
- Сколько стоит работа с кодом
- Когда лучше выбрать другой вариант
- Дополнительные руководства
Почему ни одна модель не является лучшей для всех
Разработка на Python охватывает очень разные задачи. Написание вспомогательной функции на десять строк, рефакторинг модуля на 2000 строк, чтение трассировки стека, генерация тестов, перевод скрипта оболочки на Python и создание инструмента для редактирования файлов — всё это программирование, и модель может быть сильна в одном и посредственна в другом. Рейтинги усредняют результаты по многим задачам и языкам. Ваш репозиторий, ваши правила стиля и ваши библиотеки представляют собой узкую выборку из этого множества.
Поэтому практический ответ на этот вопрос — это процедура. Определите, что вам нужно, сузьте выбор до двух или трех моделей, соответствующих техническим требованиям, запустите одни и те же задачи через каждую из них и подсчитайте, сколько из них прошло ваши собственные тесты. В остальной части этой статьи рассматриваются требования, а затем показано, как проводить тестирование с этим API.
Еще один момент перед деталями. Сервис, лежащий в основе этого сайта, использует одну модель с открытыми весами, управляемую независимым провайдером и настроенную на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо вендора моделей, и здесь нет заявлений о результатах бенчмарков. Рассматривайте его как одного из кандидатов в ваш короткий список и измеряйте его так же, как и любой другой.
Критерии, важные для API
Если вы вызываете модель из кода, а не общаетесь с ней в редакторе, несколько технических свойств определяют, подходит ли она.
| Критерий | Почему это важно для задач на Python | Этот API |
|---|---|---|
| Контекстное окно | Целые модули, длинные трассировки стека и выходные данные тестов должны помещаться с запасом для ответа | 100 000 токенов, промпт плюс ответ |
| Вызов инструментов | Позволяет модели запускать код, тесты и линтеры, а затем реагировать на результат | Да: инструменты, tool_choice, потоковая передача tool_calls |
| JSON-режим | Машинно-читаемые ревью, отчеты линтеров и планы рефакторинга | Да: response_format json_object |
| Повторяемость | Более низкая температура и фиксированное значение seed делают тестовые запуски сопоставимыми | temperature, top_p, stop, seed и штрафы передаются напрямую |
| Потоковая передача | Отзывчивые инструменты и длинные генерации | SSE с использованием в конце |
| Цена | Циклы агентов многократно отправляют контекст | $0,15 на вход и $0,50 на выход за 1 млн токенов |
| Отказы | Инструменты безопасности, скрейперы и скрипты для тестирования на проникновение для систем, которыми вы владеете, законны, но часто блокируются | Настроена на ответы без отказов по контенту для законного использования взрослыми |
Таблица ничего не говорит о качестве кода, потому что перечисленные свойства — это факты, а качество — это то, что вы тестируете. Качество также меняется в зависимости от промпта. Системное сообщение, фиксирующее версию Python, разрешенные библиотеки и формат ответа, часто имеет такое же значение, как и сама модель.
Этот API работает только с текстом. Вы отправляете код как текст в промпте и получаете текст обратно. Здесь нет генерации изображений, аудио или видео, нет эмбеддингов и нет тонкой настройки, поэтому системе поиска по коду, которой нужны эмбеддинги, придется получать их откуда-то еще.
Сценарий 1: генерация функции со строгим промптом
Начните с самого простого случая: запросите одну функцию и извлеките блок кода. Низкая температура (temperature) обеспечивает стабильный вывод. Системное сообщение фиксирует версию языка и формат ответа, что позволяет извлекать результат с помощью однострочного регулярного выражения. Получите ключ на странице ключа и экспортируйте его как LLM_API_KEY.
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
Три привычки в промптах помогают здесь. Укажите версию Python, чтобы модель не использовала синтаксис, который вы не сможете запустить. Укажите «только стандартная библиотека», если вам не нужны сторонние пакеты. И просите короткий ответ, так как длинные объяснения стоят выходных токенов и редко меняют код. Если модель продолжает добавлять текст после блока, передайте последовательность stop или удалите всё, что находится за пределами блока, как это делает регулярное выражение.
Сценарий 2: запуск модели и исправление её собственного кода
Самый большой скачок в надежности обычно дает вызов функций. Вместо того чтобы просить код и надеяться, вы даете модели функцию, которая выполняет скрипт и возвращает результат. Она пишет код, запускает его, читает трассировку стека и исправляет себя. Результаты инструментов возвращаются как сообщения с role: "tool", сопоставленные по tool_call_id.
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
Относитесь к функции run_python с осторожностью. Она выполняет код, написанный моделью, на вашей машине, с вашими правами. Для чего-то большего, чем разовый эксперимент, запускайте его в контейнере или временной виртуальной машине, без сети, с ограничением по времени и без доступа к вашим учетным данным. Десятисекундный тайм-аут и обрезанный вывод в примере — это минимум.
Цикл ограничен пятью раундами, чтобы сбитая с толку модель не крутилась вечно. На практике большинству простых функций требуется один или два запуска. Если вы видите, что модель повторяет один и тот же неудачный вызов, добавьте трассировку стека в следующее сообщение пользователя словами или снизьте температуру. Имейте в виду, что потоковый запрос с вызовом функций удерживает слот одновременных запросов до конца потока, а полный ключ позволяет 8 одновременных запросов, поэтому команде, использующей один ключ, следует ставить запуски агентов в очередь.
Сценарий 3: структурированное ревью кода с JSON-режимом
Ревью полезны, когда скрипт может их прочитать. JSON-режим гарантирует валидный JSON, а системное сообщение определяет структуру. С temperature 0 и фиксированным seed один и тот же файл дает одинаковое ревью при повторных запусках, что делает диффы между запусками осмысленными.
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
Используйте это из хука pre-commit или шага CI и выводите результат как аннотации. Ожидайте ложные срабатывания и пропуски. Ревьюер на основе модели — это вторая пара глаз, которая работает быстро и никогда не устаёт, но она не заменяет тесты, проверку типов или линтер. Запускайте их сначала и используйте модель для того, что они не видят, например, для неочевидных имён, пропущенных граничных случаев и обработки ошибок, проглатывающей исключения.
Окно в 100 000 токенов позволяет поместить целые файлы и иногда небольшие пакеты в один запрос. Лимит тела составляет 8 МБ, чего вы не достигнете с исходным кодом. Если ревью обрезается, проверьте, не установили ли вы max_tokens слишком низко; этот параметр необязателен, и завершение может использовать оставшуюся часть окна.
Тестирование моделей на своих задачах
Вот небольшой стенд, который делает то, что не может сделать рейтинг: он запускает ваши задачи против ваших тестов. У каждой задачи есть промпт и фрагмент теста. Скрипт несколько раз запрашивает у модели код, добавляет тест к коду, запускает результат и подсчитывает количество успешных прохождений. Измените базовый URL и имя модели, чтобы сравнить другого провайдера таким же образом.
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
Увеличьте список задач до 30–50 пунктов, взятых из реальной работы: баг, который вы исправили в прошлом месяце, парсер, который вы написали, функция со сложным граничным случаем. Включите задачи, которые другие инструменты отказывались выполнять или давали с оговорками. Запустите каждую задачу три-пять раз, так как одного запуска недостаточно для оценки. Запишите процент успешных запусков, среднюю длину вывода и стоимость за задачу и сохраните результаты в файл, чтобы можно было запустить их снова после изменения промптов. Запускайте сгенерированный код в песочнице, как указано выше.
Смотрите на сбои, а не только на процент. Если большинство пропусков связано с одной библиотекой, добавьте подсказку в системное сообщение. Если они связаны с тем, что модель придумывает имена функций, дайте ей соответствующие сигнатуры в промпте. Если они связаны с длинными входными данными, протестируйте более короткий промпт, прежде чем обвинять модель.
Сколько стоит работа с кодом
Цены составляют $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, а неудачные или отклоненные запросы не оплачиваются. Три примера с расчетами:
- Оценочный запуск. 50 задач × 3 образца — это 150 вызовов. При 400 входных и 600 выходных токенах на каждый вызов входные данные составляют 60 000 токенов ($0.009), а выходные — 90 000 токенов ($0.045). Итого: $0.054.
- Ревью файла. Файл примерно на 600 строк — это около 8000 токенов, с ревью на 1200 токенов. Входные данные стоят $0,0012, выходные — $0,0006, итого $0,0018. Пятьсот ревью стоят $0,90.
- Цикл агента. Исправление за шесть раундов, которое отправляет в общей сложности 18 000 входных токенов и получает 1 500 выходных токенов, стоит $0.0027 плюс $0.00075, итого $0.00345.
Циклы агентов доминируют, потому что каждый раунд повторно отправляет растущий диалог. Уменьшите вывод инструментов, как в примере, и вы контролируете большую часть счета. Пополнение — любая целая сумма от $20 до $500 с бонусом +5% от $50, +10% от $100 и +15% от $200, оплачивается в USDT по сети TRC20 или USDC по сети Base, кредит не сгорает. См. тарифы. Новые аккаунты также могут получить $0,50 пробного кредита в один клик, которого хватит на несколько оценочных запусков. Ключ пробного доступа позволяет выполнять 2 параллельных запроса и 60 запросов в минуту.
Когда лучше выбрать другой вариант
Будьте честны относительно ограничений любого отдельного эндпоинта. Если вам нужен плагин для редактора с встроенным автодополнением, агент для кода от поставщика облачных услуг или тесная интеграция с инструментами одного облачного провайдера, продукт, созданный специально для этой цели, может подойти вам лучше, и вам следует проверить их текущие цены и условия. Если ваш код никогда не вызывает отказ, поведение модели при отказе не дает вам преимуществ, и результаты ваших тестов должны решить. Если вам нужны эмбеддинги или ввод изображений, вам нужен другой сервис для этих частей. Этот API хорошо подходит, когда вам нужен простой OpenAI-совместимый эндпоинт, который можно вызывать из скриптов и инструментов, с большим окном, вызовом функций и низкой ценой. В документации API приведен полный набор параметров.
Дополнительные руководства
Вопросы и ответы
Подходит ли эта модель для работы с Python?
Нет единой модели, которая лучше всего подходит для всех задач. Этот API предлагает одну модель с открытыми весами с вызовом функций, JSON-режимом и окном в 100 000 токенов, а приведенный выше тестовый скрипт позволяет измерить её производительность в ваших собственных тестах.
Может ли модель запускать мой код на Python?
Сама по себе — нет. Вы определяете инструмент, например run_python, и ваш код выполняет его и возвращает результат в виде сообщения инструмента. Запускайте его в песочнице.
Какой размер кодовой базы помещается в один запрос?
Окно контекста составляет 100 000 токенов для суммы промпта и завершения. Это покрывает множество файлов одновременно, но не весь большой репозиторий.
Работает ли это с пакетом OpenAI для Python?
Да. Установите base_url в URL API, передайте свой ключ и используйте идентификатор модели uncensored.
Сколько стоит тестовый запуск?
Запуск из 150 вызовов для кода по 400 входных и 600 выходных токенов каждый стоит около $0.054.
Ваш ключ — всего в одном шаге
Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.
Базовый URLhttps://api.visionllmapi.com/v1