KO ▾
API 키 받기

파이썬 코딩용 최고 LLM: 선택 및 테스트 방법

답변은 작업, 컨텍스트 크기 및 요청당 지불 가능 금액에 따라 달라지므로 파이썬 코딩용 단일 최고 LLM은 없습니다. 이 글에서는 기준, 세 가지 코딩 워크플로우용 코드 및 모델을 비교할 수 있는 작은 하네스를 제공합니다.

업데이트

기어와 겹쳐진 코드 블록을 통과하는 등고선 데이터 스트림, LLM API를 사용한 파이썬 코딩

주요 포인트

  • 공개 순위는 시작점일 뿐입니다. 자체 코드베이스에서 50개 작업 테스트가 더 많은 정보를 제공합니다.
  • API 사용 시 컨텍스트 크기, 도구 호출, JSON 모드, 결정론적 설정 및 요청당 가격을 확인하세요.
  • 이 API는 100,000개 토큰 창, 도구 호출 및 JSON 모드를 갖춘 오픈 웨이트 모델을 1M 토큰당 $0.15 및 $0.50에 제공합니다.
  • 150회 호출 평가 실행 비용은 약 5센트이므로 측정하는 것이 추측보다 저렴합니다.

왜 모델이 모두에게 최고일 수 없는지

Python 코딩은 매우 다양한 업무를 포괄합니다. 10줄짜리 헬퍼 함수 작성, 2,000줄짜리 모듈 리팩토링, 스택 트레이스 읽기, 테스트 생성, 셸 스크립트를 Python으로 변환, 파일 편집 도구 빌드 등이 모두 코딩에 해당하며, 모델은 한쪽에서는 강점이 있지만 다른 쪽에서는 보통 수준일 수 있습니다. 리더보드 점수는 다양한 작업과 여러 언어를 평균 낸 값입니다. 여러분의 저장소, 스타일 규칙, 라이브러리는 그러한 광범위한 영역 중 좁은 부분에 불과합니다.

따라서 실용적인 답변은 절차입니다. 필요한 것을 결정하고 기술적 요구사항을 충족하는 두세 가지 모델을 단축 목록에 넣은 후, 동일한 작업을 각 모델로 실행하고 자체 테스트를 통과한 횟수를 세십시오. 이 글의 나머지 부분에서는 요구사항을 다루고 이 API로 테스트하는 방법을 보여줍니다.

자세히 보기 전 한 가지 더. 이 사이트의 서비스는 독립 제공업체가 운영하고 법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 조정된 단일 오픈 웨이트 모델을 실행합니다. 이는 어떤 모델 벤더의 공식 API가 아니며 벤치마크 주장은 없습니다. 단축 목록의 후보 중 하나로 취급하고 다른 모델처럼 측정하십시오.

API에 중요한 기준

에디터에서 채팅하는 대신 코드에서 모델을 호출하면 몇 가지 기술적 속성이 적합 여부를 결정합니다.

기준파이썬 작업에 중요한 이유이 API
컨텍스트 창전체 모듈, 긴 트레이스백 및 테스트 출력은 답변을 위한 여지를 두고 들어야 합니다.100,000 토큰, 프롬프트 및 완성 포함
함수 호출모델이 코드, 테스트 및 린터를 실행한 후 출력에 반응할 수 있게 합니다.예: 도구, tool_choice, 스트리밍 tool_calls
JSON 모드기계 판독 가능한 리뷰, 린트 보고서 및 리팩터링 계획예: response_format json_object
반복 가능성낮은 temperature와 고정된 seed는 테스트 실행을 비교 가능하게 만듭니다.temperature, top_p, stop, seed 및 패널티가 전달됨
스트리밍응답성 있는 도구 및 긴 생성최종 사용량 정보가 포함된 SSE
가격에이전트 루프는 컨텍스트를 여러 번 다시 전송합니다.입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50
거부 응답소유한 시스템용 보안 도구, 스크레이퍼 및 레드팀 스크립트는 법적이지만 종종 거부됩니다.법적인 성인 사용에 맞게 콘텐츠 거부 없이 답변하도록 조정됨

표는 코드 품질에 대해 아무것도 말하지 않습니다. 위의 속성은 사실이며 품질은 테스트해야 하는 것입니다. 품질도 프롬프트에 따라 달라집니다. Python 버전, 허용된 라이브러리 및 답변 형식을 고정하는 시스템 메시지는 모델만큼 중요할 수 있습니다.

이 API는 텍스트 전용입니다. 프롬프트에 코드를 텍스트로 보내고 텍스트로 받습니다. 이미지, 오디오 또는 비디오 생성, 임베딩 및 파인튜닝이 없으므로 임베딩이 필요한 코드 검색 시스템은 다른 곳에서 임베딩을 가져와야 합니다.

워크플로우 1: 엄격한 프롬프트로 함수 생성

가장 간단한 사례부터 시작하세요: 함수 하나를 요청하고 코드 블록을 추출하세요. 낮은 temperature는 안정적인 출력을 제공합니다. 시스템 메시지는 언어 버전과 응답 형식을 고정하므로, 추출은 1줄짜리 regex로 가능합니다. 키 페이지에서 키를 발급하고 LLM_API_KEY로 내보내세요.

import os
import re

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def ask_for_code(task):
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a senior Python developer. Use Python 3.11, the standard "
                    "library only unless told otherwise, and type hints. Reply with one "
                    "fenced python block and at most three sentences of explanation."
                ),
            },
            {"role": "user", "content": task},
        ],
    )
    text = resp.choices[0].message.content
    match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return match.group(1) if match else text


print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))

여기서 도움이 되는 프롬프트 습관 세 가지가 있습니다. Python 버전을 명시하여 실행할 수 없는 구문을 사용하지 않도록 하세요. 서드파티 패키지가 정말 필요하다면 모를까, 그렇지 않다면 "표준 라이브러리만 사용"이라고 지시하세요. 긴 설명은 출력 토큰을 소모하고 코드를 바꾸지 않으므로 짧은 답변을 요청하세요. 모델이 코드 블록 뒤에 계속 텍스트를 추가한다면 stop 시퀀스를 전달하거나, regex가 하듯 fence 밖의 모든 내용을 제거하세요.

워크플로우 2: 모델이 코드를 실행하고 수정하도록 허용

신뢰도를 높이는 가장 큰 도구는 보통 함수 호출입니다. 코드를 요청하고 운을 믿는 대신, 스크립트를 실행하고 결과를 반환하는 함수를 모델에 제공하세요. 모델은 코드를 작성하고, 실행하고, tracebacks를 읽으며 스스로를 수정합니다. 도구 결과는 role: "tool"로 매칭되는 tool_call_id를 사용하여 메시지 형태로 반환됩니다.

import json
import os
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def run_python(code):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code)
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
        return (r.stdout + r.stderr)[-3000:] or "(no output)"
    except subprocess.TimeoutExpired:
        return "timeout after 10 seconds"


tools = [{
    "type": "function",
    "function": {
        "name": "run_python",
        "description": "Run a Python script and return stdout and stderr.",
        "parameters": {
            "type": "object",
            "properties": {"code": {"type": "string"}},
            "required": ["code"],
        },
    },
}]

messages = [
    {"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
    {"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]

for _ in range(5):
    resp = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        tools=tools,
        tool_choice="auto",
        temperature=0.2,
    )
    msg = resp.choices[0].message
    messages.append(msg.model_dump(exclude_none=True))
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": run_python(args["code"]),
        })

run_python 함수를 주의해서 다루세요. 이 함수는 귀하의 머신에서 귀하의 권한으로 모델이 작성한 코드를 실행합니다. 임시 실험을 넘어서는 모든 것에 대해 네트워크 없이, 시간 제한이 있고 자격 증명에 접근할 수 없는 컨테이너 또는 임시 가상 머신에서 실행하세요. 예시의 10초 타임아웃 및 잘린 출력은 최소한입니다.

루프는 최대 5회로 제한되어 혼란스러운 모델이 무한히 반복하지 않습니다. 실제로 대부분의 단순 함수는 1~2회 실행으로 충분합니다. 모델이 동일한 실패 호출을 반복하는 경우, 다음 프롬프트에 트레이스백을 텍스트로 추가하거나 온도를 낮추세요. 스트리밍 함수 호출 요청은 스트리밍이 끝날 때까지 동시 요청 슬롯을 유지하며, 전체 키는 최대 8개의 동시 요청을 허용하므로 하나의 키를 공유하는 팀은 에이전트 실행을 대기열에 넣어야 합니다.

워크플로우 3: JSON 모드를 사용한 구조화된 코드 검토

검토는 스크립트가 읽을 때 유용합니다. JSON 모드는 유효한 JSON을 강제하며 시스템 메시지는 형태를 정의합니다. temperature 0과 고정 seed를 사용하면 동일한 파일이 반복 실행에서 동일한 검토를 생성하므로 실행 간 diff가 의미가 있습니다.

import json
import os

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

source = open("service.py").read()

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    temperature=0,
    seed=7,
    messages=[
        {
            "role": "system",
            "content": (
                "Review the Python file. Reply with a JSON object with the key issues, "
                "a list of objects with keys line, severity (low, medium or high), "
                "problem and fix. Return an empty list if you find nothing."
            ),
        },
        {"role": "user", "content": source},
    ],
)

for issue in json.loads(resp.choices[0].message.content)["issues"]:
    print(issue["severity"], issue["line"], issue["problem"])

프리 커밋 훅이나 CI 단계에서 이를 사용하고 결과를 주석으로 출력하세요. 거짓 양성(false positives)과 거짓 음성(false negatives)이 발생할 수 있습니다. 모델 리뷰어는 빠르고 피로하지 않은 두 번째 시야를 제공하지만, 테스트, 타입 체커 또는 린터(linter)를 대체하지 않습니다. 먼저 린터 등을 실행하고, 명확하지 않은 네이밍, 누락된 엣지 케이스, 예외를 잡아먹는 오류 처리 등 그들이 볼 수 없는 부분에 모델을 사용하세요.

100,000개 토큰의 창은 한 번의 요청으로 전체 파일과 때로는 작은 패키지를 허용합니다. 본문 제한은 8MB이며 소스 코드로는 도달하지 못합니다. 검토가 잘리면 max_tokens이 너무 낮게 설정되었는지 확인하세요. 이 매개변수는 선택사항이며 완성은 창의 남은 부분을 사용할 수 있습니다.

자체 작업으로 모델 테스트

여기서 리더보드가 할 수 없는 일을 수행하는 작은 하네스(harness)가 있습니다. 이 하네스는 테스트를 기준으로 작업을 실행합니다. 각 작업에는 프롬프트와 테스트 스니펫이 있습니다. 스크립트는 모델에게 여러 번 코드를 요청하고, 테스트를 코드에 추가한 후 결과를 실행하여 통과 횟수를 셉니다. base_url과 모델 이름을 변경하여 다른 제공업체를 같은 방식으로 비교할 수 있습니다.

import os
import re
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

TASKS = [
    {
        "prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
        "test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
    },
    {
        "prompt": "Write chunk(items, n) that yields lists of at most n items.",
        "test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
    },
]
SAMPLES = 3


def extract(text):
    m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return m.group(1) if m else text


def passes(code, test):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code + "\n\n" + test + "\n")
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
        return r.returncode == 0
    except subprocess.TimeoutExpired:
        return False


total = ok = 0
for task in TASKS:
    for _ in range(SAMPLES):
        resp = client.chat.completions.create(
            model="uncensored",
            temperature=0.4,
            messages=[
                {"role": "system", "content": "Reply with one fenced python block and nothing else."},
                {"role": "user", "content": task["prompt"]},
            ],
        )
        total += 1
        ok += passes(extract(resp.choices[0].message.content), task["test"])

print(f"{ok}/{total} passed")

실제 작업에서 가져온 30개 또는 50개 항목으로 작업 목록을 확장하세요. 지난달 수정한 버그, 작성한 파서, 어색한 엣지 케이스가 있는 함수 등이 포함됩니다. 다른 도구가 거부하거나 유보한 작업도 포함하세요. 각 작업을 세 번에서 다섯 번 실행하세요. 하나의 샘플은 거의 말하지 않기 때문입니다. 통과율, 평균 출력 길이 및 작업당 비용을 기록하고 프롬프트 변경 후 다시 실행할 수 있도록 파일에 결과를 보관하세요. 위에서 언급한 대로 샌드박스에서 생성된 코드를 실행하세요.

백분율뿐만 아니라 실패를 확인하세요. 대부분의 누락이 하나의 라이브러리에서 발생하면 시스템 메시지에 힌트를 추가하세요. 모델이 함수 이름을 발명하는 것에서 발생하면 프롬프트에 관련 시그니처를 제공하세요. 긴 입력에서 발생하면 모델을 비난하기 전에 짧은 프롬프트를 테스트하세요.

코딩 작업 비용

가격은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이며 실패하거나 거부된 요청은 요금이 부과되지 않습니다. 수학과 함께 세 가지 예시:

  • 평가 실행. 50개 작업 x 3개 샘플 = 150회 호출. 각 작업당 입력 토큰 400개, 출력 토큰 600개 기준, 입력은 60,000토큰($0.009), 출력은 90,000토큰($0.045)입니다. 총합: $0.054.
  • 파일 검토. 약 600줄의 파일은 약 8,000개 토큰이며 1,200개 토큰 검토가 있습니다. 입력 비용은 $0.0012, 출력 비용은 $0.0006이며 총합은 $0.0018입니다. 500회 검토 비용은 $0.90입니다.
  • 에이전트 루프. 총 18,000개의 입력 토큰을 보내고 1,500개의 출력 토큰을 받는 6회 라운드의 수정에는 $0.0027과 $0.00075가 들어 총 $0.00345가 듭니다.

에이전트 루프가 지배적인 이유는 각 라운드에서 대화 내용이 계속 재전송되기 때문입니다. 예제처럼 도구 출력을 줄이면 청구 금액의 대부분을 통제할 수 있습니다. 충전은 $20부터 $500까지의 정수 금액으로 가능하며, $50부터 +5%, $100부터 +10%, $200부터 +15%의 보너스를 받습니다. USDT(TRC20) 또는 USDC(Base)로 결제하며, 크레딧은 만료되지 않습니다. 가격 정책을 참조하세요. 신규 계정은 클릭 한 번으로 $0.50의 무료 체험 크레딧을 청구할 수 있으며, 이는 몇 번의 평가 실행에 사용할 수 있습니다. 체험용 키는 동시 요청 2개, 분당 60개의 요청을 허용합니다.

다른 선택이 더 나은 경우

어떤 단일 엔드포인트의 한계에 대해 정직하세요. 인라인 자동 완성을 위한 편집기 플러그인, 벤더가 구축한 코딩 에이전트 또는 특정 클라우드의 도구와 긴밀한 통합을 원한다면, 그 목적에 맞춰진 제품이 더 적합할 수 있으며, 해당 업체의 현재 가격 정책과 약관을 확인해야 합니다. 코드에서 거절이 발생하지 않는다면, 이 모델의 거절 동작은 이점을 제공하지 않으므로 테스트 결과가 결정해야 합니다. 임베딩이나 이미지 입력이 필요하다면 해당 부분에 대해 다른 서비스가 필요합니다. 이 API는 스크립트와 도구에서 호출할 수 있는 평범한 OpenAI 호환 엔드포인트, 큰 컨텍스트 창, 함수 호출, 낮은 가격을 원할 때 적합합니다. API 문서에 전체 파라미터 세트가 나열되어 있습니다.

02

질문과 답변

이 모델이 Python 작업에 적합한가요?

모든 작업에 가장 좋은 단일 모델은 없습니다. 이 API는 함수 호출, JSON 모드 및 100,000개의 토큰 창을 갖춘 하나의 오픈 웨이트 모델을 제공하며, 위의 하네스를 통해 자체 테스트와 비교하여 측정할 수 있습니다.

모델이 내 Python 코드를 실행할 수 있나요?

그 자체로는 불가능합니다. run_python과 같은 도구를 정의하고 코드가 이를 실행하여 도구 메시지 형식으로 출력을 반환합니다. 샌드박스에서 실행하십시오.

한 번의 요청에 얼마나 큰 코드베이스가 들어갈 수 있나요?

창은 프롬프트와 완성을 합쳐 100,000개의 토큰입니다. 이는 여러 파일을 한 번에 포함할 수 있지만 전체 대형 저장소는 아닙니다.

OpenAI Python 패키지와 호환되나요?

네. base_url을 API URL로 설정하고 키를 전달한 후, uncensored 모델 ID를 사용하세요.

테스트 실행 비용은 얼마인가요?

입력 토큰 400개와 출력 토큰 600개를 사용하는 150개의 코딩 호출 실행은 약 $0.054가 듭니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

Base URLhttps://api.visionllmapi.com/v1

API 키 받기