JA ▾
API キーを取得

Pythonコーディングに最適なLLMの選び方とテスト方法

Pythonコーディングに単一の最適LLMはありません。答えはあなたのタスク、コンテキストサイズ、1リクエストあたりの支払い可能額に依存します。この記事では基準、3つのコーディングワークフローの動作コード、および独自の作業でモデルを比較するための小さなハーネスを提供します。

更新日:

LLM APIでのPythonコーディングを示す、ギアを通過して積み重ねられたコードブロックとして現れる等方的なデータストリームのイラスト

主要ポイント

  • 公開ランキングは出発点です。独自のコードベースでの50タスクテストの方がより多くのことを教えてくれます。
  • API利用では、コンテキストサイズ、ツール呼び出し、JSONモード、決定論的設定、1リクエストあたりの価格を確認してください。
  • このAPIは、100,000トークンのウィンドウ、関数呼び出し、JSON モードを備えたオープンウェイトモデルを、1Mトークンあたり$0.15および$0.50で提供します。
  • 150回の呼び出しを含む1回の評価ランは約5セントで実行できるため、測定は推測よりも安価です。

なぜモデルが全員に最適ではないのか

Pythonコーディングには非常に異なる仕事が含まれます。10行のヘルパーの作成、2,000行のモジュールの書き直し、スタックトレースの読み取り、テストの生成、シェルスクリプトのPythonへの変換、ファイルを編集するツールの構築はすべてコーディングであり、モデルは一方では強く、他方では平均的である可能性があります。リーダーボードは多くのタスクと言語にわたって平均化されています。あなたのリポジトリ、スタイルルール、ライブラリはその狭い断片です。

したがって、この質問に対する実用的な答えは手順です。必要なものを決定し、技術要件を満たす2〜3つのモデルを短縮リストに絞り込み、同じタスクをそれぞれで実行して、独自のテストに合格した数をカウントします。この記事の残りの部分では要件をカバーし、このAPIに対してテストを実行する方法を示します。

詳細に入る前に1点。このサイトの背後にあるサービスは、1つのオープンウェイトモデルを実行しています。これは独立したプロバイダによって運用され、法的な成人用途に対してコンテンツ拒否なしで回答するように調整されています。これは任意のモデルベンダーの公式APIではなく、ベンチマークの主張はありません。これを短縮リストの候補の1つとして扱い、他のモデルと同様に測定してください。

APIにとって重要な基準

エディタでチャットするのではなくコードからモデルを呼び出す場合、いくつかの技術的性質が適合性を決定します。

基準Python作業にとってなぜ重要かこのAPI
コンテキスト長モジュール全体、長いトレースバック、テスト出力は、回答の余地を残して収まる必要があります100,000 トークン(プロンプトと補完を含む)
関数呼び出しモデルがコード、テスト、リンターを実行し、出力に反応できるようにするはい:ツール、tool_choice、ストリーミングされたtool_calls
JSON モード機械可読のレビュー、リンターレポート、書き直し計画はい:response_format json_object
再現性低いtemperatureと固定されたseedにより、テスト実行を比較可能にします温度、top_p、ストップ、シード、ペナルティは透過的に渡される
ストリーミングレスポンシブなツールと長い生成末尾に使用状況を含むSSE
料金エージェントループはコンテキストを何度も再送信します1Mトークンあたり入力$0.15、出力$0.50
拒否所有するシステム向けのセキュリティツール、スクレイパー、レッドチームスクリプトは法的ですが、しばしば拒否されます法的な成人利用に対してコンテンツ拒否なしで回答するよう調整済み

表はコードの品質について何も述べていません。上記の性質は事実であり、品質はテストするものです。品質はプロンプトによっても変化します。Pythonバージョン、許可されたライブラリ、回答形式を固定するシステムメッセージは、モデル自体と同様に重要であることが多いです。

このAPIはテキストのみです。プロンプトにコードをテキストとして送信し、テキストを返します。画像、音声、ビデオの生成、埋め込み、ファインチューニングはありません。埋め込みを必要とするコード検索システムは、それらを別の場所から取得する必要があります。

ワークフロー1:厳格なプロンプトで関数を生成する

最も単純なケースから始めます:1つの関数を要求し、コードブロックを抽出します。低いtemperatureは安定した出力をもたらします。システムメッセージは言語バージョンと返信形式を固定し、抽出を1行の正規表現にします。キーページからAPI キーを取得し、それをLLM_API_KEYとしてエクスポートしてください。

import os
import re

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def ask_for_code(task):
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        messages=[
            {
                "role": "system",
                "content": (
                    "You are a senior Python developer. Use Python 3.11, the standard "
                    "library only unless told otherwise, and type hints. Reply with one "
                    "fenced python block and at most three sentences of explanation."
                ),
            },
            {"role": "user", "content": task},
        ],
    )
    text = resp.choices[0].message.content
    match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return match.group(1) if match else text


print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))

ここでは3つのプロンプトの習慣が役立ちます。Pythonバージョンを指定し、モデルが実行できない構文に頼らないようにします。サードパーティパッケージを本当に望まない限り、「標準ライブラリのみ」と述べてください。そして、短い回答を要求してください。長い説明は出力トークンを消費し、コードを変更することはめったにありません。モデルがブロックの後に文章を追加し続ける場合は、stopシーケンスを渡すか、正規表現が行うようにフェンス外のすべてを削除してください。

ワークフロー2:モデルにコードの実行と修正を任せる

信頼性の最大の飛躍は通常、ツール呼び出しから生じます。コードを要求して期待するのではなく、スクリプトを実行して出力を返す関数をモデルに与えます。モデルはコードを書き、実行し、トレースバックを読み取り、自己修正します。ツールの結果はrole: "tool"付きのメッセージとして戻り、tool_call_idで対応付けられます。

import json
import os
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)


def run_python(code):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code)
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
        return (r.stdout + r.stderr)[-3000:] or "(no output)"
    except subprocess.TimeoutExpired:
        return "timeout after 10 seconds"


tools = [{
    "type": "function",
    "function": {
        "name": "run_python",
        "description": "Run a Python script and return stdout and stderr.",
        "parameters": {
            "type": "object",
            "properties": {"code": {"type": "string"}},
            "required": ["code"],
        },
    },
}]

messages = [
    {"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
    {"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]

for _ in range(5):
    resp = client.chat.completions.create(
        model="uncensored",
        messages=messages,
        tools=tools,
        tool_choice="auto",
        temperature=0.2,
    )
    msg = resp.choices[0].message
    messages.append(msg.model_dump(exclude_none=True))
    if not msg.tool_calls:
        print(msg.content)
        break
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": run_python(args["code"]),
        })

run_python関数は慎重に扱ってください。これはモデルが生成したコードを、あなたのマシン上で、あなたの権限で実行します。使い捨てのテスト以上の用途であれば、ネットワークなし、タイムリミット付き、資格情報へのアクセスなしのコンテナまたは使い捨ての仮想マシンで実行してください。例にある10秒のタイムアウトと切り詰めた出力は最小限の要件です。

ループは5ラウンドに制限されているため、混乱したモデルが永遠に回転することはありません。実際、ほとんどの単純な関数は1〜2回の実行で済みます。モデルが同じ失敗呼び出しを繰り返している場合は、トレースバックを単語で次のユーザーメッセージに追加するか、temperatureを下げてください。ストリーミングされたツール呼び出しリクエストはストリームが終了するまで同時実行スロットを保持することに注意してください。1つのキーで最大8つの同時リクエストが可能なので、1つのキーを共有するチームはエージェント実行をキューに入れるべきです。

ワークフロー3:JSONモードによる構造化コードレビュー

レビューはスクリプトがそれらを読み取れる場合に役立ちます。JSONモードは有効なJSONを強制し、システムメッセージは構造を定義します。temperatureを0に設定し、固定されたseedを使用すると、同じファイルは繰り返し実行で同じレビューを生成し、実行間の差分を意味のあるものにします。

import json
import os

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

source = open("service.py").read()

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    temperature=0,
    seed=7,
    messages=[
        {
            "role": "system",
            "content": (
                "Review the Python file. Reply with a JSON object with the key issues, "
                "a list of objects with keys line, severity (low, medium or high), "
                "problem and fix. Return an empty list if you find nothing."
            ),
        },
        {"role": "user", "content": source},
    ],
)

for issue in json.loads(resp.choices[0].message.content)["issues"]:
    print(issue["severity"], issue["line"], issue["problem"])

これをコミットフックやCIステップから使用し、結果を注釈として出力してください。偽陽性と偽陰性を期待してください。モデルレビュアーは迅速で疲れ知らずの第二の目ですが、テスト、型チェッカー、リンターを置き換えるものではありません。それらを先に実行し、モデルにそれらが見えないもの(不明確な命名、見落としのあるエッジケース、例外を飲み込むエラー処理など)に任せましょう。

100,000トークンのウィンドウにより、1つのリクエストでファイル全体や、場合によっては小規模なパッケージを処理できます。ボディの制限は8 MBで、ソースコードではこの制限に達することはありません。レビューが切り捨てられた場合は、max_tokensが低すぎないか確認してください。このパラメータはオプションであり、補完はウィンドウの残りを消費する可能性があります。

独自のタスクでモデルをテストする

ここに、リーダーボードができないことを実行する小さなハーネスがあります。これはあなたのタスクをあなたのテストに対して実行します。各タスクにはプロンプトとテストスニペットがあります。スクリプトはモデルに数回コードを要求し、テストをコードに追加し、結果を実行して合格数をカウントします。base URLとモデル名を変更して、他のプロバイダを同じ方法で比較してください。

import os
import re
import subprocess
import sys
import tempfile

from openai import OpenAI

client = OpenAI(
    base_url="https://api.visionllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

TASKS = [
    {
        "prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
        "test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
    },
    {
        "prompt": "Write chunk(items, n) that yields lists of at most n items.",
        "test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
    },
]
SAMPLES = 3


def extract(text):
    m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
    return m.group(1) if m else text


def passes(code, test):
    with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
        f.write(code + "\n\n" + test + "\n")
    try:
        r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
        return r.returncode == 0
    except subprocess.TimeoutExpired:
        return False


total = ok = 0
for task in TASKS:
    for _ in range(SAMPLES):
        resp = client.chat.completions.create(
            model="uncensored",
            temperature=0.4,
            messages=[
                {"role": "system", "content": "Reply with one fenced python block and nothing else."},
                {"role": "user", "content": task["prompt"]},
            ],
        )
        total += 1
        ok += passes(extract(resp.choices[0].message.content), task["test"])

print(f"{ok}/{total} passed")

実際の仕事から取得した30〜50項目のタスクリストに拡張してください:先月修正したバグ、あなたが書いたパーサー、 awkward なエッジケースを持つ関数。他のツールが拒否または慎重に扱ったタスクを含めてください。各タスクを3〜5回実行してください。1つのサンプルでは何も示しません。合格率、平均出力長、タスクあたりのコストを記録し、プロンプトを変更後に再実行できるように結果をファイルに保存してください。生成されたコードは上記の通りサンドボックスで実行してください。

パーセントだけでなく失敗を見てください。ほとんどのミスが1つのライブラリ由来の場合、システムメッセージにヒントを追加してください。モデルが関数名を発明している場合、プロンプトに関連するシグネチャを与えてください。長い入力由来の場合、モデルを責める前に短いプロンプトをテストしてください。

コーディング作業のコスト

価格は1M入力トークンあたり$0.15、1M出力トークンあたり$0.50で、失敗または拒否されたリクエストには課金されません。計算を含む3つの例:

  • 評価実行。 50タスク x 3サンプル = 150呼び出し。各400入力トークン、600出力トークンで、入力は60,000トークン($0.009)、出力は90,000トークン($0.045)です。合計:$0.054。
  • ファイルレビュー。 約600行のファイルは約8,000トークン、1,200トークンのレビューです。入力は$0.0012、出力は$0.0006、合計$0.0018かかります。500回のレビューで$0.90かかります。
  • エージェントループ。6ラウンドの修正で合計18,000トークンの入力と1,500トークンの出力を行う場合、料金は$0.0027に$0.00075を加えた$0.00345です。

エージェントのループが支配的なのは、各ラウンドで会話の履歴が再送信されるためです。例のようにツール出力を削減すれば、請求額の大部分を制御できます。チャージは$20〜$500の任意の整数金額で可能で、$50以上で+5%、$100以上で+10%、$200以上で+15%のボーナスが付与されます。支払いはTRC20上のUSDTまたはBase上のUSDCで行い、クレジットの有効期限はありません。料金表をご覧ください。新規アカウントはワンクリックで$0.50の無料トライアルクレジットを取得でき、これにより数回の評価ランを実行できます。トライアルキーでは同時リクエストが2件、1分あたり60件のリクエストが可能です。

他の選択肢が適している場合

単一エンドポイントの限界について正直に把握してください。インライン補完機能付きの編集プラグイン、ベンダー製コーディングエージェント、または特定のクラウドツールの緊密な統合を求めている場合、その目的のために構築された製品の方が適している可能性があります。それらの現在の料金と利用規約を確認してください。コードが拒否をトリガーしない場合、このモデルの拒否動作には利点がないため、テスト結果が判断基準となります。埋め込みや画像入力が必要な場合は、それらの部分に別のサービスが必要です。このAPIは、スクリプトやツールから呼び出せる、大きなコンテキストウィンドウ、関数呼び出し、低価格を備えた単なるOpenAI互換エンドポイントをお望みの方に適しています。APIドキュメントに全パラメータ一覧が記載されています。

02

質問と回答

Pythonの作業にこのモデルは適切ですか?

単一モデルがすべてのタスクに最適とは限りません。このAPIは、関数呼び出し、JSONモード、100,000トークンのコンテキストウィンドウを備えた1つのオープンウェイトモデルを提供しており、上記のハーンにより、独自のテストと比較して測定することができます。

モデルはPythonコードを実行できますか?

それだけではできません。run_pythonなどのツールを定義し、コードでそれを実行して、ツールメッセージとして出力を返します。サンドボックスで実行してください。

1つのリクエストにどの程度のコードベースが収まりますか?

ウィンドウはプロンプトとコンプリーション合わせて100,000トークンです。これは一度に多くのファイルに対応しますが、大規模なリポジトリ全体をカバーするには至りません。

OpenAI Pythonパッケージと互換性がありますか?

はい。base_urlをAPI URLに設定し、キーを渡して、モデルIDにuncensoredを指定してください。

テスト実行の費用はいくらですか?

150回のコーディング呼び出し(各400トークンの入力と600トークンの出力)のランは、約$0.054かかります。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

Base URLhttps://api.visionllmapi.com/v1

API キーを取得