पायथन कोडिंग के लिए सर्वोत्तम LLM: इसे कैसे चुनें और परीक्षण करें
पायथन कोडिंग के लिए कोई एक सर्वोत्तम LLM नहीं है, क्योंकि उत्तर आपके कार्यों, आपके कॉन्टेक्स्ट साइज और आप प्रति अनुरोध कितना भुगतान करने के लिए तैयार हैं, इस पर निर्भर करता है। यह लेख आपको मानदंड, तीन कोडिंग वर्कफ़्लो के लिए कार्यकारी कोड और अपने स्वयं के कार्य पर मॉडल की तुलना करने के लिए एक छोटा हैर्नेस प्रदान करता है।
अपडेट किया गया

मुख्य बिंदु
- सार्वजनिक रैंकिंग एक शुरुआती बिंदु हैं। आपके स्वयं के कोडबेस पर 50-कार्य का परीक्षण आपको अधिक बताता है।
- API उपयोग के लिए, कॉन्टेक्स्ट साइज, टूल कॉलिंग, JSON मोड, निर्धारक सेटिंग्स और प्रति अनुरोध कीमत की जांच करें।
- यह API 100,000-टोकन विंडो, टूल कॉलिंग और JSON मोड के साथ एक ओपन-वेट मॉडल प्रदान करती है, 1M टोकन प्रति $0.15 और $0.50 पर।
- एक 150-कॉल मूल्यांकन रन का खर्च लगभग 5 सेंट आता है, इसलिए मापना अनुमान लगाने से सस्ता है।
इस पेज पर
- कोई मॉडल हर किसी के लिए सर्वोत्तम क्यों नहीं है
- वह मापदंड जो API के लिए मायने रखते हैं
- वर्कफ़्लो 1: सख्त प्रॉम्प्ट के साथ फ़ंक्शन जनरेट करें
- वर्कफ़्लो 2: मॉडल को कोड चलाने और उसे स्वयं ठीक करने की अनुमति दें
- वर्कफ़्लो 3: JSON मोड के साथ संरचित कोड रिव्यू
- अपने कार्यों पर मॉडल का परीक्षण करें
- कोडिंग कार्य की लागत
- जब कोई अन्य विकल्प बेहतर हो
- अधिक गाइड
कोई भी मॉडल हर किसी के लिए सर्वश्रेष्ठ नहीं है
Python कोडिंग में बहुत अलग-अलग काम आते हैं। दस पंक्तियों का एक हेल्पर लिखना, 2,000 पंक्तियों वाले मॉड्यूल को रिफैक्टर करना, स्टैक ट्रेस पढ़ना, टेस्ट जनरेट करना, शेल स्क्रिप्ट को Python में अनुवाद करना और फ़ाइलों को एडिट करने वाला टूल बनाना — ये सभी कोडिंग हैं, और एक मॉडल किसी एक में मजबूत और किसी दूसरे में औसत हो सकता है। लीडरबोर्ड कई कार्यों और कई भाषाओं पर औसत निकालते हैं। आपका रिपॉज़िटरी, आपकी स्टाइल नियमावली और आपकी लाइब्रेरीज उस विस्तृत दायरे का एक संकीर्ण हिस्सा हैं।
तो इस प्रश्न का व्यावहारिक उत्तर एक प्रक्रिया है। तय करें कि आपको क्या चाहिए, तकनीकी आवश्यकताओं को पूरा करने वाले दो या तीन मॉडल्स की शॉर्टलिस्ट बनाएं, प्रत्येक मॉडल पर समान कार्य चलाएं और गिनें कि आपके स्वयं के टेस्ट में से कितने पास होते हैं। इस आलेख का शेष भाग आवश्यकताओं को कवर करता है, फिर दिखाता है कि इस API के लिए टेस्टिंग कैसे करें।
विवरणों से पहले एक और बिंदु। इस साइट के पीछे की सेवा एक ओपन-वेट मॉडल चलाती है, जिसे एक स्वतंत्र प्रदाता संचालित करता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। यह किसी भी मॉडल विक्रेता की आधिकारिक API नहीं है, और यहाँ कोई बेंचमार्क दावा नहीं है। इसे अपनी संक्षिप्त सूची के एक उम्मीदवार के रूप में मानें और इसे किसी अन्य की तरह मापें।
वे मापदंड जो API के लिए महत्वपूर्ण हैं
यदि आप एडिटर में चैट करने के बजाय कोड से मॉडल को कॉल करते हैं, तो कुछ तकनीकी गुण निर्धारित करते हैं कि क्या यह उपयुक्त है।
| मापदंड | Python कार्य के लिए यह क्यों मायने रखता है | यह API |
|---|---|---|
| कॉन्टेक्स्ट विंडो | संपूर्ण मॉड्यूल, लंबे ट्रेसबैक और टेस्ट आउटपुट को उत्तर के लिए पर्याप्त स्थान छोड़कर फिट होना चाहिए | 100,000 टोकन, प्रॉम्प्ट और पूर्णता |
| टूल कॉलिंग | मॉडल को कोड, टेस्ट और लिनटर चलाने की अनुमति देता है, फिर आउटपुट पर प्रतिक्रिया करता है | हाँ: टूल्स, tool_choice, स्ट्रीम किए गए tool_calls |
| JSON मोड | मशीन-पठनीय समीक्षा, लिनट रिपोर्ट और रीफैक्टरिंग योजनाएं | हाँ: response_format json_object |
| पुनरुत्पादकता | कम तापमान और एक स्थिर बीज टेस्ट रन की तुलनात्मकता सुनिश्चित करते हैं | तापमान, top_p, स्टॉप, सीड और पेनल्टीज पास किए जाते हैं |
| स्ट्रीमिंग | प्रतिक्रियाशील टूल और लंबी उत्पन्न की गई प्रतिक्रियाएं | अंत में उपयोग के साथ SSE |
| कीमत | एजेंट लूप संदर्भ कई बार पुनः भेजते हैं | प्रति 1M टोकन के लिए $0.15 इनपुट और $0.50 आउटपुट |
| अस्वीकृति | सुरक्षा टूलिंग, स्क्रैपर्स और आपके स्वयं के सिस्टम के लिए रेड-टीम स्क्रिप्ट कानूनी हैं लेकिन अक्सर अस्वीकृत कर दी जाती हैं | कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड |
टेबल में कोड की गुणवत्ता के बारे में कुछ नहीं कहा गया है, क्योंकि ऊपर दी गई विशेषताएँ तथ्य हैं और गुणवत्ता एक परीक्षण विषय है। गुणवत्ता प्रॉम्प्ट के साथ बदलती है। एक सिस्टम संदेश जो Python संस्करण, अनुमत लाइब्रेरियों और उत्तर के प्रारूप को निर्धारित करता है, वह अक्सर मॉडल के बराबर महत्वपूर्ण होता है।
यह API केवल टेक्स्ट के लिए है। आप प्रॉम्प्ट में कोड टेक्स्ट के रूप में भेजते हैं और टेक्स्ट प्राप्त करते हैं। इसमें इमेज, ऑडियो या वीडियो जनरेशन, एम्बेडिंग्स या फाइन-ट्यूनिंग नहीं है, इसलिए एक कोड सर्च सिस्टम जिसे एम्बेडिंग्स की आवश्यकता है, उन्हें कहीं और प्राप्त करना होगा।
वर्कफ़्लो 1: एक सख्त प्रॉम्प्ट के साथ फ़ंक्शन जनरेट करें
सबसे सरल मामले से शुरू करें: एक फ़ंक्शन का अनुरोध करें और कोड ब्लॉक निकालें। कम तापमान स्थिर आउटपुट देता है। सिस्टम संदेश भाषा संस्करण और प्रतिक्रिया प्रारूप को निर्धारित करता है, जिससे एक्सट्रैक्शन एक लाइन वाले रेगेक्स द्वारा संभव हो जाता है। key पेज से एक कुंजी प्राप्त करें और इसे LLM_API_KEY के रूप में एक्सपोर्ट करें।
import os
import re
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def ask_for_code(task):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.2,
messages=[
{
"role": "system",
"content": (
"You are a senior Python developer. Use Python 3.11, the standard "
"library only unless told otherwise, and type hints. Reply with one "
"fenced python block and at most three sentences of explanation."
),
},
{"role": "user", "content": task},
],
)
text = resp.choices[0].message.content
match = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return match.group(1) if match else text
print(ask_for_code("Write parse_duration(s) that turns '1h30m' or '45s' into seconds."))
इसमें तीन प्रॉम्प्ट आदतें मदद करती हैं। Python संस्करण का नाम दें, ताकि मॉडल उस सिंटैक्स की ओर न बढ़े जिसे आप रन नहीं कर सकते। "केवल स्टैंडर्ड लाइब्रेरी" कहें, जब तक कि आपको वास्तव में थर्ड-पार्टी पैकेज न चाहिए हों। और एक छोटा उत्तर मांगें, क्योंकि लंबे स्पष्टीकरण आउटपुट टोकन खर्च करते हैं और कोड में दुर्लभ ही बदलाव लाते हैं। यदि मॉडल ब्लॉक के बाद साधारण भाषा लगातार जोड़ता रहता है, तो एक stop सीक्वेंस पास करें, या रेगेक्स की तरह फेंस के बाहर हर अक्षर को हटा दें।
वर्कफ़्लो 2: मॉडल को अपना कोड रन और ठीक करने दें
विश्वसनीयता में सबसे बड़ा सुधार आमतौर पर टूल कॉलिंग से आता है। कोड मांगने और उम्मीद करने के बजाय, आप मॉडल को एक फ़ंक्शन देते हैं जो एक स्क्रिप्ट रन करता है और आउटपुट लौटाता है। यह कोड लिखता है, उसे रन करता है, ट्रेसबैक पढ़ता है और स्वयं को ठीक करता है। टूल रिजल्ट्स role: "tool" के साथ संदेशों के रूप में वापस जाते हैं, जो tool_call_id द्वारा मैच किए जाते हैं।
import json
import os
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
def run_python(code):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code)
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, text=True, timeout=10)
return (r.stdout + r.stderr)[-3000:] or "(no output)"
except subprocess.TimeoutExpired:
return "timeout after 10 seconds"
tools = [{
"type": "function",
"function": {
"name": "run_python",
"description": "Run a Python script and return stdout and stderr.",
"parameters": {
"type": "object",
"properties": {"code": {"type": "string"}},
"required": ["code"],
},
},
}]
messages = [
{"role": "system", "content": "You write Python 3. Test your code with run_python before the final answer."},
{"role": "user", "content": "Write parse_duration(s) for strings like '1h30m' or '45s'. Include asserts."},
]
for _ in range(5):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=tools,
tool_choice="auto",
temperature=0.2,
)
msg = resp.choices[0].message
messages.append(msg.model_dump(exclude_none=True))
if not msg.tool_calls:
print(msg.content)
break
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": run_python(args["code"]),
})
run_python फ़ंक्शन को सावधानी से व्यवहार करें। यह आपके मशीन पर, आपकी अनुमतियों के साथ, मॉडल द्वारा लिखे गए कोड को रन करता है। एक फेंकने योग्य प्रयोग से परे किसी भी चीज़ के लिए, इसे एक कंटेनर या एक डिस्पोजेबल वर्चुअल मशीन में रन करें, जिसमें नेटवर्क न हो, समय सीमा हो और आपकी क्रेडेंशियल्स तक पहुँच न हो। उदाहरण में दस सेकंड की टाइमआउट और ट्रिम किए गए आउटपुट न्यूनतम हैं।
लूप पांच राउंड्स तक सीमित है ताकि एक भ्रमित मॉडल अनंत काल तक न चले। व्यावहारिक रूप से, अधिकांश सरल फ़ंक्शन्स को एक या दो रन की आवश्यकता होती है। यदि आप देखते हैं कि मॉडल एक ही विफल कॉल दोहरा रहा है, तो ट्रेसबैक को अगले यूजर संदेश में शब्दों में जोड़ें, या तापमान कम करें। ध्यान रखें कि एक स्ट्रीमिंग टूल-कॉलिंग अनुरोध अपनी कन्करेंसी स्लॉट को तब तक पकड़े रखता है जब तक स्ट्रीम समाप्त नहीं हो जाती, और एक पूर्ण कुंजी 8 समानांतर अनुरोधों की अनुमति देती है, इसलिए एक टीम जो एक कुंजी साझा करती है, उसे एजेंट रन को क्यू में रखना चाहिए।
वर्कफ़्लो 3: JSON मोड के साथ संरचित कोड रिव्यू
जब एक स्क्रिप्ट उन्हें पढ़ सके तो समीक्षाएं उपयोगी होती हैं। JSON मोड वैध JSON को मजबूर करता है, और सिस्टम संदेश संरचना को परिभाषित करता है। temperature 0 और एक स्थिर seed के साथ, एक ही फ़ाइल दोहराए गए रन पर समान समीक्षा उत्पन्न करती है, जिससे रन के बीच डिफ्स अर्थपूर्ण हो जाते हैं।
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
source = open("service.py").read()
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
temperature=0,
seed=7,
messages=[
{
"role": "system",
"content": (
"Review the Python file. Reply with a JSON object with the key issues, "
"a list of objects with keys line, severity (low, medium or high), "
"problem and fix. Return an empty list if you find nothing."
),
},
{"role": "user", "content": source},
],
)
for issue in json.loads(resp.choices[0].message.content)["issues"]:
print(issue["severity"], issue["line"], issue["problem"])
इसे एक प्री-कमिट हुक या CI स्टेप से उपयोग करें, और परिणाम को एनोटेशन के रूप में प्रिंट करें। फॉल्स पॉजिटिव और फॉल्स नेगेटिव की उम्मीद रखें। एक मॉडल रिव्यूअर आँखों की एक जोड़ी है जो तेज़ है और कभी थकती नहीं, लेकिन यह टेस्ट, टाइप चेकर या लिनटर को नहीं बदलता। पहले उन्हें चलाएं और मॉडल का उपयोग उन चीज़ों के लिए करें जिन्हें वे नहीं देख सकते, जैसे अस्पष्ट नामकरण, मिसिंग एज केस और एक्सेप्शन को निगलने वाला एरर हैंडलिंग।
100,000 टोकन की विंडो पूरी फ़ाइलों और कभी-कभी छोटे पैकेजों को एक ही अनुरोध में अनुमति देती है। बॉडी लिमिट 8 MB है, जिसे आप स्रोत कोड के साथ नहीं पार करेंगे। यदि एक रिव्यू कट जाता है, तो जाँचें कि क्या आपने max_tokens बहुत कम सेट किया है; पैरामीटर वैकल्पिक है और एक कंप्लीशन विंडो के शेष हिस्से का उपयोग कर सकता है।
अपने कार्यों पर मॉडल्स का परीक्षण करें
यहाँ एक छोटा हार्नेस है जो वह करता है जो एक लीडरबोर्ड नहीं कर सकता: यह आपके टास्क को आपके टेस्ट के खिलाफ चलाता है। प्रत्येक टास्क में एक प्रॉम्प्ट और एक टेस्ट स्निपेट होता है। स्क्रिप्ट मॉडल से कोड के लिए कई बार पूछती है, टेस्ट को कोड में जोड़ती है, परिणाम चलाती है और पास की गिनती करती है। किसी अन्य प्रदाता की तुलना करने के लिए बेस यूआरएल और मॉडल नाम बदलें।
import os
import re
import subprocess
import sys
import tempfile
from openai import OpenAI
client = OpenAI(
base_url="https://api.visionllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
TASKS = [
{
"prompt": "Write is_palindrome(s) that ignores case and non-alphanumeric characters.",
"test": "assert is_palindrome('A man, a plan, a canal: Panama')\nassert not is_palindrome('abc')",
},
{
"prompt": "Write chunk(items, n) that yields lists of at most n items.",
"test": "assert list(chunk([1,2,3,4,5], 2)) == [[1,2],[3,4],[5]]",
},
]
SAMPLES = 3
def extract(text):
m = re.search(r"```(?:python)?\n(.*?)```", text, re.S)
return m.group(1) if m else text
def passes(code, test):
with tempfile.NamedTemporaryFile("w", suffix=".py", delete=False) as f:
f.write(code + "\n\n" + test + "\n")
try:
r = subprocess.run([sys.executable, f.name], capture_output=True, timeout=10)
return r.returncode == 0
except subprocess.TimeoutExpired:
return False
total = ok = 0
for task in TASKS:
for _ in range(SAMPLES):
resp = client.chat.completions.create(
model="uncensored",
temperature=0.4,
messages=[
{"role": "system", "content": "Reply with one fenced python block and nothing else."},
{"role": "user", "content": task["prompt"]},
],
)
total += 1
ok += passes(extract(resp.choices[0].message.content), task["test"])
print(f"{ok}/{total} passed")
वास्तविक काम से लिए गए 30 या 50 आइटमों की टास्क लिस्ट बढ़ाएं: पिछले महीने में फिक्स किया गया एक बग, आपका लिखा एक पार्सर, एक फंक्शन जिसमें एक अजीब एज केस है। उन टास्क को शामिल करें जिनके लिए अन्य टूल ने अस्वीकार किया या संयम बरता। प्रत्येक टास्क को तीन से पांच बार चलाएं, क्योंकि एक नमूना कम बात कहता है। पास दर, औसत आउटपुट लंबाई और प्रति टास्क लागत रिकॉर्ड करें, और प्रॉम्प्ट बदलने के बाद रन करने के लिए परिणामों को एक फ़ाइल में रखें। ऊपर नोट की गई तरह से एक सैंडबॉक्स में जनरेटेड कोड चलाएं।
केवल प्रतिशत नहीं, बल्कि विफलताओं पर भी ध्यान दें। यदि अधिकांश मिस एक ही लाइब्रेरी से आते हैं, तो सिस्टम संदेश में एक हिंट जोड़ें। यदि वे मॉडल द्वारा फ़ंक्शन नामों का आविष्कार करने से आते हैं, तो प्रॉम्प्ट में प्रासंगिक साइनेचर्स दें। यदि वे लंबे इनपुट से आते हैं, तो मॉडल को दोष देने से पहले एक छोटे प्रॉम्प्ट का परीक्षण करें।
कोडिंग कार्य की लागत
कीमतें 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 हैं, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। गणना के साथ तीन उदाहरण:
- मूल्यांकन रन। 50 टास्क x 3 सैंपल्स 150 कॉल्स हैं। प्रत्येक के लिए 400 इनपुट और 600 आउटपुट टोकन के साथ, इनपुट 60,000 टोकन ($0.009) है और आउटपुट 90,000 टोकन ($0.045) है। कुल: $0.054।
- फ़ाइल रिव्यू। लगभग 600 लाइनों की एक फ़ाइल लगभग 8,000 टोकन है, जिसमें 1,200-टोकन का रिव्यू है। इनपुट की लागत $0.0012 है, आउटपुट की लागत $0.0006 है, कुल $0.0018। पाँच सौ रिव्यू की लागत $0.90 है।
- एजेंट लूप। छह राउंड्स का एक फिक्स जो कुल 18,000 इनपुट टोकन भेजता है और 1,500 आउटपुट टोकन प्राप्त करता है, उसकी लागत $0.0027 प्लस $0.00075 है, यानी $0.00345।
एजेंट लूप्स प्रभारी हैं क्योंकि प्रत्येक राउंड बढ़ती हुई बातचीत को फिर से भेजता है। उदाहरण की तरह टूल आउटपुट को काटें, और आप बिल का अधिकांश हिस्सा नियंत्रित करेंगे। टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि है, $50 से +5%, $100 से +10% और $200 से +15%, TRC20 पर USDT या Base पर USDC में भुगतान, क्रेडिट कभी एक्सपायर नहीं होता। मूल्य देखें। नए खातों में क्लिक करते ही $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम कर सकते हैं, जो कुछ इवैलुएशन रन के लिए फंडिंग करता है। एक ट्रायल कुंजी 2 समानांतर अनुरोध और प्रति मिनट 60 की अनुमति देती है।
जब कोई अन्य विकल्प बेहतर हो
किसी भी एंडपॉइंट की सीमाओं के बारे में ईमानदार रहें। यदि आप इन्लाइन कंप्लीशन के साथ एक एडिटर प्लगइन, एक वेंडर-बिल्ट कोडिंग एजेंट या एक क्लाउड के टूलिंग के साथ कसरी इंटीग्रेशन चाहते हैं, तो उस उद्देश्य के लिए बनाए गए एक प्रोडक्ट में आपको बेहतर सुइट मिल सकता है, और आपको उनकी वर्तमान कीमत और शर्तें चेक करनी चाहिए। यदि आपका कोड कभी अस्वीकृति ट्रिगर नहीं करता, तो इस मॉडल की अस्वीकृति व्यवहार आपको कोई लाभ नहीं देता, और आपके टेस्ट रिजल्ट्स को निर्णय लेना चाहिए। यदि आपको एम्बेडिंग्स या इमेज इनपुट चाहिए, तो आपको उन हिस्सों के लिए एक अन्य सेवा की आवश्यकता है। यह API एक अच्छा फिट है जब आप एक साधारण OpenAI-कम्पैटिबल एंडपॉइंट चाहते हैं जिसे आप स्क्रिप्ट्स और टूल से कॉल कर सकें, जिसमें एक बड़ी विंडो, फ़ंक्शन कॉलिंग और कम कीमत हो। API दस्तावेज़ पूर्ण पैरामीटर सेट सूचीबद्ध करते हैं।
अधिक गाइड
प्रश्न और उत्तर
क्या यह मॉडल Python कार्यों के लिए सही है?
कोई एक मॉडल हर टास्क के लिए सर्वश्रेष्ठ नहीं है। यह API एक ओपन-वेट मॉडल प्रदान करता है जिसमें टूल कॉलिंग, JSON मोड और 100,000-टोकन विंडो है, और ऊपर दिया गया हार्नेस आपको इसे अपने स्वयं के टेस्ट के खिलाफ मापने की अनुमति देता है।
क्या मॉडल मेरा Python कोड चला सकता है?
अकेले नहीं। आप एक टूल परिभाषित करते हैं, जैसे run_python, और आपका कोड उसे एक्जीक्यूट करता है और आउटपुट को एक टूल संदेश के रूप में लौटाता है। इसे एक सैंडबॉक्स में रन करें।
एक अनुरोध में कितना बड़ा कोडबेस फिट होता है?
प्रॉम्प्ट और कंप्लीशन के लिए विंडो 100,000 टोकन की है। यह एक साथ कई फ़ाइलों को कवर करता है, लेकिन एक पूरे बड़े रिपॉजिटरी को नहीं।
क्या यह OpenAI Python पैकेज के साथ काम करता है?
हाँ। base_url को API URL पर सेट करें, अपनी कुंजी पास करें और मॉडल ID uncensored का उपयोग करें।
एक टेस्ट रन की लागत कितनी है?
प्रति 400 इनपुट और 600 आउटपुट टोकन के साथ 150 कोडिंग कॉल का एक रन लगभग $0.054 का खर्च करता है।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।
बेस यूआरएलhttps://api.visionllmapi.com/v1