← 返回文章列表 / Back to list
unified

Groq 渠道正式上线:13 个免费模型极速推理(6 对话 + 7 专项)

Groq Channel Now Live on APIShare: 13 Free Models (6 Chat + 7 Special-Purpose)

上新速览

2026 年 8 月 22 日起,APIShare 正式接入 Groq 渠道。Groq 自研 LPU 推理硬件以"快"著称,本次上架 13 个免费模型:6 个对话主榜模型 + 7 个专项能力模型,全部走 APIShare 统一网关(OpenAI 兼容格式),一个 Key 即可调用。

项目 说明
渠道 Groq(LPU 推理云,主打超低延迟)
协议 OpenAI 兼容 /v1/chat/completions
模型总数 13 个 = 对话主榜 6 + 专项能力 7
费用 免费(受各模型速率限制约束)
实测状态 11 个已验证可用;2 个 TTS 即将上线

一、对话主榜 · 6 个模型

以下均为 chat-completions 端点实测可用的对话模型:

# 模型 ID 上下文 最大输出 能力标签
1 openai/gpt-oss-120b 131,072 65,536 推理 + 工具调用 + JSON mode + 结构化输出
2 openai/gpt-oss-20b 131,072 65,536 推理 + 工具调用 + 结构化输出
3 qwen/qwen3.6-27b 131,072 16,384 多模态输入(文本+图像) + 工具调用
4 groq/compound 131,072 8,192 Agentic 系统,自带工具编排
5 groq/compound-mini 131,072 8,192 Agentic 轻量版
6 allam-2-7b 4,096 4,096 阿拉伯语场景优化,速度极快

重点点评:

  • openai/gpt-oss-120b:OpenAI 开源权重的 120B 旗舰,13 万上下文 + 6.5 万最大输出,支持 reasoning 与 structured outputs,是本批次综合能力天花板,复杂任务首选。
  • openai/gpt-oss-20b:同系轻量款,实测生成近千 tok/s,适合高频调用场景,性价比极高。
  • qwen/qwen3.6-27b:本批次唯一支持图像输入的对话模型,做看图问答、截图理解直接选它。
  • groq/compound / compound-mini:Groq 官方 Agentic 复合系统,会自动编排底层模型与工具,适合搜索增强类任务;注意其限速相对严格,连续高频调用可能触发组织级限流。
  • allam-2-7b:沙特 SDAIA 出品,阿拉伯语场景深度优化,4K 小上下文换取极致速度(实测约 1260 tok/s),阿语项目的不二之选。

说明:本渠道暂未收录 Llama 系列对话模型(如 llama-3.1-8b-instant),请以上表清单为准。

二、专项能力区 · 7 个模型

按平台既定口径,分类器与音频类模型单独展示,不参与对话榜单排名:

🛡️ 内容安全分类(3 个)

模型 ID 用途
openai/gpt-oss-safeguard-20b 内容安全审查(gpt-oss-20b 的 safety 特化版)
meta-llama/llama-prompt-guard-2-86m Prompt 注入检测,返回风险概率分
meta-llama/llama-prompt-guard-2-22m 同上轻量版,延迟更低

适合在 RAG 入口、用户输入过滤环节做前置风控,调用方式仍为 chat-completions。

🎙️ 语音转文字(2 个,已可用)

模型 ID 说明
whisper-large-v3 Whisper 高精度版,多语言转写
whisper-large-v3-turbo 加速版,速度优先

/audio/transcriptions 端点,上传音频文件即可转写。

🔊 文生语音 TTS(2 个,即将上线)

模型 ID 语言
canopylabs/orpheus-v1-english 英语
canopylabs/orpheus-arabic-saudi 阿拉伯语(沙特)

⚠️ 这两个模型需 Groq 组织管理员在控制台接受模型条款后激活,当前调用会返回 model_terms_required 错误。条款生效前请勿在生产环境依赖,我们会在激活后第一时间更新本文。

三、快速开始

注册 APIShare 后在控制台创建 API Key,即可统一调用:

curl https://apishare.cc/v1/chat/completions \
  -H "Authorization: Bearer $APISHARE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-oss-120b",
    "messages": [{"role": "user", "content": "用三句话介绍 LPU 与 GPU 的区别"}],
    "max_tokens": 512
  }'
from openai import OpenAI

client = OpenAI(
    base_url="https://apishare.cc/v1",
    api_key="你的 APIShare Key",
)

resp = client.chat.completions.create(
    model="qwen/qwen3.6-27b",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图里有什么?"},
            {"type": "image_url", "image_url": {"url": "https://example.com/demo.png"}}
        ]
    }],
)
print(resp.choices[0].message.content)

语音转写示例:

with open("audio.mp3", "rb") as f:
    resp = client.audio.transcriptions.create(
        model="whisper-large-v3-turbo",
        file=f,
    )
print(resp.text)

四、实测性能参考

单轮采样(max_tokens=100、temperature=0,2026-08-22 实测),供选型参考:

模型 生成速度 端到端首响应
allam-2-7b ~1264 tok/s 0.19s
openai/gpt-oss-20b ~988 tok/s 0.52s
qwen/qwen3.6-27b ~508 tok/s 0.41s
openai/gpt-oss-120b ~486 tok/s 0.67s
groq/compound ~476 tok/s 1.69s*
groq/compound-mini ~455 tok/s

* compound 为 agentic 多步系统,排队时间较长属正常现象。

五、使用注意事项

  1. 推理模型的 max_tokens 下限gpt-oss 系列为 reasoning 模型,max_tokens 建议 ≥256,过低会导致回答被思考过程占满而截断。
  2. compound 系列限速较严:Agentic 系统自动路由底层模型,连续压测易触发组织级限速(约 30 秒恢复),生产调用建议做好重试与退避。
  3. Orpheus TTS 尚未激活:见上文第二节,条款生效前调用会报错。
  4. 无 Llama 对话系列:渠道池内 meta-llama/ 前缀仅 prompt-guard 分类器两兄弟,无 llama-3.x 对话模型。

结语

Groq 的加入让 APIShare 免费阵营补上了"极速推理"这块拼图:白天跑 gpt-oss-120b 干重活,高峰切 gpt-oss-20b 冲吞吐,看图交给 qwen3.6-27b,风控前置用 prompt-guard——一个 Key 全部搞定。

相关文章 / Related

OpenAI 兼容格式统一调用用 APIShare 统一接入多家免费 API缓存层设计统一日志与监控流式响应统一处理