标签： 清华大学的

# 安装 Ollama（需 0.2+ 版本）
# macOS/Linux:
curl -fsSL https://ollama.com/install.sh | sh

# Windows: 从 https://ollama.com/download 下载安装

# 一键运行 CodeGeeX4
ollama run codegeex4

pip install transformers==4.40.0 torch

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "THUDM/codegeex4-all-9b",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained(
    "THUDM/codegeex4-all-9b",
    trust_remote_code=True
)

# 对话格式
prompt = [{"role":"user","content":"写一个快速排序"}]
inputs = tokenizer.apply_chat_template(prompt, add_generation_prompt=True, return_tensors="pt").cuda()
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

pip install vllm==0.5.1

# 启动 OpenAI 兼容 API 服务
python -m vllm.entrypoints.openai.api_server     --model THUDM/codegeex4-all-9b     --trust-remote-code     --tensor-parallel-size 1

# 然后即可用 OpenAI SDK 调用
# pip install openai
# client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

作为 AI 编程工具的深度用户，我试用过 GitHub Copilot、Claude Code、Cursor 等各类产品，CodeGeeX4 给我留下了极其深刻的印象：

① 性价比无敌：9B 参数的小模型，性能直接干翻 70B 的 Llama3 和 33B 的 DeepSeekCoder。这意味着你用消费级显卡（甚至 6GB 显存的 RTX 3060）就能跑一个世界级代码模型。

② Function Call 是杀手锏：在 AI Agent 时代，代码模型不能只做补全，还要能调用工具。CodeGeeX4 是唯一原生支持 Function Call 的开源代码模型，而且执行成功率比 GPT-4 还高。这对构建 AI 编程 Agent 来说是个游戏规则改变者。

③ 清华大学 + 智谱 AI 双背书：KEG 实验室（唐杰教授团队）在 NLP 和代码生成领域深耕多年，CodeGeeX 系列从 2022 年做到 2026 年，四代演进，成熟度远超同类竞品。智谱 AI 的 GLM 架构也在持续迭代优化。

④ 真正可用的 IDE 插件：很多开源模型只提供权重，没有好的用户体验。CodeGeeX 的 VS Code / JetBrains 插件做得相当完善，上下文补全、跨文件理解、Ask CodeGeeX 对话，体验不输商业产品。

如果你在找一个能本地部署、性能好、中文友好的 AI 编程助手，CodeGeeX4 是目前唯一的最优解。