| 类型           | 代表模型         | 典型特征                  |
|----------------|------------------|--------------------------|
| 文本生成       | GPT-4, Claude   | 长上下文理解             |  
| 多模态         | Gemini, DALL-E 3 | 跨模态对齐               |
| 代码专用       | CodeLlama, Devin| 代码补全与调试           |
| 领域专家       | Med-PaLM 2      | 医疗知识推理             |
| 轻量化         | Phi-3, TinyLlama| 10B以下参数高效运行      |

# 自注意力机制核心计算（PyTorch伪代码）
class SelfAttention(nn.Module):
    def __init__(self, embed_dim):
        super().__init__()
        self.qkv = nn.Linear(embed_dim, 3*embed_dim)
        
    def forward(self, x):
        Q, K, V = self.qkv(x).chunk(3, dim=-1)
        attn = torch.softmax(Q @ K.transpose(-2,-1) / sqrt(d_k), dim=-1)
        return attn @ V

# 使用conda创建环境
conda create -n llm python=3.10
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install transformers accelerate bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-chat-hf",
    device_map="auto",
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 使用FastAPI构建API
from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class Query(BaseModel):
    prompt: str
    max_tokens: int = 512

@app.post("/generate")
async def generate_text(query: Query):
    inputs = tokenizer(query.prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=query.max_tokens)
    return {"response": tokenizer.decode(outputs[0])}

**角色设定模板**：
"你是一位资深的{领域}专家，请用{风格}的方式解释以下概念：{问题}。要求列出3个关键点，并用类比帮助理解。"

**推理增强模板**：
"请逐步分析以下问题，在最终答案前标注‘答案：’：{问题}"

def customer_service(query):
    system_prompt = """你是XX银行AI客服，需遵守：
    1. 仅回答授权业务范围问题
    2. 不确定时引导至人工
    3. 使用简洁口语化中文"""
    
    response = llm.chat_complete(
        messages=[{"role":"system", "content":system_prompt},
                 {"role":"user", "content":query}],
        temperature=0.3
    )
    return response.choices[0].message.content

# 使用CodeLlama生成Python单元测试
prompt = """<PRE> {code} </PRE>
<SUF> # 为此函数编写单元测试
import unittest
class Test{func}(unittest.TestCase):</SUF>"""

output = model.generate(prompt, max_tokens=500)