CustomLLMChat
输入“/”快速插入内容
CustomLLMChat
CustomLLMChat
用户639用户639
用户1272用户12722024年11月19日修改
💡
0.3.4版本之后模型管理功能已升级，建议改为使用BishengLLM组件
接入非BishengRT LLM模型服务，可以使用CustomLLMChat组件
该组件支持的LLM服务接口协议如下，兼容OpenAI LLM接口协议 （简化版）
代码块
class ChatMessage(BaseModel):
role: Literal['user', 'assistant', 'system']
content: str
class DeltaMessage(BaseModel):
role: Optional[Literal['user', 'assistant', 'system']] = None
content: Optional[str] = None
# 输入请求协议
class ChatCompletionRequest(BaseModel):
model: str
messages: List[ChatMessage]
temperature: Optional[float] = None
top_p: Optional[float] = None
max_tokens: Optional[int] = None
stream: Optional[bool] = False
do_sample: Optional[bool] = False
class ChatCompletionResponseChoice(BaseModel):
index: int
message: ChatMessage
finish_reason: Literal['stop', 'length']
class ChatCompletionResponseStreamChoice(BaseModel):
index: int
delta: DeltaMessage
finish_reason: Optional[Literal['stop', 'length']]
# 输出响应协议
class ChatCompletionResponse(BaseModel):
model: str
object: Literal['chat.completion', 'chat.completion.chunk']
choices: List[Union[ChatCompletionResponseChoice,
ChatCompletionResponseStreamChoice]]
created: Optional[int] = Field(default_factory=lambda: int(time.time()))
示例如下
代码块
# 输入协议
inp = {
'model':
'chatglm_6b',
'messages': [{
'role': 'system',
'content': '你是一个通用的一个人工智能助手'
} {
'role': 'user',
'content': '你能做什么'
}]
}
# 输出协议
{
'model': 'chatglm_6b',
'object': 'chat.completion',
'choices': [
{
'index': 0,
'message': {
'role': 'assistant',
'content': '我可以回答关于数据、统计、人工智能、机器学习、编程语言、网站开发等方面的问题。'
},
'finish_reason': 'stop'
}],
'created': 1697546676
}