Fix: recover bot; llama.cpp fix

llmapi/main.go

@@ -37,18 +37,35 @@ type DSResp struct {
 	Object            string `json:"object"`
 }
 
+// type LLMResp struct {
+// 	Choices []struct {
+// 		FinishReason string `json:"finish_reason"`
+// 		Index        int    `json:"index"`
+// 		Message      struct {
+// 			Content string `json:"content"`
+// 			Role    string `json:"role"`
+// 		} `json:"message"`
+// 	} `json:"choices"`
+// 	Created int    `json:"created"`
+// 	Model   string `json:"model"`
+// 	Object  string `json:"object"`
+// }
+
 type LLMResp struct {
-	Choices []struct {
-		FinishReason string `json:"finish_reason"`
-		Index        int    `json:"index"`
-		Message      struct {
-			Content string `json:"content"`
-			Role    string `json:"role"`
-		} `json:"message"`
-	} `json:"choices"`
-	Created int    `json:"created"`
-	Model   string `json:"model"`
-	Object  string `json:"object"`
+	Index           int    `json:"index"`
+	Content         string `json:"content"`
+	Tokens          []any  `json:"tokens"`
+	IDSlot          int    `json:"id_slot"`
+	Stop            bool   `json:"stop"`
+	Model           string `json:"model"`
+	TokensPredicted int    `json:"tokens_predicted"`
+	TokensEvaluated int    `json:"tokens_evaluated"`
+	Prompt          string `json:"prompt"`
+	HasNewLine      bool   `json:"has_new_line"`
+	Truncated       bool   `json:"truncated"`
+	StopType        string `json:"stop_type"`
+	StoppingWord    string `json:"stopping_word"`
+	TokensCached    int    `json:"tokens_cached"`
 }
 
 type MimeResp struct {
@@ -63,13 +80,13 @@ type GusserResp struct {
 }
 
 type Bot struct {
-	Role      string // gueeser | mime
-	Team      string
-	cfg       *config.Config
-	RoomID    string // can we get a room from here?
-	BotName   string
-	log       *slog.Logger
-	LLMParser RespParser
+	Role      string         `json:"role"`
+	Team      string         `json:"team"`
+	cfg       *config.Config `json:"-"`
+	RoomID    string         `json:"room_id"` // can we get a room from here?
+	BotName   string         `json:"bot_name"`
+	log       *slog.Logger   `json:"-"`
+	LLMParser RespParser     `json:"-"`
 	// channels for communicaton
 	// channels are not serializable
 	// SignalsCh chan bool
@@ -271,7 +288,7 @@ func NewBot(role, team, name, roomID string, cfg *config.Config) (*Bot, error) {
 }
 
 func saveBot(bot *Bot) error {
-	key := "botkey_" + bot.RoomID + bot.BotName
+	key := models.CacheBotPredix + bot.RoomID + bot.BotName
 	data, err := json.Marshal(bot)
 	if err != nil {
 		return err