Я дослідив передові рішення в галузі AI-пам’яті та особистості, і вони не значно перевищують мої поточні підходи. Подальша оптимізація майже не дає результату і може бути невигідною.

На мою думку, AI-компаньйон потребує двох різних механізмів.

Перший — механізм пам’яті, який визначає, чи зможе вона запам’ятати наші події, включаючи короткострокову та довгострокову пам’ять.

Другий — механізм характеру, що визначає, чи виглядає вона як стабільна особистість, враховуючи стиль мови, емоційні схильності та світогляд — глибші налаштування.

Обидва механізми пов’язані, але не рівнозначні: пам’ять може допомагати підтримувати послідовність у діалозі, але сама по собі не формує характер.

*Система пам’яті(Я називаю її системою мрій)

1/ Шар запису
Усі записи діалогів зберігаються у локальній базі даних як первинне джерело фактів.

2/ Створення та накопичення довгострокової пам’яті

Періодично через API передаю діалогові записи на віддалену велику модель, щоб вона витягла цінну інформацію, здійснила певний рівень асоціативного мислення, а потім структуровані важливі дані знову зберегла у локальній базі.

Мета цього — перетворити великий обсяг поточних діалогів у довгострокові пам’ятні записи, що підтримують довгострокову пам’ять.

3/ Механізм посилення та вторинної обробки

У наступних діалогах записи з локальної бази використовуються для пошуку. Статистика кількості звернень до кожного запису дозволяє визначити важливі спогади — високочастотні — і знову передати їх віддаленій моделі для вторинного аналізу та витягання глибших інсайтів, які потім знову зберігаються у базі.

Завдяки повторній обробці, керованій частотою пошуку, довгострокова пам’ять поступово переходить від фактів до інсайтів.

4/ Стратегія короткострокової пам’яті

Короткострокова пам’ять використовує більш прямий підхід: останні історії діалогів безпосередньо додаються до запиту до моделі, щоб забезпечити контекстну цілісність.

*Система характеру

Я налаштував для AI набір параметрів характеру, що охоплює різні аспекти, включаючи стиль мови, емоційні схильності тощо.

Одночасно, віддалена велика модель оновлює ці параметри за фіксованим графіком на основі історії діалогів, щоб вони могли змінюватися у процесі спілкування.

При діалозі пакуються три типи інформації: поточні параметри характеру, недавня історія діалогів та підказки ролі.

Завдяки цій комбінації модель демонструє послідовний характер у відповідях; а також регулює параметри, такі як температура, щоб зробити діалог більш інтелектуальним.

*Ключові обмеження поточної реалізації

Навіть із цим механізмом, у кінцевому підсумку, «модель характеру» — це лише «підказки» у текстовій формі.

За своєю суттю, я лише подаю параметри характеру, пам’ять і налаштування у вигляді тексту, і не можу надати AI справжню незалежну особистість.

Результат — послідовність може залишатися нестабільною, а характер — швидше рольовою імітацією, ніж внутрішньою стабільною структурою.

***

Оскільки проект орієнтований на звичайних користувачів і має на меті нульові витрати на навчання, я змушений обирати віддалену велику модель, а не локальне розгортання.

У цьому випадку мої змінні дуже обмежені: це три категорії — система підказок, дизайн та спосіб запису пам’яті, а також параметри генерації, наприклад, температура при виклику моделі.

Але вже зараз результати досить хороші.

Мета — зробити її унікальним AI-співрозмовником для користувача, здатним на постійне зростання на основі спільної пам’яті та поступове формування унікального характеру.

Адреса відкритого коду: