Skip to content

新 TransBase64 占位符与多模态日记本支持#220

Closed
TyChest wants to merge 6 commits intolioensky:mainfrom
TyChest:dev-multimodal-diary
Closed

新 TransBase64 占位符与多模态日记本支持#220
TyChest wants to merge 6 commits intolioensky:mainfrom
TyChest:dev-multimodal-diary

Conversation

@TyChest
Copy link
Contributor

@TyChest TyChest commented Feb 26, 2026

【TransBase64 更新】

  • 支持 {{TransBase64-}} 占位符,让用户发出的文件的描述信息嵌入最新的 User 楼层从而触发 RAG 检索,然后在发出前将这份嵌入内容剔除,不发送给 LLM。
  • 支持 {{TransBase64+}} 占位符,同时将用户发出的文件的描述信息与文件本身都发出给 LLM,位置都是最新的 User 楼层。
  • 支持不同预设的描述生成,如 {{TransBase64-::CityFeeling}}、{{TransBase64+::KeyPoint}}。预设可以叠加,如{{TransBase64+::View01;View02}}

【多模态日记本更新】
支持使用 ……日记本::TransBase64、……日记本::TransBase64+ 的日记本格式,支持全部四种格式({{}}、<<>>、[[]]、《《》》)的日记本与召回逻辑,多模态文件现在可以存入日记本之中以侧车文件的形式像文本一样被数据库检索与处理。

……日记本 :日记本中的多模态内容直接被召回,描述文字不参与,但是起到 RAG 时被检索的作用。
……日记本::TransBase64 :日记本中的多模态内容仅以文字形式被召回
……日记本::TransBase64+ :日记本中的多模态内容不仅以文字形式被召回,文件本身也会被召回。

…::TextOnly

  • 仅全量召回日记本中的文本文件:md、txt。

…::NoText

  • 召回日记本中除了文本文件:md、txt 之外的多模态文件。

…::Whitelist:logo.png;bar.png

  • 仅召回日记本中 logo.png、bar.png 这两个文件。

…::Blacklist:logo.png;bar.png

  • 召回日记本中除了 logo.png、bar.png 这两个文件之外的全部文件。

…::PresetName01;PresetName02

  • 同样支持预设,以及叠加。

…::MAX_NUM:x

  • 限制一个日记本最多返回 x 数量的文件。

…::MAX_SIZE:x

  • 限制一个日记本最多返回 x 大小(单位 KB)的文件。

AdminPanel 中支持编辑预设、编辑日记本侧车文件;新增一个 KnowledgeMediaDescriber 插件,用于让 AI 管理多模态日记本。

@lioensky
Copy link
Owner

我刚提交了一个kbd.js的性能优化,直接合并到新分支做单元测试会不会冲突?

@lioensky
Copy link
Owner

看完了,
1.想法是好的,但是性能实现太堪忧了,有多个cpu循环阻塞点和ram溢出的风险点。
2.在实践上,要求ai自己构建侧载系统有点不可取。

比如说 现有的ai记忆模块 是让ai 写一个md文档。
我觉得一个更合理的实现是。

比如说啊。

ai写一个md日记
日记里直接用 [vcpfile//一个本地url]来代表引用了ai在对应的前端节点上一个本地文件。

在dailynote管理器里,直接利用超栈追踪技术解析这个url,把它转化为服务器的“本地url”写入咱们的sql数据库,以及文件对应的json测载,而至于base64文件的描述直接由cotigee系统异步完成。

@lioensky
Copy link
Owner

我突然想到你应该可以参考一下论坛模块的实现啊,它的超栈追踪是怎么管理的。

@lioensky lioensky closed this Feb 26, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants