基于 ChatGPT 实现一个 PDF 阅读器 Demo | Alan Wang

[giscus[bot]]

基于 ChatGPT 实现一个 PDF 阅读器 Demo - Alan|前端博客

解析 chatpdf 实现原理，利用 OpenAI API 将 PDF 文本片段转换为向量，并使用余弦相似度算法匹配用户提出的问题和文本片段，从而实现对长文本的问答。

https://www.alanwang.site/blog/chatgpt-pdf

[luxiangqiang]

求助！schema.sql 只生成了 chetgpt 表，没有生成 pg 表

[3Alan]

😅我写错了，pg是我其他项目的表，只会生成一个chatgpt表

[ppttfish]

你好，createEmbedding这个接口一直失败，返回message：error，传的文件也不大，都没有示例pdf大，可能是我哪里设置的有问题吗？

[3Alan]

把你前端服务中打印的完整错误信息提供一下

[ppttfish]

我仔细看了下，是因为请求openai接口的时候超时了，报了500。error Error: connect ETIMEDOUT 173.244.209.150:80，我代理是全局开的，也能访问外网，为啥这个请求不行了呢。- -。

[ppttfish]

嗷嗷我知道了，node没设代理，现在好了。感谢，周末一直在找chatPDF的实现，试了很多，你这个无论是代码还是ui都是最好的，感谢。

[fubin666]

node怎么设代理哈

[liting12345678910]

/src/components/chatWindow/inex.tsx 文件中的第62行 在调用search-answer时总是报错
[TypeError: fetch failed] {
cause: [ConnectTimeoutError: Connect Timeout Error] {
name: 'ConnectTimeoutError',
code: 'UND_ERR_CONNECT_TIMEOUT',
message: 'Connect Timeout Error'
}
}
这是为啥呀

[3Alan]

国内openai api已经被墙了，需要翻墙

[liting12345678910]

那都是要设置哪里啊？

[3Alan]

走代理或者设置proxy环境变量(参考issue)，不要用亚洲代理会封号

[jekeihub]

楼组，介绍里面的好几张图片挂了看不到， 没有图，看不懂

[3Alan]

翻墙了吗，参考回答自查一下

[jekeihub]

嗯，本地电脑开全局，IP位置美国。

[3Alan]

"url":"sk-XXXXXXXXXXXXXX/v1/embeddings" 你是不是环境变量设错了，你给OPENAI_API_PROXY赋值了key？

[jekeihub]

感谢alan， 已经跑通了，发现问题：

本地开了全局代理仍然无法链接api.openai.com （会提示500错误，可能是node的代理问题），把PROXY换个api.openai.com的反向代理就跑通了。

[3Alan]

系统终端不会走代理的，可以自行百度让终端走代理，不过设置OPENAI_API_PROXY是比较最稳妥的办法

[97686773]

我有一点困惑，
您的大致原理中写道：

将用户提出的问题转换为向量。
使用余弦相似度算法将用户提出的问题向量与数据库中的向量进行比较，找到与问题最相似的文本片段。
将片段文本喂给 ChatGPT，让它基于这些片段回答用户提出的问题。

事实上，我可能用户提出的问题，“能否告诉我这篇pdf写了什么”。这句话如何能跟pdf中的段落就行余弦相似度进行匹配的。

[3Alan]

你说的应该是总结功能，这也正是向量查询的缺陷，所以利用向量查询没办法实现
llama-index的做法是遍历每个chunk来实现总结功能https://gpt-index.readthedocs.io/en/latest/how_to/query/response_synthesis.html#tree-summarize

[97686773]

非常感谢回复

[97686773]

我刚刚做了一个测试。
string str1 = "投资要点?AIGC多模态跨模态应用逐渐成熟，市场空间广阔。广义的AIGC指具备生成创造能力的AI技术，即生成式AI。可以基于训练数据 和生成算法模型，自主生成创造新的文本、图像、音乐、视频等内容。2022年被称为AIGC元年，未来兼具大模型和多模态模型的AIGC模型有望成为新的技术平台。据《中国AI数字商业产业展望2021-2025》报告，预测AI数字商业内容的市场规模将从2020年的40亿元，增加到2025年的495亿元。?ChatGPT产品历经多代技术演进，产品与商业模式逐渐成熟。ChatGPT是文本生成式AI，过去的传统AI偏向于分析能力 ，主要基于已有内容；现在文本生成式AI基于底层Transformer模型，不断训练数据和迭代生成算法模型，历经GPT-1、GPT-2、GPT-3，模型不断升级，到ChatGPT的GPT3.5模型，已可以自主生成各种形式的内容。近期收费版ChatGPTPlus版本发布，AI商业化序幕逐渐拉开。?AI商业化落地在即，行业算法侧和算力侧投资机会有望超预期。根据数据显示，ChatGPT总算力消耗约为3640PF-Days，按国内的数据中心 算力测算，需要7-8个数据中心才能支持其运行。各模态AI数据训练到应用均需要算法和算力的加持，未来要想大规模应用，算法训练和 算力部署均需先行。?投资建议：?ChatGPT商业落地在即，建议关注算力侧投资机会；?国内外类ChatGPT相关产品即将迎来爆发，看好相 关厂商投资机会。?风险提示：ChatGPT应用不及预期；AI技术发展不及预期；AI应用落地不及预期。2, ";

string str2 = "ChatGPT总算力消耗";

比如说我用这两个字符串使用TextEmbeddingAdaV2 生成了对应的Embeddings，然后通过1 - Distance.Cosine(x,y)的出来的结果只有0.8079
str1中包含str2
如果按照整个文章中的段落进行CreateEmbedding 的话，甚至这行匹配度都进不了前十。
是我哪里理解出了问题吗（接口调用没有问题，返回了正确的Embeddings）

[97686773]

补充一下，对于完全相同的字符串生成的Embeddings， 1 - Distance.Cosine(x,y) 计算出来的结果是1

[97686773]

我又进行了一下测试，发现确实按照句号将文本切割的更细一些，匹配度会上升不少，这就存在一个颗粒度的问题，如果一个问题的答案存在于两句距离较远的答案中，就可能会导致结果与预期不符。然后可能就需要把匹配度较高的几句话所在的段落全部喂给gpt才能得到想要的答案。
你的文章给我启发很大，非常感谢

[dlzdd]

老哥，能出一期怎么搭建这个博客的嘛？

[3Alan]

博客是基于Docusaurus搭建的，可以根据官方文档搭建

[pipiqiqi]

博主，请问如何与你取得联系，想与你进一步深入交流

[terrellgithub]

博主啊，为什么我返回的不是流式响应，上传文件后数据库表中也没有添加数据？看到麻烦回答下

[terrellgithub]

现在就只有不是流式返回了

[dlzdd]

为啥我运行的时候显示文件过大，无法运行起来

[Lz-sleep]

你好，这个disabledUpload是在哪里设置的

[fubin666]

index.tsx里

[fubin666]

朋友们 问下我传入PDF后读取一会就报错状态码500了，数据库那边只加载入几条，怎么解决哈。