LlamaIndex：用ChatGPT等大语言模型垂直分析外部(本地)数据

LlamaIndex 是ChatGPT的第三方工具，以前叫GPTIndex，其名称中的llama是羊驼🦙的意思（俗称grass mud horse🦙），从新版本开始不仅支持文本处理，还支持大语言模型的多模态处理功能。

文本处理功能：可以通过LlamaIndex调用ChatGPT分析多种格式的本地文本，比如分析一篇课文，一本教材，一个专题文本库，或者你自己创建的某一学科的语料库，等等。这一功能有着无比强大的教学科研应用潜能，应予以特别重视。

多模态处理功能：处理图片、音视频，对多模态研究和应用有强大潜力。比如，官网提供了一个典型的应用场景，让ChatGPT等大语言模型帮你整理发票。

你把发票拍照截图，通过LlamaIndex导入，LlamaIndex会帮你做效果超强的文档识别（参见🔗 github.com/clovaai/donut ），再把文本向量化，然后就可以智能检索查询。

比如基于LlamaIndex的多模态功能，导入你的日常购物小票后，你就可以问ChatGPT：“我上一次去哪里买的西瓜，我多久没买西瓜了？”，ChatGPT就马上可以把你上一次去买西瓜的小票找出来，并且告诉你有多长时间了。当然，你还可以问你买了多少斤西瓜，花了多少钱，等等。

除了生活应用场景，其多模态功能对多模态的语言学研究也有极大潜力，应特别关注。

是以记之。

代码：github.com/jerryjliu/llama_index/blob/main/examples/multimodal/Multimodal.ipynb

llama-index使用说明：https://gpt-index.readthedocs.io/en/latest/index.html