gpt相关学习资料

GPT #

chatGPT原理

1. https://zhuanlan.zhihu.com/p/589621442

学习介绍

1. https://flashgene.com/archives/66856.html

transformer

1. https://zhuanlan.zhihu.com/p/54743941
2. https://www.mikecaptain.com/2023/01/22/captain-aigc-1-transformer/

注意力机制：

1. https://zhuanlan.zhihu.com/p/79714797

GLM介绍

1. https://zhuanlan.zhihu.com/p/560559133

GLM对比GPT、Bert、T5

1. https://zhuanlan.zhihu.com/p/532851481

lora训练GLM

1. https://blog.csdn.net/phycoding/article/details/129884586

alpaca train

1. https://replicate.com/blog/replicate-alpaca

alpaca-with-lora

1. https://replicate.com/blog/fine-tune-alpaca-with-lora

模型训练总结

1. https://www.jiqizhixin.com/articles/2023-03-26

本地知识库

1. https://github.com/GanymedeNil/document.ai
2. https://blog.langchain.dev/tutorial-chatgpt-over-your-data/

Langchain

1. https://python.langchain.com/en/latest/
2. https://github.com/hwchase17/chat-langchain
3. https://weaviate.io/blog/combining-langchain-and-weaviate

GLM #

chatglm： https://chatglm.cn/blog

• 开源双语对话语言模型ChatGLM-6B： https://github.com/THUDM/ChatGLM-6B

以下是部分基于本仓库开发的开源项目：

• SwissArmyTransformer: 一个Transformer统一编程框架，ChatGLM-6B已经在SAT中进行实现并可以进行P-tuning微调。
• ChatGLM-MNN: 一个基于 MNN 的 ChatGLM-6B C++ 推理实现，支持根据显存大小自动分配计算任务给 GPU 和 CPU
• ChatGLM-Tuning: 基于 LoRA 对 ChatGLM-6B 进行微调。类似的项目还包括 Humanable ChatGLM/GPT Fine-tuning | ChatGLM 微调
• langchain-ChatGLM：基于本地知识的 ChatGLM 应用，基于LangChain
• bibliothecarius：快速构建服务以集成您的本地数据和AI模型，支持ChatGLM等本地化模型接入。
• 闻达：大型语言模型调用平台，基于 ChatGLM-6B 实现了类 ChatPDF 功能
• JittorLLMs：最低3G显存或者没有显卡都可运行 ChatGLM-6B FP16， 支持Linux、windows、Mac部署
• ChatGLM-Finetuning：基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等，并进行实验效果对比。
• InstructGLM：基于ChatGLM-6B进行指令学习，汇总开源中英文指令数据，基于Lora进行指令数据微调，开放了Alpaca、Belle微调后的Lora权重，修复web_demo重复问题
• ChatGLM-web：基于FastAPI和Vue3搭建的ChatGLM演示网站(支持chatglm流式输出、前端调整模型参数、上下文选择、保存图片、知识库问答等功能)
• glm-bot：将ChatGLM接入Koishi可在各大聊天平台上调用ChatGLM

以下是部分针对本项目的教程/文档：

• Windows部署文档
• ChatGLM-6B 的部署与微调教程 @ModelWhale平台