学习 AI 一时爽，一直学习一直爽。不知道这周能攒多少笔记，总之边学边努力吧。今天 GPT-4 发布了，感觉内容一下就够了，所以发布吧。
GPT-4.0 发布
今天的重大消息，昨天夜里（美国 3 月 14 日），OpenAI 发布了新版本大模型 GPT-4.0。新版本的训练量大幅提升，带来效果的大幅提升。群友做了一张总结图片，我先引用一下，方便大家快速了解：
建议看下官方博客：GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses。以及官方视频：OpenAI – YouTube。可以得到更准确、更全面的信息。
这里我说几个我关注的点：
- GPT-4 的数据集与 GPT-3.5 一样，仍然截止于 2021 年 9 月份，并没有新数据进来。
- GPT-4 的可靠性据说提升了 40%，也就是编造不准确信息的概率降低了40%，某种程度上利好依赖事实查证的领域，但是考虑到他的数据滞后性和非联网，这方面的效果仍然有待观察。
- GPT-4 大幅提升了逻辑推理能力，可以得到更有价值的结果
- 大幅增加了上下文容量，最高可达 32k，是原先的 8 倍之多。更长的上下文意味着更好的结果、更大的可能性。
- 但是也带来了更高的价格，32k 是之前的 30 倍（8倍长度，30倍价格，啧啧）
- 目前只向 plus 用户开放，频率限制为 100 次请求/4小时。
至于多模态，支持读图，我个人不太看重。当然，能给盲人带来更好的生活体验，是非常棒的一件事。只是我暂时不太能想出来，能用它快速做些什么。
更大的上下文容量，配合更好的逻辑推理能力，我认为极大利好专业辅助领域，比如专业文献解读、商业文书生成与校验，等等。同时，因为大幅涨价，可能也只有这些领域愿意支付这样的成本。但是普通应用领域，我觉得 GPT-3.5 的潜力尚未完全开发，作为基础入门版学习 OpenAI 的产品开发也很足够，看起来 OpenAI 的产业布局相当到位，不知道国内外的竞争者是不是压力山大。
ChatGPT
chatpdf.com 中英文提问表现不一
我向 Vincent 推荐了 chatpdf.com，他尝试之后，我们发现，如果用英文提问，ChatGPT 找不到内容就会老老实实回答：不知道，目标资料里没有相关内容。如果用中文，它就会编造一个答案。不知道是语料导致的，还是 ChatGPT 里有相关的配置。
这也让我想到之前提到的，用英文让 ChatGPT 编造一个哈姆雷特的故事，它会拒绝；用中文，它就会满足用户的要求。不知道是语料问题还是设置问题。我其实怀疑是人为设置，毕竟中文语料不够，如果不瞎编答案的话，可能很多问题都没有结果，所以预料不够的环境，OpenAI 就会让 ChatGPT 自由发挥；语料够的话，就尽量保守（从模型产出）。
Supabase
Supabase（firebase 的替代品）使用 ChatGPT 重构了他们家的文档系统，现在搜索框里选择“Ask Clippy“就可以使用自然语言得到尽可能精确的答案。比如我问：how to migrate from firebase，就得到下图的答复（实际过程是 stream 输出，很 ChatGPT）：
考虑到上面所说，英文提问，ChatGPT 不会瞎编答案，这个搜索结果可能相当可靠。如此一来，感觉 Algodia 也有危机 😂。
Supabase 写了篇博客介绍这次升级：Supabase Clippy: ChatGPT for Supabase Docs，可以当作参考。他们用到了 PG Vector 这个 PostgreSQL 数据库的插件，感觉可以学起来。
Embedding
GPT-4 发布之前，最近一周大家的关注点主要有两个：首先，让 ChatGPT 掌握额外的知识，即 fine-tuning。我们可以通过 OpenAI embedding API 完成这个功能：
- 把新的内容利用 embedding API 生成符合 OpenAI 定义的向量
- 存入 Vector DB
- 新请求先从 Vector DB 取出可能的关联数据，然后一起发给 OpenAI 进行判断和答案生成
- Vector DB 可以选用 Supabase（存在架构限制），或者 PostgreSQL + 插件
这方面成功案例已经不少，上一节的两个案例都是很成功的表现。我这周也想花点时间把自己的博客导进去试试，感觉这个方向必须有点积累。
小模型好效果
斯坦福微调（fine-tuning）了 7B LLaMA 模型，用 52K 的数据，达到跟达芬奇003 （在某些领域）接近的效果。因为模型小数据少，可以跑在更低端的消费级设备上，比如树莓派。群里也有朋友实测成功。
tatsu-lab/stanford_alpaca: Code and documentation to train Stanford’s Alpaca models, and generate the data. (github.com)
这也是大家关注的方向之一。即从大模型中切出一小部分，用在某个特定领域，满足某个特定需求，使用比较低端的设备，得到比以前好得多的结果。降本增效，始终是个好策略。
我正好有个 4B 4G 内存，抽空试试看，不过只能用英文。
没想到 GPT-4 这么快就发布了，坦率地说对我们这样的应用层来说，变化不大。对其它专业领域，会有深远影响。希望其它家尽快跟进，把价格干下来。
我本人计划尽快开始学习 embedding 和尝试小模型，以及 whisper，先积累一些浅显的理解。
发表回复