🏦 融资
-
AI 和加密货币初创公司 Giza 获得 300 万美元融资,并推出自家框架 Cairo 的简易教程(链接)
-
自动化客服公司 AwesomeQA 获得 280 万美元融资,Coinbase Ventures 和 Uniswap Labs Ventures 参投(链接)
-
Web3 开发公司法国 Narval 完成 400 万美元的种子融资,BlockTower VC 领投(链接)
-
FTX Japan 开始招聘,称将关注 AI 开发领域(链接)
-
日本企业 Cybozu 推出新基金 Kintone Teamwork Fund,聚焦于 Web3 和 AI(链接)
-
Lighting Labs 推出基于 AI 的比特币模型,可使用基于大型语言模型的应用进行比特币交易(链接)
-
Web3 数据智能公司 Web3Go 获得 400 万美元融资,Binance Labs 及 Hashkey Capital参投(链接)
-
基于 ZK-rollup 证明技术的 Web3 隐私公司 Ola 获得 300 万美元融资,Foresight Ventures 参投(链接)
💬 洞见
Emerging Architecture for LLM Applications
这篇文章展示了目前开发,维护一个 AI App 需要的基础设施。
文章中主要关注于结合上下文,数据库,使用 LLM 提供更加精准、实时的答案,降低幻觉的发生。
除了问答机器人,另一个 a16z 觉得有前途的方向是 Agents。AI 使用工具和自我反馈、学习来达成一些目标,例如全自动写代码,写报告,改 Bug 等等。在其他大的 AI 企业也看到正在努力钻研 Agents 方向。
State of GPT
GPT 的训练分为四个阶段
-
预训练
-
监督训练
-
奖励训练
-
强化训练
目前大部分模型为与训练后的模型,例如 GPT,LLaMA,PaLM。他们擅长补全文章,但是不擅长指令,和用户问答。这一阶段需要的资源和数据量最大。
在这些基础模型之上,开发者进行监督训练。让这些基础模型具备回应指令的功能,例如 Vicuna-13B。
奖励训练和强化训练可以提升模型输出的质量,到那时训练过程较为复杂,很少有模型经过这两个阶段。
Chain of Thoughts 背后的原理是 LLM 无法区分哪一部分文字需要花更多时间思考。LLM 在每一个生成的文字上所花费的计算资源是一样的。这就导致了面对较难的问题容易出错因为计算时间不够长。让 LLM 多思考的方法就是让它多生成文字。对于指定问题生成更多的文字就代表它思考的越多,花费了更多计算资源。
角色扮演背后的原理是虽然 LLM 可以分辨答案的优劣,但 LLM 并不会下意识的输出最优质的答案。通过专业,高 IQ 等角色预设,LLM 会输出更加优质的答案。
目前有效的 Prompt 技巧是
-
Tree works
-
Chain of thoughts works
-
ReAct works
但是 Auto GPT 并没有被证明有效。将任务分成子任务并不一定是有效的方案。
Vector Database
为何使用向量数据库?
-
LLM 中的信息是过时的。如果我们想要注入数据,我们需要向量数据库
-
企业想要与他们的数据进行交流
为什么我们不把所有东西都放在提示里?
- 我们构建一个数据缓存层。它在向量库中存储相关信息和生成的聊天内容。通过不在提示中发送所有内容,我们可以降低成本
为什么我们不微调模型以获取新信息?
- LLM 是统计模型。它需要大量相似的样本来更新信息
如何构建一个文档问答机器人?
- 抓取所有文档并将其存储在向量数据库中。生成样本问题和答案并将它们存储在向量数据库中(有这样的文档,我可以问哪些问题)
何时不使用向量数据库?
-
如果是键值对
-
如果不是语义的
如何保持向量数据库中的数据更新是当前行业的一个问题
AI + Web3
-
Bot/Agent/Assistant 模型资产化是目前同质化最严重的一个赛道,多是在 OpenAI 基础上进行二次开发。弊端是同质化严重,实用性有待考验。未来可考虑将模型上链,或与智能合约结合实现机器人自治协作。
-
算力平台可以吸引算力提供者参与 AI 模型训练,目前以 Together 和 Gensyn 最为知名。未来训练平台和推理平台可能会有不同龙头。
-
数据平台可以提供隐私保护的数据来训练 AI 模型。Ocean 是较知名的链上数据平台。
-
生成式 AI 可用于 NFT 创作或游戏地图生成等,但可能会面临来自 Unity 等公司的竞争。
-
在 DeFi 领域,AI 可应用于交易策略、项目审计、收益优化、风险控制等方面。
-
ZKML 将零知识证明和机器学习结合,应用场景还不明确,主要面向的是推理而不是训练。Modulus Labs 等为明星项目。
-
整体来看,AI 和 Web3 的结合仍在探索早期阶段,思路不断拓展中。
Classify Text LLMs Learning
LLM 可以代替一些传统的 ML 模型吗?这篇文章就文字分类进行比较。
传统 ML 模型的延迟更低,成本更低,但需要更多的训练数据。LLM 可以为其生成训练数据。
用 Chain of Thoughts 可以提升 LLM 分类的准确率。此外,我们可以使用上下文来总结,提炼并压缩用户的意图
这篇文章来自 Gloo, 它可以帮助哦我们解决文字分类问题。他们的解决方案分为三步:
-
LLM 来生成标签数据
-
追踪 Prompt 的影响
-
训练 BERT