LB Select
2023.04.11 06:14

天风证券;拥有大模型并不难,但打造一个有竞争力的大模型难度很大

LLaMA、Bloom、OPT 等模型在 Github 或 Hugging Face 上已经开源,方便 海内外研究机构和企业学习,因此拥有一个大模型并不难,但是持续打造一 个有竞争力的大模型难度很大,参考 GPT-3 的发展历程,OpenAI 从 45TB 的文件中过滤出 570GB 的数据集,仅训练费用就高达 1200 亿美金,随后 OpenAI 经过约 3 年时间不断探索,中途有 InstructGPT、davinci 不同版本的 尝试,最终在 2023 年发布了 GPT-4,我们打造一个有竞争力的大模型需要 数据、算法等资源的持续投入。