您现在的位置: 首页 热点关注 > > 正文
4个月搓出3款大模型,王小川偷了大厂的“家”
发布时间:2023-08-14 10:18:44 来源:惊蛰研究所

今年4月,沉寂一年多的王小川宣布进入AI大模型领域再次创业,与COO茹立云联合成立大语言模型公司百川智能。在媒体沟通会上,王小川发布了未来20年借助语言AI要完成的目标,包括构建中国最好的大模型底座,在搜索、多模态、教育和医疗等方面增强,帮助大众轻松、普惠地获取世界知识和专业服务。

令人意想不到的是,仅仅过了4个月,百川智能就接连推出Baichuan-7B、Baichuan-13B系列、Baichuan-53B三款大模型。其中8月8日发布的Baichuan-53B参数量级达到530亿,如期完成了王小川“在今年三季度发布一款参数量级在500亿以上的大规模产品”的KPI。

从离开大众视野到重回创业舞台,以及选择大模型这一时下最热门的风口赛道,王小川的复出很难不吸引人们的关注。而眼下随着百川智能以惊人的效率不断进行产品迭代与更新,人们在大厂云集的大模型赛场上,也开始多了一些与众不同的期待。


(资料图片仅供参考)

“迟到”的百川智能

作为曾经的天才少年以及大众印象中典型的“理工男”,王小川做事向来审慎,而在选择大模型创业这件事情上,他却罕见地表现出狂热的情绪。

今年2月,美团联合创始人王慧文在朋友圈发布了自己的“人工智能宣言”,宣布个人出资5000万美元设立北京光年之外科技有限公司,将打造中国Open AI。而据极客公园媒体报道,王小川在看到王慧文的高调宣言后,也曾准备对外宣布入局大模型领域。

王小川的激动不无道理。科技创业赛道通常存在时间窗口,特别是对于大模型这类新兴技术而言,越早公开项目越容易争夺到有限的技术人才和资金资源。而且大模型对数据和训练量有着极大的需求,抢先发布产品能够吸引合作机构和用户参与内测,为大模型提供充足的数据并不断训练模型,推动算法迭代和产品更新。

所以当王慧文拿出5000万美元,并宣布已有顶级VC以2.3亿美元认购下轮融资的“英雄帖”时,无疑加剧了大模型创业团队的人才争夺。颇为有趣的是,在王慧文宣布大模型创业一个月后,被称为“搜狗输入法之父”的马占凯随即在社交平台上宣布加入光年之外。而百川智能在筹备阶段,也吸引了搜狗原有班底以及其他大厂领军人物的加入。

尽管情绪上有些激动,4月份官宣的百川智能还是比光年之外晚了将近2个月,相比光年之外的2.3亿美金融资,百川智能5000万美元的启动资金也显得有些单薄。但“迟到”并不意味着落后,相反这2个月让王小川想清楚了很多事情。

从Open AI的发展历程中可以看到,虽然前后融资超过了100亿美金,但Open AI真正开始“烧钱”也是在GPT-3正式发布开始大规模训练之后。据国盛证券估算,GPT-3的单次训练成本高达140万美元,一些更大的LLM(大型语言模型)的训练成本则介于200万美元至1200万美元之间。因此,对于刚刚起步的百川智能来说,5000万美元足以完成项目初期从0到1的产品设计。

其实在资金之外,大模型项目更关键的还是人才积累问题。Open AI的736名员工中,就有123名来自于谷歌、Meta以及苹果公司的核心人才,半数以上员工曾在硬件或软件公司工作。技术人才的积累,是Open AI在研发方面保持着一流水平的主要原因。而百川智能在最近4个月里,已经将团队规模翻倍。

4月份接受采访时,王小川透露到月底团队成员将达到50人。而截至目前,百川智能的员工规模已经达到113人左右。其中,技术人员的比例占70%-80%。作为一家成立不到半年的创业公司,百川智能的官宣或许有些“迟到”,但从结果来看,一切都在按照王小川的计划进行。

王小川的自信从何而来?

虽然起步晚,但百川智能4个月发布3款大模型的惊人效率,表现出了后发制人的竞争意识,并且每一款产品的体验方面也呈现出了差异化的优势。

早前Baichuan-7B和Baichuan-13B的跑分成绩就曾令圈内人士眼前一亮。在清华大学、上海交大、爱丁堡大学联合创建的评测标准C-Eval 中,Baichuan-7B经过52 个学科的测评,最终获评34.4 分,在同量级产品中排名第一。

国际中/英文权威评测数据集(2023年6月15日)

Baichuan-13B则在自然科学、医学、艺术、数学等领域大幅领先LLaMA-13B等同量级的大语言模型,在社会科学、人文科学等领域超过了ChatGPT。而在MMLU基准上,Baichuan-13B超过了所有同量级开源模型。

对于最新发布的Baichuan-53B,王小川给出的评价是文科能力更好,也就是说Baichuan-53B能够很好地理解语言泛化背后的含义,具备理解古诗、生成风格化文章的能力。对此,惊蛰研究所使用Baichuan-53B内测版进行了测试。

在连续面对“请写一首以夏天为主题的五言绝句”的要求时,Baichuan-53B给出的4 首诗文存在明显的重复。其中,4首绝句的最后一句都是“荷花盛开满池塘”,3首的前两句都是“夏日炎炎列日照,绿树成荫鸟儿叫。”并且每首诗相同的段落描写的都是相同的意象,似乎是按照同一个模板排列组合而成。类似的现象,惊蛰研究所在使用百度的文心一言进行对比测试时,并没有发生。

对于生成风格化文章的能力,惊蛰研究所要求Baichuan-53B分别以徐志摩、卡夫卡和柯南·道尔的风格“写一条朋友圈,讲述我今天吃了肯德基这件事”。从结果来看,虽然内容结构上也非常相似,但Baichuan-53B很好地抓住了三位作家的写作风格。

最令人惊喜的是,在“扮演”柯南·道尔写作的文案中,Baichuan-53B还提到作者的代表《福尔摩斯探案集》以及其中的贝克街,让人感觉到AI不是在单纯地模仿作家风格生成内容,而是在生成作家自己的“朋友圈”。

由此看来,Baichuan-53B在内容生成方面不仅仅具备一定的理解能力,能够模仿不同的文学风格,在表述上也更像是人,而不是基于大数据和算法对现有数据进行排列组合。这也难怪王小川会自信地表示,“我们这个模型在文科领域走前列。”

“百模大战”刚刚开场

ChatGPT问世以来,大模型风口吸引了越来越多的玩家,从科技大厂到创业公司都开始将大模型作为自身的最大亮点,竭力追逐行业热点。基于这一行业背景,王小川在官宣以创业的形式入局大模型时遭到了质疑,不少网友都表示当前大模型赛道大厂林立,独立团队很难有机会。坦白说,截至目前,整个行业都还停留在“外行看热闹”的阶段,这也反映了国产大模型团队仍然游离在B端和C端市场之间的现状。

一个典型的现象是,OpenAI借助ChatGPT成为全球顶尖AI公司后,国内一众科技公司纷纷宣布推出类似ChatGPT的“聊天机器人”“图片生成器”,并且学习Meta等科技大厂将大模型开源免费商用。但从实际效果来看,这种“百模大战”更像是为了抢关注、挣流量。

大模型开放免费商用之后,给谁用、怎么用,谁又真的会用?这一连串的问题没有人问,真正使用了免费大模型的企业也不会主动宣扬。“聊天机器人”的出现,很大程度上只是为了证明科技公司具备一定的技术能力,而现阶段大模型的商业化手段,仍然以B端市场为主。

例如百度的文心大模型涵盖基础大模型、任务大模型、行业大模型的三级体系,广泛应用于电力、燃气、金融等产业领域;腾讯的混元大模型,则主要是帮助腾讯生态实现降本增效,在广告领域可以自动生成广告文案和视频;阿里的通义大模型,能够跟人类进行多轮的交互,拥有文案创作能力,能够续写小说、编写邮件等;华为盘古大模型则基于其训练出的2000亿参数以中文为核心的预训练生成语言模型,发布了盘古气象大模型、盘古矿山大模型、盘古OCR等多个行业大模型。

透过上述大模型的功能可以看到,科技大厂的大模型体现的是其背后在算法、算力、深度学习方面的技术实力,而这些技术能力服务的首要对象,自然是B端客户。此前,华为昇腾计算业务总裁张迪煊就曾表示,华为已经帮助孵化了 20多个基础大模型,“中国大模型中约一半由昇腾 AI 支撑”。而B端市场用户可以在通用大模型的基础上,定向开发出符合自己需求的专用大模型辅助企业经营,也可以针对C端市场开发大模型应用产品。

在王小川选择大模型创业被质疑机会渺茫这件事情上,大厂在行业赛道抢先卡位,并不代表其已经掌握行业竞争的决胜权。过去因为对B端市场以及自身业务的过度关注,使得大厂在技术创新方面缺乏一些主动性。比如2016年开始就将AI作为战略重心的百度,本就拥有开发ChatGPT类语言模型的底层技术,甚至还具备绝无仅有的中文搜索场景,但直到ChatGPT爆火之后,百度才在今年3月份推出文心一言。

如同王小川对5000万美元启动资金的判断一样,大模型的决胜盘在于训练阶段。在给大模型投喂数据这一关键性的成长环节,高素质训练人才提供的高质量数据集是大模型快速成熟、迭代的关键。比如ChatGPT早期就利用菲律宾的大学教授进行数据标注,而国内进行数据标注的人才数量和水平均未能满足行业所需。

因此,国产大模型市场虽然已有“百模大战”的态势,但在最关键的训练环节上,大多数仍在同一起跑线上。王小川之所以有信心参与这一轮行业变革,想必也是看透了大模型不是大力出奇迹的发明创造,而是在底层技术之外,持续投入不断迭代的产品革新。

关于国内科技公司抢滩大模型的行业现象,知名投资人朱啸虎和猎豹创始人傅盛曾在朋友圈激烈交锋。朱啸虎认为行业泡沫明显,甚至断言绝大多数都会在年底死掉。而王小川在4月份成立百川智能时表示,“年底前我们会发布对标GPT-3.5的大模型,有信心今年年底做到国内最好。”

王小川的百川智能会是国产大模型的希望吗?不如把悬念留到年底,到时再看国产大模型又是怎样一番新局面。

标签:

深圳“双创”综合指数连续6年排名第一 创业密度稳居全国第一

双创由众而积厚成势,因创而破茧成蝶。今年5月,在深圳发布的《大众创业、万众创新研究报告(2021)》显示...

一线工作近22年的缉毒警:我知道坏的是毒品不是人性

  “影子”般的缉毒警:一线工作22年,我知道坏的是毒品不是人性  如果我不继续干,别人也要干,缉...

广东肇庆“毒驾连撞5车致1死”肇事司机被批捕

  1月5日14时30分许,广东肇庆市端州区一男子赵某毒驾连撞5车,致一人死亡。  1月10日,澎湃新闻(ww...

江西最大文物倒卖案宣判:倒卖国家二级文物 9人获刑

  中新网南昌1月10日电 (冷峥嵘 张一怡)江西省共青城市人民法院10日发布消息称,近日,该院依法审结...

青海保障门源地震后生活必需品应急物资

  中新网西宁1月10日电 (记者 孙睿)记者10日从青海省商务厅获悉,青海海北州门源县6 9级地震灾害发...

广西东兴口岸恢复通关 入境需网上预约

  中新社防城港1月10日电 (翟李强)自2022年1月10日零时起,广西东兴口岸和边民互市贸易区恢复人员、...

呼和浩特:寒假期间有条件的学校要开展校内托管服务

  中新网呼和浩特1月10日电 (记者 张林虎)10日,记者从呼和浩特市教育局获悉,在暑假校内托管试点的...

“中国最后一个原始部落”翁丁老寨火灾原因公布

  “中国最后一个原始部落”翁丁老寨火灾原因公布:小孩玩火引起  中新网昆明1月10日电 (罗婕)近日...

北京市十五届人大五次会议胜利闭幕

  北京市十五届人大五次会议胜利闭幕   蔡奇陈吉宁李伟魏小东张延昆出席   张延昆齐静当选市人...

天津市委市政府致全市父老乡亲的慰问信:我们一定能够打赢

  中新网天津1月10日电 (记者 张道正)中共天津市委、天津市人民政府10日发布了“致全市父老乡亲的慰...

天津米面油存量由20天提高至30天 超市菜市场进货量翻倍

  天津米面油存量由20天提高至30天 蔬菜库存量、超市菜市场进货量翻倍  记者10日从天津市商务局获...

兰州名师话“美育”:“尚乐立人”分层培优 以“美”润教

  中新网兰州1月10日电 (记者 刘玉桃 高莹)“实际上音乐课作为一门非高考科目,一直以来没有受到足...

子夜直击,天津寒天战“疫”

  新华全媒+|子夜直击,天津寒天战“疫”  新华社天津1月10日电 题:子夜直击,天津寒天战“疫”...

重庆姐弟被生父扔下坠亡案上诉期结束 一审法院暂未收到两被告人上诉状

  重庆姐弟被生父扔下坠亡案上诉期结束,一审法院暂未收到两被告人上诉状  澎湃新闻记者 谢寅宗 ...

天津:划定封控区 全市开展全员核酸检测

  央视网消息:在各地的最新疫情中,奥密克戎变异株引发天津新增多例本土感染引人关注。截至1月9日下...

江歌母亲江秋莲:尊重法院判决,法律认定在我意料之中

  中新网青岛1月10日电 (记者 胡耀杰)山东省青岛市城阳区人民法院10日对原告江秋莲与被告刘暖曦生命...

中国边疆“北方第一所”:9名民警守护“生命禁区”

  中新网呼伦贝尔1月10日电 题:中国边疆“北方第一所”:9名民警守护“生命禁区”  作者 张玮 ...

辟谣!网传“封控区管控区相继解封”通知并非西安

  中新网1月10日电 据西安发布官方微博消息,1月9日,一则:“鉴于我市目前封控区、管控区相继解封,...

河南安阳9日12时至24时新增11例本土确诊病例

  1月9日12时至24时,河南安阳市新增本土确诊病例11例(汤阴县10例、文峰区1例)。  2020年1月22日至2...

老人5折环卫工8折生活困难免费 这家面馆背后有个暖心事

  老人5折,环卫工人8折,生活困难可以免费吃   这家面馆打折背后,有个暖心故事  见习记者 许...

铁路公安以110幅优秀书画作品庆祝人民警察节

  中新网北京1月10日电 (郭超凯 梁西征)1月10日是中国人民警察节。记者从公安部铁路公安局获悉,近...

本周中东部冷空气频繁 东北等地有降雪

  中国天气网讯 本周我国中东部地区冷空气活动频繁,其中,今天(1月10日)受冷暖空气共同影响,雨雪范...

河南新增本土确诊病例60例

  中新网1月10日电 据河南省卫健委网站消息,1月9日0—24时,全省新增本土确诊病例60例(郑州市24例,...

“打拐”民警眼里的百态人生:见证一份份不愿放弃的爱

  打拐者说   一位“打拐”民警眼里的百态人生  本报记者毛鑫、王瑞平   在公安系统里,“打拐...

迎腊八北京晴天上线 阵风6至7级体感冻人

  中国天气网讯 俗话说“腊七腊八冻掉下巴”,今天(1月10日)迎来腊八节,北京体感冻人,白天阵风六七...

多省份倡议春节“非必要不离开”,这地补贴1000元

伪造国家机关证件典型案例发布 有力打击制假贩假行为

15年照顾170多个新生儿 金牌月嫂“漂”到海外去看娃

江歌母亲江秋莲诉刘鑫案一审将于今日宣判

河南省安阳市两地划为高风险地区 一地划为中风险地区

员工迟到一次罚一千引争议 单位惩戒员工法律边界何在?

以体育人 秀出“青年范儿”

保安、厨师曾被竞业限制 企业滥用竞业限制让员工很苦恼

反诈老陈破圈:人民群众在哪 就把反诈宣传开展到哪

一所中职学校的育人实践

各地严惩恶意欠薪 保障农民工及时拿到工资

中学生成剧本杀行业潜在消费人群 多方助推行业“净化”

“这就是我最好的选择”

对餐饮浪费说“不”(百姓关注)

校园“直通车” 服务“零距离”

琉璃河遗址 两段铭文共证北京三千年建城史

千元修复个人征信报告?银行:“征信修复”都是骗局

琉璃河遗址 两段铭文共证北京三千年建城史

北京公交将开展无人驾驶道路测试

河南郑州调整五地为中风险区域 公路入郑需核酸检测阴性证明

“共享法庭”让金融消费者畅享“智慧司法”便利

《传奇2》网游著作权纠纷案峰回路转 最高法五份裁决四份改判一份发回重审

三代警察:从未放弃的28年

“胡叔叔”的寻亲工作室

天津津南本轮本土疫情第3—20例阳性感染者活动轨迹公布

“团圆”行动刑侦专家吕游 每一个案例都有单独的技术方案

河南“战疫”直面五重考验

开考古书店日均两三个顾客 流量时代她决心仍是只卖书

冬奥开幕在即 “双减”催热冰雪课堂

“不得以任何借口拒收患者”彰显生命至上

天津多站进京车票暂停发售

冷空气来袭广州气温骤降 广东多地发布寒冷预警

“电话发我”——“霸气回应”疫情求助背后的城市温度

天津津南区再增20例阳性感染者,详情公布

电影《农民院士》昆明首映 为观众呈现“把论文写在大地上”

南宁铁路警方春运期间将免费提供被拐儿童父母DNA检测服务

天津津南调整区域风险等级:1个高风险6个中风险!

天津全面加强离津管理 实施离津审批报备制度

口述|“郑州人张嘴做核酸采样的样子,熟练得让人心疼”

青海门源地震“震出”潜逃8年犯罪嫌疑人

天津出现感染奥密克戎本土病例 河南禹州全域为中高风险地区

河南郑州:10日在9个城区开展全员核酸检测

天津市津南区一地调整为高风险地区 多地调整为中风险地区

天津全面加强离津管理:广大市民群众非必要不离津

西安南小张村战“疫”记

河南通过“南水北调饮用水水源保护条例”

河南许昌累计报告143例确诊病例 呼吁16万在外务工者就地过年

重庆颁发中国统一公路养护资质管理后首批证照

“双向奔赴”!河南大学生志愿者为社区抗疫贡献力量

河南濮阳部分景点、剧院1月9日起暂停开放

x 广告
x 广告

Copyright ©  2015-2022 中公自然网版权所有  备案号:沪ICP备2022005074号-18   联系邮箱:5855973@qq.com