人工智能主要利用数字计算机或者由数字计算机控制的机器,模拟、延伸和扩展人类的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术和应用系统。AI的核心技术主要包含:深度学习(DL)、计算机视觉(CV)、自然语言处理(NLP)和数据挖掘(DM)等,AI目前主要的应用场景包括:医疗、无人机、自然语言处理和计算机视觉与图像处理等。
ChatGPT:确立LLM模型的大参数和深度学习两大属性
ChatGPT的出现确立了大语言模型两个必备元素:大参数+深度学习(Large&Deep)。
(资料图)
ChatGPT是基于自然语言处理(NLP)下的AI大模型,产品能够通过大算力、大规模训练数据突破AI瓶颈,通过理解和学习人类的语言来进行对话,并引入新技术RLHF (Reinforcement Learning with Human Feedback,即基于人类反馈的强化学习)进一步提升了人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。
一般认为模型的思维推理能力与模型参数大小有正相关趋势,一般是突破一个临界规模(大概62B,B代表10亿),模型才能通过思维链提示的训练获得相应的能力。如果在6B以下,那很可能还只是GPT-2级别的初级模型。
AI模型作为高性能计算业务,强调低时延高速率,通常由IB网络承载。数据中心内部有三类典型的业务:通用计算(一般业务)、高性能计算(HPC)业务和存储业务。
每类业务对于网络有不同的诉求,比如:HPC业务的多节点进程间通信,对于时延要求非常高;而存储业务对可靠性诉求非常高,要求网络0丢包;通用计算业务规模大,扩展性强,要求网络低成本、易扩展。由于上述业务对网络的要求不同,数据中心内部一般会部署三张不同的网络:由IB(InfiniBand)网络来承载HPC业务,由FC(Fiber Channel)网络来承载存储网络,由以太网来承载通用计算业务。
以太网是一种广泛使用的网络协议,但其传输速率和延迟无法满足大型模型训练的需求。相比之下,端到端IB(InfiniBand)网络是一种高性能计算网络,能够提供高达 400 Gbps 的传输速率和微秒级别的延迟,远高于以太网的性能。这使得IB网络成为大型模型训练的首选网络技术。
Infiniband网络(IB网络):是指通过一套中心 Infiniband 交换机在存储、网络以及服务器等设备之间建立一个单一的连接链路,通过中心 Infiniband 交换机来控制流量,能够降低硬件设备间数据流量拥塞,有效解决传统 I/O结构的通信传输瓶颈,还能与远程存储设备和网络设备相连接。
端到端IB网络还支持数据冗余和纠错机制,能够保证数据传输的可靠性。在处理大模型中较多的数据时,数据传输错误或数据丢失可能会导致训练过程中断甚至失败,因此保证传输的可靠性尤为重要,而IB网路有效实现了保证。
AI大模型驱动高速率光模块需求释放
AI模型高并行计算+低时延,驱动网络部署速率门槛快速提升。AI大语言模型下,存储和计算部分发生了较多变化,存储介质从机械硬盘(HDD)演进到闪存盘(SSD),来满足存储介质时延降低了不止100倍数;高效计算部分,已经普遍采用GPU或者专用ASIC芯片,处理数据能力提升百倍。
AI投资:海外巨头布局
ChatGPT&AI等应用推出衍生出大模型算力的需求:全球OpenAI推出的最新ChatGPT模型参数已经超过1750亿个。在美国,OpenAI、谷歌、微软、脸书等机构形成了GPT-3、SwitchTransformer、MT-NLG等千亿或万亿参数量的大模型。
微软:早在2019年,微软就对OpenAI进行了高达10亿美元的投资,并获得了GPT的独家授权,而与此同时,OpenAI同意从“谷歌云”转向“微软云”。2021年,微软再次进行投资,推出OpenAI与自有产品深度集成的新工具。而后在今年1月23日微软又宣布向OpenAI追加数十亿美元的投资,且于2月2日宣布旗下所有产品将全线整合ChatGPT,包括且不限于Bing搜索引擎、包含Word、PPT、Excel的Office全家桶、Azure云服务、Teams聊天程序等。
谷歌:尽管被微软后来居上,但是谷歌早在2013年就开始研究AI聊天机器人,于2016年出资6亿美元收购了英国人工智能公司DeepMind。2017年时谷歌已实现了重大的技术突破,推出了神经网络系统Transformer,并研发出了一款名叫Meena的聊天机器人,于2021年更名为LaMDA推出,但由于舆论争议谷歌取消了原本的发布安排。但是由于最近微软的步步紧逼,谷歌开始向AI方向倾斜,今年二月谷歌向ChatGPT的竞品公司Anthropic投资3亿美元,并计划于今年发布Sparrow内测版等一系列AI产品。
AI投资:国内有望迎来加速
国内企业积极陆续布局AI等应用场景投资,后续有望持续加大。在中国,浪潮、中科院、阿里达摩院等陆续推出源1.0、紫东太初、M6等。其中,浪潮“源1.0”巨量模型,参数量和数据集分别达到2457亿和50000GB,相比于美国GPT-3,源1.0参数集规模高40%,训练数据集规模领先近10倍。
百度:2月7日晚,百度在官微宣布即将推出大模型新项目“文心一言”(ERNIE Bot),并透露首站将直接接入百度搜索。目前百度可能是国内最有实力推出类ChatGPT产品的科技公司。
阿里:2023年1月,阿里巴巴达摩院发布2023年十大科技趋势,其中多模态预训练大模型、生成式AI在列,阿里版聊天机器人ChatGPT正在研发中,目前处于内测阶段。在AI、大模型等ChatGPT所需的底层技术上,达摩院此前曾先后推出超越谷歌、微软的10万亿规模的M6大模型、AI模型开源社区“魔搭”等。
腾讯:2022年4月21日,腾讯对外正式对外披露“混元”AI大模型,该模型包含但不限于:计算机视觉、自然语言处理、多模态内容理解、文案生成、文生视频等多个方向的超大规模AI智能模型。去年12月,腾讯又推出了国内首个低成本、可落地的NLP万亿大模型,并公布了大模型的训练方法——最快用256张卡,1天内就能训练完成,成本直接降至原来的1/8。今年2月9日,腾讯表示目前在ChatGPT相关方向上已有布局,专项研究也在有序推进。
京东:2月10日,京东正式宣布,京东云旗下言犀人工智能应用平台将整合过往产业实践和技术积累,推出产业版ChatGPT:ChatJD,并公布ChatJD的落地应用路线图“125”计划。ChatJD将以“125”计划作为落地应用路线图,包含一个平台、两个领域、五个应用。
标签:
世界微头条丨AI投资:海外巨头布局,国内有望迎来加速
人工智能主要利用数字计算机或者由数字计算机控制的机器,模拟、延伸和扩展人类的智能,感知环境、获取知识并使用知识获得最佳结果的理...
去年减亏6.11亿!易主后基本面好转,恒泰艾普:给管理层更多时间
本文来源:时代周报作者:何明俊“恒泰艾普自2016年以来没有做过机构尽调,现在就让我们以崭新的面貌再次回到投资者的面前。”在4月12日...
金融学教授:ChatGPT可通过分析财经新闻预测股价涨跌|重点聚焦
财联社4月13日讯(编辑卞纯)尽管ChatGPT无法预见未来,但对于那些希望预测股票价格走向的投资者而言,这一语言模型可能具有价值。美国佛罗里
最新消息:毛利率和研发投入双降 葵花药业业绩增长难掩“轻研发”诟病
《电鳗财经》文 米莱2022年,葵花药业(002737 SZ)实现了营业收入和净利润的双增长。但值得注意的是,该公司的毛利率和研发费用双降,该公司的
IPO | 北森控股登陆港股,上市首日低开0.34%|天天资讯
2023年4月13日,北森控股(09669 HK)在港股上市,上市首日低开0 34%。公司拟全球发行804 4万股股份,发售价将为每股发售股份29 7港元。根据
货拉拉冲刺IPO,老板曾是“职业赌徒”?
要想实现三方动态平衡,还需平台提效。1要上市了?3月28日,货拉拉递表港交所,上市主体名为“拉拉科技”(Lalatech)。创立10年,货拉...
污水处理概念股一览来了!污水处理概念股看这里(4/13)
污水处理概念股一览来了!污水处理...
快来看!1只新债明天申购(4月14日)
快来看!1只新债明天申购(4月14日...
【北向资金概况】4月12日北向资金十大成交股一览表
【北向资金概况】4月12日北向资金...
即时看!“五一”假期预订高峰提前到来!西藏旅游、西安旅游、三特索道、曲江文旅...
4月13日,旅游及酒店板块午后现暴...
2023年碲板块概念股有哪些?(4月13日)|焦点
2023年碲板块概念股有哪些?(4月1...
青铜概念上市公司排名,2023年4月12日主力净流入前十名|世界速看料
青铜概念上市公司排名,2023年4月1...
悬崖之上的韩国济州岛JW万豪酒店开业 环球视点
万豪旅享家旗下30个非凡酒店品牌之...
新世界2022年酒店服务业营收超4785万元
4月12日,上海新世界股份有限公司(...
环球热点!麻六记等在西安成立酒店管理公司
天眼查App显示,近日,西安麻六记...
全球即时看!万达酒店及度假村一季度签约21个项目
4月13日,据万达酒店及度假村消息...
【世界新要闻】2023年干细胞龙头股票有哪些?(2023/4/13)
2023年干细胞龙头股票有哪些?(20...
榜单:4月13日显示器件股票市值排名前十名
榜单:4月13日显示器件股票市值排...
炼化概念上市公司龙头有哪些?(2023/4/13)-当前关注
炼化概念上市公司龙头有哪些?(20...
环球关注:今天可转债申购信息一览(4月13日)
今天可转债申购信息一览(4月13日...
【北向资金统计】4月12日沪股通深股通十大成交股(附名单)
【北向资金统计】4月12日沪股通深...
人均400万!东方甄选史上最大股权激励:7.7亿元红包定向派送,俞敏洪获150万股|天天热闻
本文来源:时代周报作者:叶曼至邓...
东南亚游火爆,海南打出免税牌迎战 今亮点
本文来源:时代周报作者:涂梦莹即...
报复性出游来临?民宿爆满、特色专列、长途游井喷 五一假期成“香饽饽”
财联社|新消费日报4月12日讯(编辑...
马鞍山行招股书拆解(一):利息净收入在营收中占比超九成,未来业绩或承压_最新
马鞍山行早在2018年就曾提交上市申...