Groq成立于2016年，由前谷歌員工Jonathan Ross創(chuàng)立。他曾發(fā)明了驅(qū)動(dòng)谷歌機(jī)器學(xué)習(xí)軟件的張量處理單元（TPU），這兩項(xiàng)技術(shù)當(dāng)時(shí)為AlphaGo提供了重要的技術(shù)支撐。
字節(jié)跳動(dòng)發(fā)布萬卡集群系統(tǒng)MegaScale論文
2月23日，字節(jié)跳動(dòng)發(fā)布萬卡集群論文，展示了構(gòu)建和部署 MegaScale 的設(shè)計(jì)、實(shí)施和工程經(jīng)驗(yàn)，這是一個(gè)用于訓(xùn)練超過1萬個(gè)GPU規(guī)模的大型語言模型生產(chǎn)系統(tǒng)。
在12288個(gè)GPU上訓(xùn)練175B LLM模型時(shí)，MegaScale實(shí)現(xiàn)了55.2%的模型FLOP利用率 (MFU)，與Megatron-LM相比，MFU提高了1.34倍。
中國為人工智能初創(chuàng)企業(yè)提供14萬至28萬美元的“算力券”
為了支持蓬勃發(fā)展的人工智能行業(yè)，中國向初創(chuàng)企業(yè)提供“算力券”，來降低企業(yè)數(shù)據(jù)中心運(yùn)營相關(guān)的成本。至少有17個(gè)中國城市政府承諾提供這些補(bǔ)貼，代金券價(jià)值從14萬美元到28萬美元不等。
meta 推出2個(gè)24K GPU集群
3月13日，meta披露了有關(guān)萬卡集群的硬件、網(wǎng)絡(luò)、存儲(chǔ)、設(shè)計(jì)、性能和軟件的詳細(xì)信息，并聲稱到2024年底將完成350000個(gè)英偉達(dá)H100 GPU集群的構(gòu)建。屆時(shí)，其整個(gè)資源池計(jì)算能力將相當(dāng)于近600000個(gè)H100。
Cerebras發(fā)布了世界上最快的芯片，擁有4萬億個(gè)晶體管
3月14日，Cerebras發(fā)布了大尺寸芯片WSE-3，包含4萬億個(gè)晶體管，在相同的功耗和價(jià)格下，WSE-3的性能是之前記錄保持者WSE-2的兩倍。
相比H100 GPU ，WSE-3大了57倍，內(nèi)核數(shù)量增加了52倍，芯片內(nèi)存增加了800倍，內(nèi)存帶寬增加了7000倍，結(jié)構(gòu)帶寬增加了3700倍以上。這些都是芯片實(shí)現(xiàn)高性能的基礎(chǔ)。
WSE-3是專為訓(xùn)練業(yè)界最大的AI模型而打造的，基于5納米制程、將為Cerebras CS-3人工智能超級(jí)計(jì)算機(jī)提供動(dòng)力，通過90萬個(gè)人工智能優(yōu)化的計(jì)算核心，提供每秒125 petaflops峰值A(chǔ)I性能（1 petaflops是指每秒1萬億次浮點(diǎn)運(yùn)算）。
AI模型
大語言模型
谷歌發(fā)布多模態(tài)模型Gemini 1.5 Pro，支持100萬token上下文
2月16日，谷歌發(fā)布多模態(tài)大模型Gemini 1.5 Pro，建立在谷歌Transformer和MoE架構(gòu)的領(lǐng)先研究之上。
通過一系列機(jī)器學(xué)習(xí)創(chuàng)新，谷歌增加了Gemini 1.5 Pro的上下文窗口容量，并實(shí)現(xiàn)在生產(chǎn)中運(yùn)行高達(dá)100萬個(gè)Token，遠(yuǎn)超32k的Gemini 1.0、128k的GPT-4 Turbo、200k的Claude 2.1。
Gemini 1.5 Pro可以一次性處理大量信息——包括1小時(shí)的視頻、11小時(shí)的音頻、超過30000行代碼的代碼庫或超過700000個(gè)單詞。
谷歌發(fā)布開源大模型Gemma
2月22日，谷歌推出了“開源”大模型Gemma。Gemma采用了與Gemini相同的技術(shù)，由谷歌DeepMind與谷歌其他團(tuán)隊(duì)共同合作開發(fā)，在拉丁文中意為 “寶石”。
Gemma包括兩種權(quán)重規(guī)模的模型：Gemma 2B 與Gemma 7B，每種規(guī)模都有預(yù)訓(xùn)練與指令微調(diào)版本。同時(shí)，谷歌還推出了一系列工具，旨在支持開發(fā)者創(chuàng)新，促進(jìn)合作，并指導(dǎo)如何負(fù)責(zé)任地使用Gemma模型。
Mistral獲微軟投資，發(fā)布旗艦?zāi)Ｐ蚆istral Large
2月27日，Mistral AI發(fā)布Mistral Large旗艦?zāi)Ｐ停⑶彝瞥鰧?duì)標(biāo)ChatGPT的對(duì)話產(chǎn)品：Le Chat。
Mistral Large達(dá)到了頂級(jí)的推理能力。它可以用于復(fù)雜的多語言推理任務(wù)，包括文本理解、轉(zhuǎn)換和代碼生成。
據(jù)Mistral AI CEO Arthur Mensch透露，開發(fā)這款新模型的成本不到2000萬歐元（約合2200萬美元）。
同時(shí)，微軟宣布與Mistral AI達(dá)成深度合作，并對(duì)其進(jìn)行了投資。未來，Mistral AI直接將模型資源放在微軟云當(dāng)中售賣，成為OpenAI之后第二家在微軟Azure云平臺(tái)上提供商業(yè)AI模型的公司。
Anthropic發(fā)布Claude 3模型，全面超越GPT-4
3月4日，Anthropic推出了最新的Claude 3大模型。
