Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標(biāo)簽：語言模型亞馬遜LLM 938 0

探索SFT訓(xùn)練策略對性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語言模型SFT 1168 0

揭秘編碼器與解碼器語言模型

Transformer 架構(gòu)的問世標(biāo)志著現(xiàn)代語言大模型時(shí)代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標(biāo)簽：解碼器編碼器語言模型 752 0

基于PyTorch的模型并行分布式訓(xùn)練Megatron解析

NVIDIA Megatron 是一個(gè)基于 PyTorch 的分布式訓(xùn)練框架，用來訓(xùn)練超大Transformer語言模型，其通過綜合應(yīng)用了數(shù)據(jù)并行，Te...

2023-10-23 標(biāo)簽：NVIDIA源碼模型 3027 0

開源LLEMMA發(fā)布：超越未公開的頂尖模型，可直接應(yīng)用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準(zhǔn)測試上創(chuàng)下了新高，甚至超越了某些還未對外公開的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標(biāo)簽：模型語言模型python 757 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對 G...

2023-10-22 標(biāo)簽：語言模型ChatGPT大模型 527 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語言模型大模型 2131 0

高性能計(jì)算與多模態(tài)處理的探索之旅：英偉達(dá)GH200性能優(yōu)化與GPT-4V的算力加速未來

隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)大模型成為越來越重要的發(fā)展趨勢。GPT-4V（GPT-4 近日開放的視覺模態(tài)）大型多模型（LMMs）擴(kuò)展大型語言模型（...

2023-10-19 標(biāo)簽：人工智能語言模型英偉達(dá) 1341 0

CPU后端和CUDA后端的執(zhí)行代碼和效果

下面展示一下在 https://github.com/BBuf/RWKV-World-HF-Tokenizer 做的自定義實(shí)現(xiàn)的RWKV world t...

2023-10-16 標(biāo)簽：人工智能語言模型數(shù)據(jù)集 970 0

ChatGPT是怎么實(shí)現(xiàn)的

ChatGPT 能夠自動(dòng)生成類似于人類寫作的文本，這一點(diǎn)非常引人注目，也令人意外。但它是如何實(shí)現(xiàn)的？為什么它能夠如此出色地生成我們認(rèn)為有意義的文本？我的...

2023-10-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型ChatGPT 945 0

行人摔倒檢測-在英特爾開發(fā)套件上基于OpenVINO? C# API部署PP-Human

OpenVINO 2023.1 于 2023 年 9 月 18 日發(fā)布，該工具包帶來了挖掘生成人工智能全部潛力的新功能。生成人工智能的覆蓋范圍得到了擴(kuò)展...

2023-10-13 標(biāo)簽：英特爾視頻監(jiān)控語言模型 770 0

清華&港大提出LanguageMPC：將大語言模型和MPC相結(jié)合的新型類人智駕系統(tǒng)

LanguageMPC首次將LLM應(yīng)用于駕駛場景，并設(shè)計(jì)了將文字形式高層決策轉(zhuǎn)化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)...

2023-10-10 標(biāo)簽：MPC語言模型自動(dòng)駕駛 796 0

DISC-LawLLM：復(fù)旦大學(xué)團(tuán)隊(duì)發(fā)布中文智慧法律系統(tǒng)，構(gòu)建司法評測基準(zhǔn)，開源30萬微調(diào)數(shù)據(jù)

DISC-LawLLM是基于我們構(gòu)建的高質(zhì)量數(shù)據(jù)集DISC-Law-SFT在通用領(lǐng)域中文大模型Baichuan-13B上進(jìn)行全參指令微調(diào)得到的法律大模型...

2023-09-28 標(biāo)簽：算法智能化語言模型 972 0

華為提出Sorted LLaMA：SoFT代替SFT，訓(xùn)練多合一大語言模型

而這一切的背后，是一項(xiàng)名為Sorted Fine-Tuning（SoFT）的新訓(xùn)練技術(shù)。SoFT讓我們可以在一個(gè)訓(xùn)練周期內(nèi)產(chǎn)出多個(gè)子模型，無需任何額外的...

2023-09-26 標(biāo)簽：華為模型語言模型 846 0

DreamLLM：多功能多模態(tài)大型語言模型，你的DreamLLM~

由于固有的模態(tài)缺口，如CLIP語義主要關(guān)注模態(tài)共享信息，往往忽略了可以增強(qiáng)多模態(tài)理解的模態(tài)特定知識。因此，這些研究并沒有充分認(rèn)識到多模式創(chuàng)造和理解之間潛...

2023-09-25 標(biāo)簽：框架語言模型機(jī)器智能 763 0

Medusa如何加速大型語言模型（LLM）的生成？

面對推測性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 751 0