并行訓(xùn)練-流水線

并行訓(xùn)練主要有三種策略：

1. 數(shù)據(jù)并行訓(xùn)練加速比最高，但要求每個(gè)設(shè)備上都備份一份模型，顯存占用比較高，但缺點(diǎn)是通信量大。
2. 張量并行，通信量比較高，適合在機(jī)器內(nèi)做模型并行。
3. 流水線并行，訓(xùn)練設(shè)備容易出現(xiàn)空閑狀態(tài)，加速效率沒(méi)有DP高；但能減少通信邊界支持更多的層數(shù)，適合在機(jī)器間使用。

流水線并行

Micro-batch(Gpipe)將網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行縱向拆分, 每張卡訓(xùn)練其中的幾層. 如果是按照純粹的mini-batch訓(xùn)練, 每層之間是純串行的. 后面的卡會(huì)始終等待前面的卡. 所以引入了micro-batch的概念. 把mini-batch進(jìn)行更細(xì)粒度的拆分, 這樣在完成batch0的fp之后, 卡0可以進(jìn)行batch1的fp, 卡1就能開(kāi)始batch0的fp. 從而提高并行度.

存在的問(wèn)題:

1. 存在bubble_time: 每張卡的空閑時(shí)間 = (stage_num - 1) * (fp_time + bp_time)

實(shí)際應(yīng)用中 當(dāng)mico-batch個(gè)數(shù)大于stageNum的4倍時(shí), 可以忽略bubble_time

1. 顯存浪費(fèi): 當(dāng)進(jìn)行stage3的micro-batch 3時(shí), 還需要保存前面所有mico-batch的fp中間結(jié)果用于bp.
2. 在每個(gè)mini-batch之間無(wú)法并行. 因?yàn)橄乱粋�(gè)minibatch需要等當(dāng)前所有的micro-batch更新完參數(shù)

• 生死局藍(lán)柚出裝技巧攻略指南-成為無(wú)敵法師的關(guān)鍵（巧用裝備搭配，讓你在生死局中戰(zhàn)無(wú)不勝）
• 巫妖技能加點(diǎn)技能攻略指南（充分發(fā)揮巫妖技能的優(yōu)勢(shì)，打造一支無(wú)敵的隊(duì)伍）
• 《哈利波特魔法覺(jué)醒》肖像任務(wù)拯救攻略技巧指南（如何完成肖像任務(wù)？一步一步指導(dǎo)）
• 涅槃技能加點(diǎn)技巧攻略秘籍（從零開(kāi)始，掌握涅槃技能加點(diǎn)的正確方法，讓你的角色更加強(qiáng)大�。�
• 《荒野亂斗》新英雄艾爾普里莫拳王操作技巧攻略指南