并行訓(xùn)練-流水線

并行訓(xùn)練主要有三種策略：

1. 數(shù)據(jù)并行訓(xùn)練加速比最高，但要求每個設(shè)備上都備份一份模型，顯存占用比較高，但缺點是通信量大。
2. 張量并行，通信量比較高，適合在機器內(nèi)做模型并行。
3. 流水線并行，訓(xùn)練設(shè)備容易出現(xiàn)空閑狀態(tài)，加速效率沒有DP高；但能減少通信邊界支持更多的層數(shù)，適合在機器間使用。

流水線并行

Micro-batch(Gpipe)將網(wǎng)絡(luò)結(jié)構(gòu)進行縱向拆分, 每張卡訓(xùn)練其中的幾層. 如果是按照純粹的mini-batch訓(xùn)練, 每層之間是純串行的. 后面的卡會始終等待前面的卡. 所以引入了micro-batch的概念. 把mini-batch進行更細粒度的拆分, 這樣在完成batch0的fp之后, 卡0可以進行batch1的fp, 卡1就能開始batch0的fp. 從而提高并行度.

存在的問題:

1. 存在bubble_time: 每張卡的空閑時間 = (stage_num - 1) * (fp_time + bp_time)

實際應(yīng)用中 當(dāng)mico-batch個數(shù)大于stageNum的4倍時, 可以忽略bubble_time

1. 顯存浪費: 當(dāng)進行stage3的micro-batch 3時, 還需要保存前面所有mico-batch的fp中間結(jié)果用于bp.
2. 在每個mini-batch之間無法并行. 因為下一個minibatch需要等當(dāng)前所有的micro-batch更新完參數(shù)

• 《暗喻幻想：ReFantazio》尤法社群等級提升作用介紹
• 【長城守望】新服開啟！沖榜就送非遺城磚
• 《寶可夢大集結(jié)》路卡利歐技能圖鑒
• 《塞爾達傳說 智慧的再現(xiàn)》螺旋甜味冰沙怎么制作
• 《仙劍世界》黑蜘蛛森林寶箱開啟方法