東晉當(dāng)東晉在江南建國的同時，中國的北方則陷入分裂混戰(zhàn)，黃河流域成為匈奴、羯、鮮卑、氐、羌等五個主要少數(shù)民族和漢族爭殺的戰(zhàn)場，并分別建立了自己的國家，相互爭霸，不斷有國家成立和滅亡。從公元304年匈奴貴族劉淵建立漢國，316年滅掉西晉，到439年鮮卑拓跋部統(tǒng)一北方，這130多年里北方各民族相互爭戰(zhàn)，先后建立了前趙(匈奴)、后趙(羯)、前燕(鮮卑)、前涼(漢)、前秦(氐)、后秦(羌)、后燕(鮮卑)、西秦(鮮卑)、后涼(氐)、南涼(鮮卑)、西涼(漢)、北涼(盧水胡)、南燕(鮮卑)、北燕(漢)、夏(匈奴)等十五個政權(quán)，連同西南巴氐族建立的成漢，共十六國，和東晉漢族政權(quán)長期對峙，史稱五胡十六國。
會稽東山謝安攜伎圖除十六國之外，還有漢人冉閔建立的魏、丁靈翟氏建立的魏、武都氐帥楊氏建立的仇池國、鮮卑慕容氏建立的西燕、鮮卑拓跋氏建立的代五個政權(quán)，總計先后建立了21個政權(quán)。上述政權(quán)中，后趙、前燕、前秦都曾占據(jù)過北方的大部分疆域。
東晉雖然偏安于江南，但在歷代帝王在位的時候都希望收復(fù)北方的國土。其中以王、謝、桓、庾四大家族為主的門閥對北伐采取了不同的態(tài)度，在東晉時曾進行過多次北伐，在其中也不乏名將的指揮。
西晉滅亡后，匈奴、鮮卑、羯、氐、羌五個民族的統(tǒng)治者，在中國北方的黃河流域一帶先后建立許多割據(jù)政權(quán)，連同漢族所建立的政權(quán)，較重要的有十六個國家，歷稱為“五胡十六國”。
從北方南遷的人民時常懷念家鄉(xiāng)，因此一些有志之士多次進行北伐，希望能夠收復(fù)北方的國土。祖逖是東晉率先北伐的將領(lǐng)，他曾經(jīng)率軍收復(fù)黃河以南地區(qū)，但由于東晉內(nèi)部出現(xiàn)糾紛，朝廷又擔(dān)心他北伐成功后威望太高，結(jié)果沒有給予支持，以致功敗垂成，憂憤而死，曾收復(fù)的土地又被胡人重新占領(lǐng)。
繼祖逖之后，又有桓溫三次北伐，曾一度收復(fù)洛陽，他屢次請求朝廷把都城遷回洛陽，但遭到大族的反對，東晉君臣又怕他權(quán)勢太大，難以控制，因而無法實現(xiàn)。