祖逖是范阳遒县人，生于西晋末年，年轻时轻财好侠，常把谷帛周济乡里，乡党宗族都敬重他。他读书不算早，十四五岁还不知书，兄长们为此担心，他却忽然开了窍，博览书记，往来京师，见者都说他有赞世之才。他与同郡的刘琨同为司州主簿，两人意气相投，同寝一处，都预感天下将乱，常议论世事直到深夜。半夜听见荒鸡啼鸣，他一脚踹醒刘琨说，此非恶声也。于是两人披衣起身，在月色下拔剑对舞，相期将来若四海鼎沸，豪杰并起，你我在中原不要相让。这就是「闻鸡起舞」的来历，载在《晋书·祖逖传》里，是两个年轻人互相砥砺的旧事，并不是后来渡江北伐那一夜的事。
中原大乱，洛阳、长安相继陷落，士族纷纷南渡。祖逖也带着亲党数百家避到淮泗，一路上他把车马让给老弱，自己徒步，药物衣粮都与众人共用，被推为这支流民的首领。到了建康，他向镇守江东的司马睿进言，请缨北伐。那时司马睿正忙于经营江南，只拨给他千人的粮饷、三千匹布，不给铠甲兵器，让他自行招募。祖逖不争，带着跟随自己南下的部曲百余家渡江北上。
船行到大江中流，他望着北岸，敲打着船桨当众发誓：祖逖不能清中原而复济者，有如大江。辞色壮烈，满船人都为他慨叹。渡江以后他屯驻淮阴，起炉冶铁，自造兵器，又招募到两千余人，一步步向北推进。中原大地上的对手，除了石勒的后赵，还有大大小小的坞堡主，他们各自筑垒自保，时降时叛。祖逖对这些人又打又拉，曾经一次宴会间设计收服拥兵观望的坞主张平、樊雅，又善待暗通后赵的坞主，允许他们两属，坞主们感戴，后赵一有动静便暗中报信。他用攻抚并用的办法对付石勒，几年之间收复了黄河以南的大片土地，进屯雍丘，石勒不敢轻易南向，还派人去成皋修缮他母亲的坟墓，又请求通使互市。祖逖不回信，却听任边境互市，公私都获其利。
局势正有起色，朝廷却派来戴渊任征西将军，坐镇合肥，把祖逖辛苦经营的收复之地置于其节制之下。戴渊是南来名士，虽有清望，于北伐并无寸功，祖逖眼见自己披荆斩棘换来的局面受人掣肘，意甚怏怏；又耳闻朝中王敦与刘隗等人争斗日烈、内乱将起，知道大功难成，忧愤成疾。他抱病修缮武牢城防，城南临黄河的险要处还没修成，他对身边人叹息说，本想平定河北，却落得这般境地。东晋元帝太兴四年，他病逝于雍丘，时年五十六岁。
他死后，豫州百姓如丧父母，为他立祠。弟弟祖约接领部众，却无兄长的威望手腕，守不住那片局面，没有多久，黄河以南收复的土地得而复失，重新落入后赵之手。一场几乎只手撑起的北伐，终因朝廷的猜忌和内乱化为泡影。他生前最怕看见的朝廷内斗，随后一场不少地来了。后人每念晋室南渡，总忘不掉中流那一记桨声：一个人把命押给一句誓言，而那个朝廷配不上他。
❝祖逖不能清中原而复济者，有如大江！❞