大凡开国帝王，都会有不同于常人的传奇，人们由此对他们“真命天子”的身份确信不疑， 赵构 (《正说宋朝十八帝》人物)也不例外。南宋民间流传着“泥马渡康王”的故事，其主人公就是赵构。故事情节十分简单，但却有两个不同的版本。
一说北宋末年，时为康王的赵构赴金营为人质，金兵押其北上，途中赵构脱逃，逃至磁州时，夜宿崔府君庙，梦神人告知金兵将至，赵构惊醒，见庙外已备有马匹，遂乘马狂奔。这匹马居然载着赵构渡过黄河，过河后即化为泥塑之马。
赵构赴金营为人质，历史上确有其事。靖康元年正月，金兵已经攻至开封城下，宋廷向金求和，金人要求以亲王、宰相为人质，方可退兵。钦宗命康王赵构前往金营。接下来的事情就与传说的内容完全不一样了。在金营被软禁了20余天后，幸运降临到了赵构的头上。金人不知出于什么原因，怀疑赵构不是亲王，将其遣返，而不是像故事中那样，押着赵构北上，所以赵构根本无须逃跑。钦宗只好命肃王赵枢代替赵构，赴金营为人质。在钦宗答应割地、赔款等要求后，金人暂时撤军，肃王却没有被放还，而是被掳北去，当了赵构的替死鬼。
另一说为南宋初年，赵构已经即位，朝廷迁到扬州，金兵大举南下，前锋即将攻到扬州城下，赵构事先没有得到战报，此时闻讯，连夜仓皇出逃。他怕追兵赶上，藏匿在江边神祠内，月光下忽然发现祠中泥塑马动了起来，于是乘骑此马渡过长江，逃到了杭州。
和前一个版本相比，后一个版本的真实成分似乎更大一些，除了紧扣故事主题的“泥马渡江情”节外，其他情节都有据可查。靖康二年五月一日，赵构在应天府登基，建立了南宋政权，是为宋高宗。金人得知赵构重建赵氏政权，马上开始了新一轮的南侵，目的是要趁赵构立足未稳，将其一举消灭。高宗建炎元年（1127）秋，金朝分兵攻宋。高宗内心惟恐重蹈靖康之变的覆辙，不顾主战派大臣和将领们的反对，于十月将朝廷迁至扬州。建炎三年二月，宗翰派兵奔袭扬州，攻陷天长，前锋距离扬州城仅有数十里。高宗此时正在后宫寻欢作乐，乍闻战报，慌忙带领少数随从乘马出城，急驰至瓜洲渡江逃跑。这次突如其来的惊吓也给赵构留下了严重的后遗症，他从此失去了生育能力。
宋代楼船其实，这两个版本的内容大同小异，只是在故事发生的地点和时间上出现了分歧，前者在北，后者在南；前者为即位前，后者为即位后。传说固然都是些杜撰附会，甚至是无稽之谈，然而，在某种程度上也能反映出历史的真实。“泥马渡江”故事的地域和时间跨度，正显示出赵构在北宋末南宋初的这段时期内从北到南、颠沛流离的逃亡生活。即位前，在河北的逃跑途中，赵构和大臣在寒冷的旷野中烧柴温饭，一起在茅舍下就食。即位不久，又发生兵变。扈从保驾的御营司将领苗傅、刘正彦等人因不满宦官的胡作非为，包围行宫，诛杀宦官，胁迫高宗让位于年仅三岁的皇子赵辏由哲宗孟皇后垂帘听政，改元明受。兵变历时两月，后由 韩世忠 (《正说宋朝十八帝》人物)起兵平叛，高宗复辟。仅仅过了半年，金兵突破了长江防线，直扑宋廷所在地杭州而来。高宗退无可退，只得入海避敌，在温州沿海漂泊了4个月之久。前有恶浪，后有追兵，衣食物资也无法及时得到供给，南宋君臣的窘迫之状可想而知。一次，高宗饥饿难耐，命令停船靠岸，自己步行到一所寺院索食，僧人不及准备，只好以5枚炊饼进献，赵构居然连吃了三枚半，原本养尊处优的他方才真切地体味到饥寒交迫的感受。
但是这一切似乎并未磨砺出赵构坚韧的意志，也没有激发起他的斗志；恰恰相反，曾经在金营作人质的经历，让赵构亲眼目睹了金兵的强悍和凶残，每当想起，他还心有余悸。他抛弃了父兄被掳、国土沦陷的国仇家恨和中原浴血奋战的军民，宁可忍受道路风霜，只为保全自己的身家性命。在逃跑途中，高宗还时时不忘向金人乞和，他一再派出使者前往金营，在国书中竟然自称“康王”，说自己未得金朝允许黄天荡之役就登基称帝，实为大错，现在甘愿放弃帝位，向金朝称臣。卑躬屈膝、摇尾乞怜之态跃然纸上。高宗的哀求根本阻挡不了金兵继续南下，倒是南宋广大军民的奋起抵抗，使金兵屡遭挫败，加上江南气候潮湿，河道密布，不利于金朝骑兵作战，金军主帅完颜 兀术 (《正说宋朝十八帝》人物)决定撤兵。金兵北撤途中，遭到南宋军民的不断攻击。撤至镇江时，宋将韩世忠率水师截断了金兵的归路，将其逼入建康东北70里处的黄天荡，宋军以8000人的兵力包围10万金兵。双方相持48天，金兵屡次突围均告失败，最后用火攻才打开缺口，得以撤退。兀术大军刚逃出了韩世忠的包围，抵达建康，又遭遇 岳飞 (《正说宋朝十八帝》人物)所部阻击，又被打败，岳飞收复建康。金军此后再也不敢渡江。
建炎四年四月，高宗在海上获悉金兵北撤，才从温州经明州回到越州。越州地理位置偏僻，漕运很不方便，南宋朝廷的大批官员、军队集中此地，物资供应无法得到保证。相比之下，高宗对逃难时曾经停留过的临安（杭州）念念不忘。那里交通方便，江河湖泊交错，金人的骑兵无法驰骋，大大增加了高宗的安全感；又地处鱼米之乡，物产丰富，基本可以满足南宋朝廷的需要；而且自唐、五代以来，杭州经过了长期的开发建设，已经一跃成为繁华秀丽的“东南第一州”，它对于刚刚饱经流离之苦、热切渴望安逸生活的高宗来说，无疑具有巨大的吸引力。绍兴二年（1132），高宗迁都杭州，南宋朝廷终于获得了喘息之机，初步在东南站稳了脚跟。