宋度宗咸淳十年(公元1274年)六月，忽必烈下诏平宋，丞相伯颜担任最高统帅，南宋政权危在旦夕。七月，宋度宗病死，宋恭帝即位，谢太后临朝称制，下诏勤王。德祐元年(公元1275年)，文天祥变卖家产，招募义士，赶赴都城临安，应诏勤王。但是，朝中大臣对文天祥并不信任，命其前往平江府(今江苏苏州)守卫。后因朝廷部署失策，平江府失守，文天祥才不得不回到临安。
德祐二年(公元1276年)正月，元军围困临安。正月十八日，谢太后眼看大势已去，急忙遣使携带传国玉玺和皇帝降表，向伯颜请降。当晚，右丞相陈宜中逃跑，其他主要官员也率兵撤离。第二天早晨，文天祥临危受命，出任右丞相，与左丞相吴坚等赴伯颜大营议和。
文天祥在伯颜面前慷慨陈词，据理力争。面对伯颜的恐吓，他面无惧色地回答：“吾乃南朝状元宰相，但欠一死报国，刀锯鼎镬，非所惧也!”文天祥还曾在元营赋诗：“三宫九庙事方危，狼子心肠未可知。若使无人折狂虏，东南那个是男儿。”
降元的南宋守将吕文焕为讨好伯颜，前来劝说文天祥。文天祥怒不可遏，痛斥其为乱贼。吕文焕以自己苦守襄阳6年而朝廷不予施救为自己辩解，文天祥厉声喝道：“力穷援绝，死以报国，可也。”
文天祥表现出的无畏气概，使得伯颜对他不得不另眼相待。如果文天祥能够投降，元军可以利用他的声望去进一步收拾南方的残局。于是，伯颜派人劝降文天祥：“大元将兴学校、立科举，丞相在大宋为状元宰相，今为大元宰相无疑。”文天祥听后，却当场痛哭。
事后，文天祥还赋诗一首以明志：“虎牌毡笠号公卿，不直人间一唾轻。但愿扶桑红日上，江南匹士死犹荣。”虎头金牌和毡帽是元朝公卿的服饰，“扶桑红日上”象征南宋政权重新崛起。
伯颜见文天祥不肯屈服，便将他扣留在军营中，其他大臣签订降书后于次日返回临安。之后，文天祥被押往大都，所幸于途中趁机逃脱。历尽艰险之后，文天祥泛海南下温州，辗转来到宋端宗赵昰的行朝驻地福州。
不料，文天祥依然受到掌政者的排挤，只以同都督军马的身份先后在南剑州(今福建南平)和汀州(今福建长汀)开府，重新组织军民抗元。文天祥到汀州后不久，福州失陷，小朝廷逃往广东。他随之转战漳州、梅州一带。景炎二年(公元1277年)五月，文天祥率兵进入江西，在雩都县(今江西于都)大败元军，收复兴国、吉州等地，一时声威颇盛。但元军旋即大举反攻，文天祥的妻儿和幕僚被俘，他因有义士替身受捕才幸免于难。
祥兴元年(公元1278年)，文天祥带领残部，转战广东南岭一带。六月，为摆脱元兵的围追，他要求赴援崖山行朝，遭到当政者拒绝。十二月，文天祥在广东海丰五坡岭不幸被俘。他吞药自尽未成，被押往崖山战场。
祥兴二年(公元1279年)正月，屯驻在崖山的南宋流亡政权准备与元军决一死战。元军统帅张弘范命文天祥写信劝降。文天祥却赋诗道：“辛苦遭逢起一经，干戈寥落四周星。山河破碎风飘絮，身世浮沉雨打萍。惶恐滩头说惶恐，零丁洋里叹零丁。人生自古谁无死，留取丹心照汗青。”这就是千古流传的《过零丁洋》。
崖山海战是南宋亡国的最后一战，宰相陆秀夫背负皇帝蹈海自尽，后宫诸臣随之纷纷投海，“死溺者数万人”。文天祥在元军海船上亲眼目睹南宋政权的彻底覆灭，写诗恸哭“正气扫地山河羞”“惟有孤臣雨泪垂”。
崖山海战后，文天祥被押回广州。之后，元世祖忽必烈下诏以“谁家无忠臣”的理由，命张弘范善待文天祥，并将其押解大都(今北京)。不过，文天祥却开始了绝食。他计划七八天后将行至家乡吉州时，自己就可以饿死尽节、归葬故里了。但绝食八天后，文天祥依然未死，而故乡已过。此时，他才打消了绝食的念头。
从至元十六年(公元1279年)十月初一至至元十九年(公元1282年)十二月初九，文天祥在大都度过了3年2个月的囚禁生涯。起初，元朝以上宾之礼接待文天祥，劝降者络绎不绝。
第一个来劝降的是留梦炎。他也是个状元宰相，德祐元年十一月听到元军破独松关，就私自逃跑，不久投降元军。文天祥对此人无比鄙夷，提笔赋诗“龙首黄扉真一梦，梦回何面见江东”。龙首指的是状元，黄扉是宰相的办公场所。
第二个出马的是已被降封为瀛国公的宋恭帝。此时，他也仅是一个9岁的孩童。元朝统治者只是想利用旧日的君臣关系，逼迫文天祥就范。文天祥让瀛国公坐下，自己北面跪拜不起，连声说“圣驾请回”。瀛国公无话可说，怏怏而返。
第三个出马的是元朝重臣平章政事阿合马。他命文天祥下跪，文天祥却不示弱，并回答道：“南朝宰相见北朝宰相，岂能下跪?”阿合马故意问：“你何以至此?”文天祥回答：“南朝早用我为宰相，北人到不了南方，南人也到不了北方。”面对阿合马的生死威胁，文天祥则直言：“亡国之人，要杀便杀!”阿合马见奈何不得，只好起身而退。
劝降不成，文天祥被带上木枷，关入土牢。至元十七年(公元1280年)春，他突然接到女儿的来信，才知道3年多杳无音讯的妻子、女儿都在大都。文天祥知道这是元朝打出的感情牌，只要自己投降便可与家人团聚。他强忍着悲痛，拒绝给女儿回信。在给自己妹妹的信中，文天祥谈及此事：“人谁无妻儿骨肉之情，但今日事到这里，于义当死，乃是命也。”
至元十九年(公元1282年)，有元朝大臣提出以儒学治国的主张。一时间，朝野上下出现了让文天祥出仕的呼声。忽必烈对此也非常重视，曾问群臣：“南、北宰相谁贤?”群臣都说：“北人无如耶律楚材，南人无如文天祥。”于是，忽必烈考虑对文天祥付以大任，并派人再去劝降。文天祥坚决表示，自己绝不会尽弃平生，“遗臭于万年”。
忽必烈不杀文天祥，一是佩服其气节，二是爱慕其才能。不过，随着发生不少叛乱和反抗，忽必烈需要在文天祥的生死问题上有个了断。这一天，忽必烈在大殿召见文天祥，亲自出面劝降。文天祥面对忽必烈长揖不拜，忽必烈也不强行要求，面对忽必烈的“元朝宰相”许诺，文天祥回答：“我受宋朝三帝厚恩，号称状元宰相。今事二姓，非我所愿。”忽必烈追问：“所愿为何?”文天祥的回答简短而坚定：“愿与一死足矣。”
至元十九年十二月初九(公元1283年1月9日)，文天祥慨然就义，时年47岁。
