Durán kemudian bertarung melawan [[Marvelous Marvin Hagler]] dalam perebutan juara dunia tinju kelas menengah di Las Vegas tanggal 10 November 1983. Selama pertandingan itu, Duran mematahkan tangannya dan kalah dalam pertandingan 15 yang sangat kompetitif. Setelah 13 ronde, dua dari tiga juri membuat Durán unggul satu poin. Juri lainnya membuat poin Durán dan Hagler sama. Hagler bertarung dengan gigih untuk memenangkan dua ronde terakhir dan mendapatkan kemenangan melalui keputusan bulat. Skor dari wasit adalah 144–142, 144–143, dan 146–145. Meskipun kalah, Durán menjadi petinju kedua yang membawa Hagler bertarung hingga 15 ronde untuk memenangkan pertandingan ([[Vito Antuofermo]] adalah yang pertama) dan satu-satunya petinju yang melakukannya sewaktu Hagler masih menjadi juara dunia.
Pada bulan Juni 1984 gelar tinju kelas menengah-ringan punya Durán dicopot karena WBA tidak mengizinkan dia bertarung dengan juara sabuk WBC Champion [[Thomas Hearns|Thomas "Hitman" Hearns]] dan tidak lagi mengakui Durán sebagai juara dunia ketika Durán melangkah masuk ke dalam ring menghadapi Hearns. Durán kembali membuat sejarah dalam pertandingan itu, tetapi kali ini adalah hal yangtidak kelirumenyenangkan. Hearns dua kali merobohkan Durán pada ronde pertama dan ketika kakinyaDuran bangkit setelah roboh untuk kedua kalinya, yang mengakhiri ronde itu, dia tidak tahu di mana corner-nyapojok ringnya. Hearns untuk ketiga kalinya kembali merobohkan Duran pada kedua dan thepertandingan fightitu wasdihentikan. stopped,Pertandingan markingitu themenandai firstKO timepertama inyang hisdidapatkan career that Durán hadsepanjang beenkariernya knocked(keluarnya outDurán inpada a fight (thepertandingan "No Más" fightresmi wastercatat officially recorded as asebagai ''technical knockout, because Duran quit''). Durán thenkemudian retiredpensiun forkedua a secondkalinya. timeNamun, butdia changedberubah hispikiran mindsetahun oversetelahnya adan yearkembali later,bertanding and was back fightingpada inawal earlytahun 1986.
Durán didtidak notmelakoni contendpertandingan anotherperebutan titlegelar fightlainnya untilhingga tahun 1989, buttetapu made the shot count whenketika hedia wonmerampas thegelar WBCtinju Middleweightkelas titlemenengah fromsabuk WBC dari [[Iran Barkley]] inpada Februarybulan Februari. ThePertandingan fightitu isdianggap consideredsebagai onesalah ofsatu pencapaian terbesar Durán'sgreatestkarena achievements,mantan asjuara thetinju kelas ringan berusia 37-year-oldformertahun lightweightitu championmendapatkan tookgelar thekelas middleweightmenengah crown,yang hismerupakan fourthgelar titlekeempatnya. In a tough, back-and-forth fight, Durán knocked Barkley down in the eleventh round and Durán won a split decision (118–112, 116–112, 113–116). The bout was named the 1989 "Fight of the Year" by ''[[The Ring (magazine)|The Ring]]''.
