Ancien défenseur central, notamment de la réserve du Real Madrid, il est devenu entraineur très jeune, après une série de blessures. Après avoir commencé par entraîner les équipes de jeunes du Real Madrid, il a entrainé Valladolid, Osasuna, Extremadura et Tenerife avant de s'engager avec Valence, où il se forge très vite un formidable palmarès (champion d'Espagne en 2002 et 2004 et vainqueur de la Coupe de l'UEFA en 2004). Vainqueur de la Ligue des Champions en 2005 (finaliste en 2007), de la Supercoupe d'Europe en 2005, de la Coupe d'Angleterre et du Community Shield en 2006 avec Liverpool. Vainqueur de la Coupe du monde des clubs et de la Supercoupe d'Italie en 2010 avec l'Inter Milan. Vainqueur de la Ligue Europa en 2013 et finaliste de la Coupe du monde des clubs en 2012 avec Chelsea. Vainqueur de la coupe et de la Supercoupe d'Italie en 2014 avec Naples. Vainqueur de la Ligue des champions en 2016 avec le Real Madrid (évincé en cours de saison et remplacé par Zinédine Zidane). Elu meilleur entraîneur de la Liga en 2002.