升级资格，惟仅差一线均以第四位未能成功。2003/04赛季幸运之神终于降临美因茨，球队以净胜球压倒科特布斯取得第三位，克洛普成功带领美因茨首次登陆德甲，其时他在科隆德国体育大学完成足球教练牌照课程，但仍需继续修读德甲主教练所需的甲级教练牌照课程。 2008年5月克洛普获聘为德甲俱乐部多特蒙德的主教练，签约两年，2008/09赛季克洛普随即带领球队赢得个人执教生涯首个锦标，以二比一击败拜仁慕尼黑取得德国超级杯，执教首个赛季多特蒙德取得第六位，但未能取得欧洲赛的参赛资格。