骄纵，亲近小人，做事不合法规，声色狗马也就算了，竟然将乐平公主杨丽华欲献给杨广的柳氏女子纳入府中，杨广得知后自然很不高兴。
一次隋炀帝打猎，令杨暕用一千骑兵参加围猎。杨暕猎获许多麋鹿进献给隋炀帝，而隋炀帝自己却未能获猎，便向随从官员发怒。随从们都说是因杨暕侍从阻拦道路，野兽不能前来，这样的蠢事都能干的出来。
杨暕之妃韦氏早亡，杨暕乃与韦妃的姐姐元氏妇（因嫁于元氏，故称元氏妇）私通，生下一女。杨暕暗中在府内设宴饮酒，并招看相之人让他遍视后.庭，看相之人指着元氏妇说她将为皇后，当时杨广未立太子，杨暕认为自己按次序当立。