廷中央政权到地方藩镇，都有一批视他为虎狼的人物。他们往往在李克用大兵压境时，低首归顺，而一旦有机可乘，就伺机对抗。
天复元年（901年），汴将张从晋攻陷晋、绛二州，截断了李克用南下的通路。河中节度使王珂是李克用的女婿，急向岳父求救。李克用首尾不能相顾，给女儿复信说：“你可与王郎弃城投降。”就此放弃了河中。
河中之失，是李克用由盛而衰的重大转折，“武皇自是不能援京师，霸业由是中否”。这年四月，汴军多路从东、南入晋，包围晋阳，“都人大恐”，只是由于连日大雨，汴军粮草不给，将士多患痢疾，才暂时后退。六月，李克用向朱温求和。
第二年，汴军复攻晋阳，形势危急，李克用欲奔云州，北逃以保实力。妻子刘氏激励劝止道：“大王常笑别人弃城逃跑，被人宰割，今天怎么却要效仿呢？大王先前曾到塞外避难，差点遇害，现在如果弃城北逃，难保有不测之事，根本就难以保自己，还谈什么大业！”李克用听从了刘氏的建议，收聚溃散将士。幸赖诸将奋战，汴军再次退走。虽然汴军这时仍然势盛，朱温挟天子以令诸侯，但李克用毕竟已经走出了低谷。
英雄立马起沙陀（4）
李克用虽然是一方霸主，然而在军事战略与统驭部下方面的缺陷却严重削弱了自身实力，使得他在与朱温争夺霸权的初期一直处于劣势。不过，他有一点谋略胜过朱温，这就是他从来不象朱温那样，明目张胆地凌驾于唐皇帝之上。李克用也知道唐朝气数将尽，他自己也并非没有称帝的野心，但是在当时，扶唐兴唐还是一面颇有号召力、颇能收人心的招牌。所以，他时时以勤王讨逆的面目出现，而既能趁势扩张自己的势力，又能收买人心。
天祐元年（904年），朱温强迫唐廷迁都洛阳，弑唐昭宗而立辉王李柷，是为哀帝。告哀使到晋阳，李克用南面痛哭，令三军穿素服以志哀。天祐四年（907年），朱温迫不及待地废唐哀帝，自立为王，建立后梁。
朱温称帝后，当时割据四川的王建也想称帝，派使劝李克用一起称帝，割据一方，被李克用婉言谢绝，说自己“累朝席庞，奕世输忠”，因此“誓于此生，靡敢失节”。表面上看起来是忠于唐朝廷，但其实，李克用不是不想称帝，而是想趁朱温称帝之机，兴灭朱兵。他已经看出，朱温急匆匆称帝招致了各地反对，可见唐朝虽亡，但还是没有失尽民心。于是李克用站出来，以唐朝忠臣的身份进行讨伐，利用朱温内部矛盾重重，外部失尽民心的有利时机扩充领地，在与后梁的对抗中逐渐占了上风。
早在天祐二年（905年），李克用就与契丹主阿保机联盟，欲渡河南征。天祐三年（906年），李克用遣兵攻邢州，克泽、潞州。天祐四年（907年），朱温重兵十万围潞州（今山西长治），李克用也派兵驰援。朱温再派军，在城外筑了一道夹寨，将李克用的部下李嗣昭包围在城内，双方相持了一年。李克用派周德威去解围，双力打得很激烈，也没有能将朱温的军队击溃。两军对垒，难分胜负。
就在双方相持的时候，李克用却因头部疽发身染急病，于后梁开平二年（908年）死于晋阳，当时仅五十二岁。
李克用突然去世后，周德威的援军撤还晋阳，朱温认为攻破潞州已不在话下。不料李克用的儿了李存勗率援兵日夜兼程，出其不意地击败了朱温的军队，解了潞州之围，缴获了大量的粮食军械。后来李存勗又用智取的办法，多次击败了朱温的军队，朱温的军队因而在心理上对李存勗产生了恐惧心情，往往两军还未接手就纷纷溃散。朱温感到自己后继无人，不是李克用儿子的对手，所以感叹说：“生子当如李存勗，我的儿子比起来只是猪狗而已”果然不出所料，朱温死后，他的儿子朱友贞被李存勗所灭。
临终时，李克用下令薄葬，发丧之后二十七天便可除去丧服。在当时，儿子为父亲服丧要满三年，这是丧期最长的。最短的丧期也有三个月。李克用要求缩短，自然是要儿子李存勗以大局为重，把精力放在打退梁军上。
李克用临终时还交给李存勗三支箭，鼓励儿子说：“一支箭先讨伐刘仁恭，你如果不先攻占幽州，那么河南地区也难夺取。