张宪自幼喜爱读书，“能鼓琴饮酒”，其文辞一向得到唐末强藩李克用之子李存勖的赏识。李存勖做晋王时任张宪为天雄军节度使掌书记。李存勖灭梁建后唐，义委张宪为工部侍郎、租庸使。张宪后又任刑部侍郎、判吏部铨、东都副留守等职，“精于吏事，甚有能政”。

同光三年（925年）九月，庄宗重臣郭崇韬讨伐西川(今四川)时．推荐张宪为相顶替自己。但宫中宦官，伶人怕张宪在朝中碍事，从中作梗，劝庄宗说：“宰相在天子面前，事有非是，尚可改作，一才之任。苟非其人，则为患不绌。”最终以“宪材诚可用，不如任以一方”为由，委以太原尹，北京留守。

后唐天成元年（926年）三月，赵在礼在魏州（今河北大名东北）发动兵变，对在魏州的张宪亲属以“善待”，并写信派人劝降张宪。而张宪“斩其使，不发其书而上之，”以表明其忠君心迹。四月，庄宗被叛兵乱箭射死，李嗣源率军入京称帝，是为后唐明宗。庄宗弟永王李存霸被李嗣源击败逃到太原依附张宪，这时张宪左右鼓动，将李存霸拘押起来以待形势的发展，再做处理。张宪说，我本一个书生，无尺寸之功，庄宗对我恩情甚厚，我怎么能扣押其弟以观事变呢。同僚张昭远劝张宪“奉表明宗以劝进”，张宪“涕泣拒之。”在这种情况下乱兵杀李存霸，张宪也被杀。