吕乂的父亲吕常，送原先的益州牧刘焉进入蜀郡。因官道堵塞，遂不能返回中原。

吕乂自幼失去父亲，喜好读书弹琴。当初，刘备平定益州，设置盐府校尉一职，管理盐铁的财政收益。校尉南阳人王连请吕乂与南阳人杜祺、南乡人刘干等共为典曹都尉。吕乂后被升任为新都、绵竹县县令。心地善良，体恤百姓，百姓无不称颂，在本州各县城中首屈一指。又升任巴西太守。

丞相诸葛亮连年出兵，征调各郡兵员、钱粮，不少地方都不能及时如数送交，吕乂召募士兵五千人交给诸葛亮，他对这些人进行慰问讲明道理并加以监督制约，这些人竟没有一人逃走。吕乂被转任为汉中太守，兼任督农，负责供应军需粮草。

诸葛亮去世后，吕乂累次升任为广汉、蜀郡太守。蜀郡为京都所在地，户口众多，又逢诸葛亮死后，士兵开小差的很多，又有人冒领这些人空额的军饷，各地奸巧纷纷出现。吕乂到任后，进行防范禁止，他对士兵们开导劝谕，几年之间，那些脱漏军籍而自愿出来的人有一万多。