1931年“九一八”事变后，冯玉祥将军积极呼吁抗日，反对蒋介石的不抵抗主义，遭到蒋的排挤。1932年3月，冯便和夫人李德全隐居在泰山普照寺。这年夏天，杨伯峻在北大毕业后原在天津南开中学教书，不久经同学张百川（勃川）介绍，为支持冯玉祥将军抗日，他到泰山参加冯玉祥的研究室工作。他以黎锦熙的《国语文法》和陈望道的《修辞学发凡》为基本教材，同时，选择一些当代著名作家的短篇小说和散文作为范文讲解，很受冯玉祥将军夫妇的赞赏。

在这期间，他对汉语语法作了较为系统的研究。为后来撰写《中国文法语文通解》作了准备。研究室主任是宋斐如，成员中有赖亚力、李紫翔、张百川、邹静陶、吴组湘和王倬如等，有的是在北大时的先后同学，有的是在研究室认识的，他们中有讲解政治和经济的，有讲解文学的，后来都成了很好的朋友。

冯在前线指挥作战时，杨伯峻和赖亚力留在济南办《抗战早报》，积极宣传抗日。读者对象主要是第六战区的官兵，由于文字通俗，内容生动，又宣传抗日，所以很受欢迎。9月中，八路军在平型关首战告捷，歼敌2000余人，击毁和缴获大批汽车等武器装备，粉碎了“日军不可战胜”的神话。《抗战早报》以独家新闻作了详尽报道。但事后发现这一天的报纸竟被韩复榘下令扣留，没有送到前方去。不久，由于蒋介石疑忌，冯又被免去第六战区司令长官职务。

冯被免职后，杨伯峻等也都随冯回到南京。南京沦陷，又撤退到了武汉。这时，陈独秀被国民党监禁了五年后释放出狱，住在武汉。有次冯要杨伯峻以个人身份去看望他，询问对时局的看法。陈独秀知道他是杨树达的侄子，而自己又正和杨树达有书信往来，见面后，陈独秀对杨伯峻提出的问题撇开不谈，却大谈其古文字学，杨伯峻不得要领而返。

武汉沦陷前夕，杨伯峻又随冯撤退到长沙和衡阳，接着又撤到桂林，最后定居重庆。杨伯峻看到冯对国事也无能为力，大部分时间消磨于读书、写字、吟诗、作画之中。他觉得自己在重庆无所作为，1940年5月又回到长沙，先后在醴陵湘东中学、醴陵县立师范任教。后又以战火蔓延到江西吉安十三中教书。抗日战争胜利后，一度在湖南从事民主运动。

1948年，杨树达应中山大学之聘，到广州中山大学任教，要伯峻同去，担任中文系讲师。杨伯峻从此走上了大学讲坛。这时，他已经和党的地下组织取得了联系，并且重新入了党。当时已临近全国解放，党组织派他回长沙协助筹建民盟省委。长沙和平解放后，杨伯峻先后担任过民盟湖南省委委员兼宣传部部长、《民主报》社社长、湖南省政协委员和秘书处长、中共湖南省委统战部办公室主任等职。1953年，杨伯峻向党组织提出申请，希望有机会让他继续从事学术研究，党组织批准了他的请求，调他到母校北京大学中文系担任副教授。

杨伯峻青年时代在北大读书时，曾撰著《列子集释》，从语言学角度论证今本《列子》8篇，并非《汉书·艺文志》所记载的刘向、刘歆父子校读的原文，而是晋人所伪作。他的见解在《列子集释》出版以后，得到国内外学者的重视。所著《中国文法语文通解》，原意是打算以音韵为纲，叙述汉语虚字演变的历史，所论述的虚词大多和读音的演变有关。他当时在中学教书，限于种种条件，只是在每章虚词之后，以读音的变化为线索，列举了古今不同字形的虚词。

到北大任教以后，应老友邹静陶之约，他又写了一部《文言语法》，1955年1月在北京大众出版社出版。这部著作增加了语法的部分，较《中国文法语文通解》要全面得多。日本学者波多野太郎博士和香阪顺一教授得到北大马寅初校长的支持，将它译成了日文出版，杨伯峻应约为日译本写了序言。

杨伯峻从来是抱着严肃的态度对待自己所从事的工作，对《论语》的研究也已有长期的酝酿和准备，资料积累工作进行了多年。他先写了《论语词典》，然后在1955至1956年两年间，除了课堂教学，他集中了全部的时间和精力，最后终于完成了这部著作。那时北大对高级知识分子的科研工作很重视，给以多方面的关心和支持，这也是这部著作所以能够完成的十分重要的客观条件。

但是这样的日子并不长，在《论语译注》向中华书局交稿不久，杨伯峻却在“反右派运动”中遭了殃。这时他一面接受批判，一面照常讲授古代汉语，耐心地引导同学们学习。不久被临时安排教历史系的古代汉语和《史记》。历史系的同学们很喜欢听他的课，用心记笔记，很多同学也没有把他看作右派，而认为他是一位真正有学问的教授和学者。1957年暑假后，他被调到了兰州大学中文系。

杨伯峻并不因遭劫难而停笔。到了兰州以后，中华书局在1958年6月出版了他的《论语译注》，他又继续从事《论语译注》的姊妹篇《孟子译注》的撰述。

1959年初，国务院科学规划委员会建立了古籍整理出版规划小组，由齐燕铭任组长，开始对全国的古籍整理出版工作进行通盘考虑和全面规划。出于工作上的需要，指定中华书局为它的办事机构。中华书局的总经理兼总编辑金灿然被聘任为规划小组成员兼办公室主任。中华书局的出版专业也重新作了调整，决定以整理出版古籍和当代学者的文史研究著作为主要任务。

为此，中华书局向全国有关高等学校和科研机构借调了一批专家，参加一些重点古籍的整理工作。杨伯峻在兰大任教不久，又调到甘肃师范大学，在兰州前后将及三年，于1960年10月调到了中华书局担任编辑，加入了整理出版古籍的专业队伍。

杨伯峻到了中华书局后，开始搞《春秋左传注》。由于他早年批校过近人吴士鉴的《晋书斠注》，对《晋书》下过一番功夫。后来中华书局在整理校点二十四史中的《晋书》时，他曾经作出了重要贡献。

1961年5月，经胡愈之倡议，并得到中共中央宣传部支持，文化部出版局组织人民出版社、世界知识出版社、人民文学出版社、商务印书馆、中华书局和科普出版社6家出版社联合编印一套中级读物——《知识丛书》。中华书局承担了一部分语言文字、古典文学和中国历史方面的选题，其中《文言虚词》和《文言文法》是请杨伯峻撰写的。这是两部较通俗的读物。《文言虚词》后又经过修订，改写成《古汉语虚词》，1981年2月由中华书局出版。在五十年代，他还搜集了杨树达的读书札记，编为《积微居读书记》，1962年9月由中华书局出版。