1075年王安石复相，吕惠卿被贬。废除了以田募役法和首实法。
这一年，苏轼在密州灭匪患，兴水利，办乡学。
契丹人在边境屯兵滋扰，有进犯之意。神宗派了韩维前往契丹割地求和。
苏轼知道后，十分气愤，却也无计可施。只能和刘将军狩猎时，以密州为边关，以虎狼为胡虏。也是此次做出了“老夫聊发少年狂”的诗作。
吕惠卿把王安石之前写给他的信札，上交给了神宗。王安石在信中告知吕惠卿，此事无使上知。
神宗看到后，对王安石产生了不信任。王安石自请免去首相之职。
1076年，王安石儿子王雱病故。王安石心灰意冷，再次辞去相职。神宗任命王珪为首相。
又到了中秋节，真的是每逢佳节倍思亲。好几年没见迨儿了。苏父苏母也肯定老了很多，苏轼苏辙都没能在身边。
苏轼也是有感而发，一边舞剑，一边做作诗，“明月几时有，把酒问青天……”
密州三年期满后，神宗任命苏轼为徐州太守。去徐州上任，要途经汴京。他们终于可以回家看看了。
中途还遇上了苏辙，他从济南转官回汴京，特地等着他们一同前行。
来到汴京，看守城门的人，知道是苏轼后，不让他们进入内城。
徐州乃天下兵家必争之要地。王珪等人看出神宗有重用苏轼之意。害怕圣上召见苏轼后，留他在朝廷担任要职。所以才会发生刚才的事。
看到这种情况，苏轼想带着他们绕路从北门进入。绕路时，畅然嘱咐道：“一会如果看守城门的人再询问，就由辙弟你来回答。夫君你也不想见不到父亲母亲，还有迨儿吧。”