潘岳在河阳县还有件重要的事情，认识了寒士公孙宏。公孙宏是谯郡人，因贫穷孤苦，到河阳给人种地。他有音乐和文学才能，潘岳很赏识，诚心帮助、提携他。后来公孙宏投靠楚王司马玮，成为昙花一现的政治明星，并在一次党争中救了潘岳的命，但潘岳还是死在他在琅琊得罪的孙秀手中。

　　潘岳在河阳县干了四年，没有调回朝廷，又转为怀县令，一干又是四年，这么漫长的等待，出乎他当初的意料，他写下了《在怀县作》诗二首，表达了独处小县的寂寞，表示出对京师的依恋。虽然他说要谨守职分，但他在怀县任上，还是做出了一些成绩。当时客栈管理存在不少问题，人们以“逆旅”的设置是“逐末废农”，造成藏污纳垢、“败乱法度”的后果，认为应当废除。潘岳上书发表自己的看法，指出“逆旅”的设置有利于商贾往来，主张加以整顿，而非全盘否决。潘岳的思想与传统的“重农轻商”思想有所不同，应该讲，其眼光有独特之处。

　　潘岳的努力没有白费，他终于被调回朝廷，任尚书度支郎，后迁为廷尉评。

　　潘岳身上的名士习气似乎不多。当时官场上官分清浊，所说的“清官”，是指那些位高权重又很少日常杂务的官，还有官位不高但尊贵并易升迁的官；“浊官”是日常事务多的官。高级世族垄断了“清官”名额，贵族名士即使做了“浊官”，也以不喜欢或不亲自处理日常公务相标榜。潘岳大部分时间做的都是“浊官”。县令也是比较忙的“浊官”，这次调回朝廷，做的度支郎是财政官，廷尉评是司法官，都是事务官。

　　任度支郎时，中央工程部挖地基挖出了一把古尺，尚书郎挚虞上奏，现行的尺度比古尺长，应以古尺为准。潘岳和挚虞辩驳，说以为现行尺度习用已久，不宜再改，挚虞未免迂腐。潘岳的意见是更切合实际的。

　　可别小看了潘岳的这点作为，西晋的士人群体，为求保全自己“在行为上是不婴世务，在职而不尽责”。正像柏杨在《中国人史纲》中所说的：“所有行政官员以不过问行政实务为荣，地方官员以不过问人民疾苦为荣，法官以不过问诉讼为荣，将领以不过问军事为荣，结果引起全国性空前的腐烂。”包括竹林七贤入晋者，也多有这种心态。向秀入晋后，“在官不任职”，不干活。阮咸也是天天只知道和亲友弦歌酣宴，比较起来，潘岳还是踏踏实实做了一些实际工作。

　　再说潘岳的族侄潘尼，也是位自全心态的典型人物。潘岳与潘尼，虽是叔侄，但“义同诸父，好同朋友”，而且，俱以文章名世，官场之上，两人表现迥异。诸王争权，朝廷风云变幻，潘尼位居显要，既不赞成什么，也不反对什么，既不树立什么，也不废除什么，“从容而已”。罗宗强教授说，他的“从容和忧虞不及”，不过是在职而不尽责，于国之安危毫不系念的一种婉转说法而已。潘尼有一篇《安身论》，开头便是“盖崇德莫大乎安身”，说安身自保是士人首要大事。

　　明末清流张溥在研究了潘岳和潘尼的生平和创作后，对二人生前命运和身后声名的巨大反差深感不平，感叹万分地发议论说：存没异路，荣辱天壤。逃死须臾之间，垂声三王之际。至今诵《闲居》者，笑黄门之乾没，读《安身》者，重太常之居正。人物短长，亦悬祸福，泉下嘿嘿，乌谁雌雄？即有不平，更能收召魂魄、抗眉而争列哉！(盛夏)