狱警回忆：秦城监狱里只有这个高官最难管
不久，“饶、潘、扬反革命集团”的其他主犯相继入狱。
何殿奎记得，潘汉年的编号是64，袁殊65，扬帆66，饶漱石最特殊，0105，全监狱独一无二。他至今不解其奥妙。
谈起对潘汉年这位情报界传奇人物的印象，何殿奎说他个子不高，胖胖的，不爱说话，“很稳重的一个人”，从来看不出他情绪上的变化。他生活很有规律，晚饭后会在床上闭目打坐一个小时。刚看到这奇景，哨兵以为他死掉了，还曾跑去报告何殿奎。潘汉年在狱中写过一篇小说，写一个拉洋车的人，可惜后来找不到了。
1963到1964年，204监区的犯人陆续释放。潘汉年就安置在秦城监狱的家属区，生活仍然由何殿奎照顾。那段时间，他生活比较愉快，常去南边的水库钓鱼，去附近的小汤山镇散步，和何殿奎也有说有笑。但这样的日子随着文革的到来彻底结束了。
“我早就知道秦城有个何殿奎”
文革开始后不久，扬帆、饶漱石、潘汉年等再次入狱。
潘汉年等回到的秦城，已经不是文革前的那个秦城。“旧公检法”的那套管理制度，被造反派称为“修正主义”“和犯人同流合污”，全部取消。1967年11月，秦城被军管。原来的监管干部全部下放到“五七干校”劳动。
