在宣判大會結束之後，父親他們一行被押送到開封市拘留所，與一百來個小偷、流氓等刑事犯一同關押了幾天。之後，父親被武裝押運到一個農場，分配到河南省杞縣縣城東約十幾里的一個叫曹屯的村子，和刑事犯一起勞動改造。
父親最初服刑的農場原本是關押刑事勞改犯的。別小看這些刑事勞改犯，當時都有統一的灰色制服，到了冬天每人還一副風鏡、一副護耳、一條圍巾、一頂棉帽。看文藝演出時，這些戴風鏡、扎圍巾的勞改犯都排成整齊的隊伍，喊著「一二一」的口號入場，比起附近農村衣衫襤褸的農民來，這些勞改犯真算養尊處優了。所以，當地農民有句順口溜：「要想跩，當勞改」（注「跩」是河南方言，意思是神氣）。
一九五七年「反右」以後，這個農場漸漸變成了關押犯政治錯誤的機關幹部、右派的地方，其他刑事勞改犯都分批轉移了。來這裡的大都是「右派」、「壞分子」，大家觀點相近且同命相憐，因此氣氛反而比外面寬鬆一些。根據政策，類似父親這樣的「犯人」不穿勞改服、不沒收個人財物。當地的老百姓看到穿灰色勞改服的刑事犯中混雜著這些穿皮鞋中山裝（甚至還有西服）、戴眼鏡手錶的「勞改犯」，都覺得很稀罕，於是稱呼他們叫「洋勞改」。在我父親進勞改營的頭一年多時間裡，由於刑事犯還沒有轉移完畢，有警察看管；一九五八年底，刑事犯轉移完畢之後看守就取消了，並且還有一定的人身自由。
父親的第一任妻子是一名幹部，人長得並不好看，眼睛特別近視。但新婚的父親非常愛她，特別是在自己身處逆境時更希望得到她的鼓勵和。剛到勞改農場時，父親還每日巴望著能夠收到她的來信。在父親服刑後她又等了兩年時間，但終究還是抵擋不住其家庭和社會的壓力，於一九五九年的一天給父親送來了一紙離婚通知書。我父親當時早已萬念俱灰，沒有爭辯一句就在離婚通知書上簽了字。後來又得到消息，她改嫁給了當時最為吃香的地質隊員。雖然父親的第一位妻子在父親最需要幫助的時候離他而去，但令我奇怪的是父親這幾十年從來沒有在背後說過她一句壞話；偶爾提起這段經歷，也只是說那是形勢所迫，怨不得她。
剛到勞改農場的最初兩年裡，我父親受到政治和家庭的雙重打擊，情緒一度相當沮喪，內心還對自己遭受的不公待遇憤憤不平。但時間長了，轉身看看周圍犯人的身份，不是前縣長、前縣委書記、前組織部長，就是前大學教授、歸國華僑之類的人物。於是他心想：連幾十年的老革命都不能倖免，自己這點事、這「身份」又算得了什麼呢？這麼一對比，父親的心情反而寬慰了許多。刑事犯轉移後看管得鬆了，獲得一些自由以後，我父親還被吸收參加勞改農場的豫劇團，在裡面拉二胡，經常深入到農村、廠礦去演出，人們都還以禮相待。
即便是身在勞改營裡，他們這些「洋勞改」還是被當作幹部來看待。假如哪個「洋勞改」在裡面犯了錯誤，管教幹部找他們談心時都是這樣批評教育他們：「你作為一名幹部，怎麼能這樣做呢？將來回去了，這樣也是要犯錯誤的。」正因為如此，很多「洋勞改」還滿懷希望，總是認為自己是被「誤會」了，別人才是真「右派」。因此，也就出現了一些「一貫進步」的人，經常像老馬列一樣對別人的錯誤認識進行批判；還向管教幹部打小報告，匯報別人的言行和思想動態。特別是一些政治方向沒錯，在生活作風問題上栽了跟頭的人更是如此。
前某地委組織部的陳部長就是這種「一貫進步」的人。陳部長三十多歲，英俊倜儻，文化程度也高，原本也算春風得意。當時，有一位在機關裡工作的女幹部，是上級老領導進城後新找的老婆，也是年輕漂亮有文化，跟那個年長自己二、三十歲的老男人自然沒有共同語言。這位女幹部想入黨，就經常跟陳部長談心。乾柴遇到烈火，陳部長幫助人家進步，結果自己沒把握好，幫著幫著就幫到床上去了，東窗事後栽了大跟頭，當上了「洋勞改」。陳部長進了勞改營以後，對自己以前一時衝動懊悔不已，改造特別積極，每天找管教幹部匯報思想，一貫說進步話，辦進步事。
有一次一位華僑收到了家中寄來的包裹，裡面有香煙、點心，還有匯款單。那華僑很高興，就把香煙和點心分給大家。正在大家嘻嘻哈哈地分享食品和香煙時，陳部長進來了，見狀一臉嚴肅地教育大家道：「你們怎麼能夠這樣呢？嘻嘻哈哈地一點也不成體統，有時間開玩笑，卻不主動政治學習，這樣怎麼能夠改正錯誤、重新做人呢？」接著又教育那華僑：「我早就注意到你，一直不肯放棄腐朽的資產階級生活方式，不肯認真地進行改造，這是一種非常危險的傾向，我勸你要懸崖勒馬啊！」陳部長這一番進步話，弄得大家頓時倒了胃口，誰也不出聲了。我父親對陳部長這個人早就看在眼裡、煩在心上，於是忍不住從床上翻身起來對他說：「你以為你是誰呀？還是組織部長？你得明白你跟我們一樣，都是『洋勞改』！」正在像大領導那樣訓話的陳部長做夢都沒想到，自己竟會遭到這個平時不言不語的小伙子的這番奚落，頓時愣在那裡了。