在祖父從高等警官專科學校畢業時，恰逢一九二二年直奉戰爭以後，馮玉祥出任河南督軍。馮在河南時頒布了《治豫大綱》，實行了一些進步措施，如：懲辦貪官，提倡節儉，改良社會風尚，禁絕封建陋習，興辦學校等等。初期，這些措施為河南百姓所稱道，也吸引了祖父的注意。經過一段時間的觀察，祖父認為馮玉祥是一個可以救民於水火的革命軍人，對馮玉祥產生了敬仰之心，於是從學校一畢業就投奔到馮玉祥的麾下。
馮玉祥手下多為赳赳武夫，文官很少。祖父雖為警官學校畢業，但深受傳統文化熏陶，舉手投足，依舊保持舊式讀書人談吐儒雅的風範。同時，祖父文化功底厚實，文章如行雲流水，字跡也頗顯功力，很得馮玉祥的器重。祖父這人有些政治抱負，點評時局也有獨到之處，在投奔馮玉祥時，只與馮玉祥深談了一個晚上，第二天便被委以重任，並且很快就躍升為馮玉祥的幕僚之一。一九二六年九月十六日，馮玉祥在五原誓師加入國民軍，被推舉為國民聯軍總司令。幾經征討，於一九二七年六月與武漢國民政府北伐軍會師於鄭州。鄭州會師之後馮玉祥掌握了豫、陝、甘三省黨、政、軍大權，並成立了以馮玉祥為主席的開封政治分會，祖父也隨之邁入國民政府。其間伴隨著馮玉祥的幾次上台與下野，幾經仕宦沉浮。期間先在河南省民政廳任職，執掌河南全省警察大權，後又升任河南省視察委員會主任職務。
大約在此前後，祖父離婚又娶了。祖父的原配夫人姓袁，在生育了兩個女孩之後就不再生育了。按照當時人們的觀點，「不孝有三，無後為大」，因此沒有兒子對於舊時代的人們來說是一件非常對不起祖宗的事情。但是，祖父在跟隨馮玉祥之後，也受到「一夫一妻」的新觀念影響，不想和當時達官貴人那樣討幾房姨太太。因此，儘管與原配夫人感情不錯，但祖父在矛盾的煎熬中只好選擇了離婚。通過媒人介紹，他娶了一名來自豫東的貧苦農民家的女兒，也就是我的祖母。祖母年輕時人長得也不怎麼漂亮，但小祖父二十多歲。祖母過門才一年，就生下了大伯。已過不惑之年的祖父終於有了兒子，頓時如獲至寶，連續擺了好幾天宴席來慶祝。祖父本身就比祖母大二十多歲，現在祖母又生兒子有功，從此非常寵著祖母，使她養成了非常驕橫跋扈的性格。祖父和原配離婚後，仍然養活著她們母女三口；祖父去世後，在祖母的百般阻撓下她們和我們家庭失去了聯繫。
中華民國時代各個省的民政廳與當代的民政廳的概念有很大不同：它囊括人事、民政、監察、治安大權，相當於現在四、五個廳。當時一個河南省政府下只有四廳一部：建設廳、民政廳、教育廳、財政廳，以及一個警備司令部。省政府機關也沒有如今這麼龐大，一個大院就把省政府幾乎所有的部門都裝下了。當時的國民政府官員，也沒有什麼「級別」可言，官員在任上，馬上就有俸祿；一旦免職，馬上就停薪水；不像今天的官員，明明什麼都不管，還要享受個什麼待遇。馮玉祥在河南時我的父親尚未出生，自然沒見過他；我的大伯倒是記得馮玉祥，因為每個週末到省政府機關澡堂洗澡時候，經常能碰到馮玉祥。在民國前期，河南人不是很講衛生，即便是有頭有臉的人物，一個冬天不洗澡也是常有的事情。馮玉祥來了以後大講衛生，在省政府機關開起了澡堂子，號召省政府官員及家屬週末都去洗澡。每個週末，馮玉祥就站在澡堂門口，看到有人來洗澡就招呼：「啊，來了，好，歡迎歡迎！」大伯小時長得虎頭虎腦的，每次跟著祖父去洗澡時，馮玉祥總是要逗他玩一會。
馮玉祥生活簡樸，一向簡衣敝履，和士兵穿得差不多；他還特別討厭穿綾羅綢緞的富人，只要見到就要想辦法羞辱一番。在這種風氣下，馮玉祥手下官員，也大都不敢穿錦衣華服。我見到家裡留的祖父當時的照片，雖然官也不小，但穿著非常簡樸；即使馮玉祥離開河南以後，祖父衣著簡樸的習慣仍舊保留了下來。馮玉祥特別討厭婦女纏足，已經成人的也就算了，經常派兵抓那些纏足少女，一抓到就把女孩的父親也一併抓來，把裹腳布纏在他的耳朵上，由士兵抓著遊街示眾。當時開封大街上，經常有這類事情生。
不過，馮玉祥作為一介武夫，儘管有愛國之心，但執政措施卻有不少不妥之處。三十年代初期，蔣介石提倡「新生活運動」，馮玉祥在河南大力推廣時漸漸變了味道，例如：下命令禁止過春節，只能過元旦。可是老百姓過了幾千年的春節卻不是一紙文件所能禁止的，因此大家都偷著過。於是乎，馮玉祥派出大兵到處站崗監視，看到誰家貼對聯就撕、看到誰家包餃子就踹，就連蒸饅頭多了也要端走，弄得老百姓雞犬不寧。可是小孩子不管這些，總是在沒大兵的地方偷偷放炮。鞭炮一響，馮玉祥的大兵就端著槍急急忙忙地追過去，等一到地方，人早就沒影了。每當過年，開封城裡的零星鞭炮聲就此起彼伏，滿街跑的都是大兵。此外，馮玉祥信基督教，對佛教道教很討厭，在開封時驅趕僧人，砸毀佛像，還把開封的大相國寺改作遊樂場，也惹的老百姓怨聲載道。
馮玉祥在開封期間，祖父主管開封治安。祖父這個人比較敬業，做過一些好事。在祖父執掌警察權力期間，開封的治安狀況是比較好的，這一點從一些民國史料中可以反映出來。為此，祖父從主管警察事務的職位上獲得擢升後，當地一些民眾曾經贈送給他幾把「萬民傘」（注「萬民傘」是舊時百姓對有政績的官員的一種表彰，其狀類似雨傘，但比雨傘大，一般是若干百姓集資購買訂製，再贈予即將離任的官員），以示感激。此外，受馮玉祥的影響，祖父一向比較親近進步人士，從不主動予以迫害，即使馮玉祥下野以後也是這樣。
雖然祖父官位頗高，但他對人卻很隨和，特別是對老百姓沒有一點架子。曾經有一次，祖父帶著隨從從一家門口走過，恰好那家主婦出來潑洗菜水，人在門裡，髒水潑了祖父一身。那婦女嚇壞了，祖父的隨從也立即掏出傢伙，卻被祖父按下了。祖父自己撣了撣身上的菜葉子，一邊嘟囔了一句：「也不看看……」
祖父在省政府任職以後，由於薪水較高（注祖父剛在馮玉祥手下做事時俸祿為每月三百塊大洋，幾個月以後升為三百五十塊大洋；**早期領導人陳獨秀在北京大學任教授時收入也為每月三百塊大洋），很快就在開封城內買了一處小四合院；隨著職務的陞遷，後來又在省政府對門購置了一處比較大的院落。這個院落有前後有兩個四合院，正房是老式的樓房。同時，用積攢來的俸祿，66續續地在確山老家購置了不少田地，總計大約有六百多畝，以備將來告老還鄉時養老。但是，家裡*祖父的薪水就足夠開銷了，因此也沒有把那些地當成回事，全給老家的族人們照看著，自始至終沒有從那些地裡收到過一兩租子。
擔任河南省視察委員會主任職務後，作為主管全省官吏政績考核、監察的官員，祖父自然有不少門生。其實不少人都是跑官、要官來的，到家裡來的時候都自稱「學生」，稱呼祖父為「老師」，家中總是門庭若市。既是跑官要官，那就免不了送禮收禮，父親記憶中祖父有一件全部用狐狸腋下毛皮拼成的裘皮大衣（注成語「集腋成裘」就是這個意思），還有高達二、三尺的珊瑚。
祖父履行職責，主要是在抗戰勝利以前；光復後由於身體原因，主要在家養病；到了國共兩黨決裂之後，就基本不問政事了。因此，祖父並未被牽扯進國共兩黨的恩怨中去，解放後也沒有被清算。