初任奉禮郎、大理評事一類小官，後經樞密副使龐籍的推薦，入京為館閣校勘，同知禮院，至和元年（1054），隨龐籍到了并州（今山西）為官，改并州通判。
從嘉二年（1057）龐籍因事獲罪，司馬光引咎離開并州。宋仁宗末年任天章閣待制兼侍講同知諫院。嘉佑六年（1061）遷起居舍人同知諫院。
司馬光立志編撰《通鑒》，作為統治者的借鑒。治平三年（1066）撰成戰國迄秦的《通鑒》八卷上進宋英宗，英宗命設局續修，並供給費用，增補人員。
宋神宗以其書有鑒於往事，以資於治道，賜書名《資治通鑒》，並親為之序。王安石在宋神宗的支持下行新政，他竭力反對，與安石在帝前爭論，強調祖宗之法不可變。
神宗命他為樞密副使，堅辭不就。熙寧三年（1070），自請離京，以端明殿學士知永興軍（現陝西省西安市），次年退居洛陽，任西京留守禦史臺，以書局自隨，繼續編撰《通鑒》，至元豐七年（1084）成成後，司馬光官升為資政殿學士。
元豐八年（1085）宋哲宗即位，高太皇太后聽政，召他入京主國政，次年任尚書左僕she、兼門下侍郎，數月間罷黜新黨，盡廢新法，史稱元祐更化。
元祐元年九月，司馬光執政一年半，即與世長辭，享壽68歲，京師人為之罷市往吊，鬻衣以致奠，巷哭以過車者。蓋以千萬數，靈柩送往夏縣時，民哭公甚哀，如哭其私親。四方來會葬者蓋數萬人家家掛象，飯食必祝。宋哲宗將之葬於高陵。
死後追贈太師、溫國公，諡正，賜碑忠清粹德。
遺著有《潛虛》、《均韻指掌》、《類編》、《傳家集》、《翰林詩草》、《注古學經》、《易說》、《注太玄經》、《注揚子》、《書儀》、《遊山行記》、《續詩治》、《醫問》、《涑水紀聞》、《通鑑目錄》、《通鑑考異》、《通鑑舉要歷》、《稽古錄》（《歷年圖》、《歷代君臣事跡》和《百官公卿表》）、《切韻指掌圖》、《司馬正公集》等等37種。
司馬光在政治上是標準的守舊派，他幾度上書反對王安石變法。他認為刑法新建的國家使用輕典，混亂的國家使用重典。這是世輕世重，不是改變法律。
所謂治天下譬如居室，敝則修之，非大壞不更造也。司馬光與王安石，就竭誠為國來說。二人是一致的，但在具體措施上，各有偏向。
王安石主要是圍繞著當時財政、軍事上存在的問題，通過大刀闊斧的經濟、軍事改革措施來解決燃眉之急。
司馬光則認為在守成時期，應偏重於通過倫理綱常的整頓，來把人們的思想束縛在原有制度之內，即使改革。也定要穩妥，因為大壞而更改，非得良匠美材不成，今二者皆無。臣恐風雨之不庇也。
王安石新法大都切中實弊，反對新法的人，面對實際的政治問題，通常並無任何卓見。他們反對的理由包括新法擾民及祖宗之法不可廢，卻又提不出什麼更好的改革方法。
例如司馬光批評王安石變法的理由之一是南人不可當政。他上奏宋神宗曰：閩人狹險，楚人輕易，今二相皆閩人，二參政皆楚人，必將援引鄉黨之士，充塞朝廷，風俗何以更得淳厚？
宋神宗熙寧年間，司馬光強烈反對王安石變法，上疏請求外任。熙寧四年（1071），他判西京御史台，自此居洛陽十五年，不問政事。這段悠遊的歲月司馬光主持編撰了294卷300萬字的編年體史書《資治通鑒》。
《資治通鑒》上起周威烈王二十三年（前403），下迄五代後周世宗顯德六年（959），共記載了16個朝代1362年的歷史，歷經19年編輯完成。
他在《進資治通鑒表》中說：臣今筋骨癯瘁，目視昏近，齒牙無幾，神識衰耗，目前所謂，旋踵而忘。臣之精力，盡於此書。司馬光為此書付出畢生精力，成書不到2年，他便積勞而逝。
《資治通鑒》從發凡起例至刪削定稿，司馬光都親自動筆，不假他人之手。清代學者王鳴盛說：此天地間必不可無之書，亦學者必不可不讀之書。
不得謾語─
司馬光一生誠信，應該也是受父親的誠實教育的影響，大概在五、六歲時，有一次，他要給胡桃去皮，他不會做，姊姊想幫他，也去不掉，姊姊就先行離開了，後來一位婢女用熱湯替他順利將胡核去皮，等姐姐回來，便問：誰幫你做的？他欺騙姊姊是自己做的。
父親便訓斥他：小子怎敢說謊。司馬光從此不敢說謊，年長之後，還把這件事，寫到紙上，策勵自己，一直到死，沒有說過謊言。邵雍的兒子邵伯溫還看過這張紙。清人陳宏謀說：司馬光一生以至誠為主，以不欺為。後人對司馬光蓋棺論定之語，也是一個誠字。
破甕救友─
有一次，司馬光跟小夥伴們在後院裡玩耍。院子裡有一口大水缸，有個小孩爬到缸沿上玩，一不小心，掉到水缸裡。缸大水深，要沒頂了。別的孩子們一見出了事，嚇得邊哭邊喊，跑到外面向大人求救。
司馬光卻急中生智，從地上撿起一塊大石頭，使勁向水缸砸去，砰!水缸破了，缸裡的水流了出來，被淹在水裡的小孩也得救了。
小小的司馬光遇事沉著冷靜，從小就是一副小大人模樣。這件偶然的事件使小司馬光出了名，東京和洛陽有人把這件事畫成圖畫，被人們廣泛流傳。
誠信賣馬─
司馬光要賣一匹馬，這匹馬毛se純正漂亮，高大有力，性情溫順，只可惜夏季有肺病。司馬光對管家說：這匹馬夏季有肺病，這一定要告訴給買主聽。管家笑了笑說：哪有人像你這樣的呀？我們賣馬怎能把人家看不出的毛病說出來！
司馬光可不認同管家這種看法，對他說：一匹馬多少錢事小，對人不講真話，壞了做人的名聲事大。我們做人必須得要誠信，要是我們失去了誠信，損失將更大。管家聽後慚愧極了。
低調淡泊─
司馬光性情淡泊不喜奢華，他在《訓儉示康》中曾提到小時後長輩會給他穿華美的衣服，他總是害羞臉紅而把它脫下。
寶元年間中舉時，曾得到仁宗皇帝的接見。酒席宴會上，每人都在頭上插滿鮮花，肆無忌憚地嬉戲取樂，唯獨司馬光正襟危坐，也不戴花。同事提醒說：戴花乃皇上之令也！司馬光才不太情願地戴了一朵小花。
司馬光有一個老僕，一直稱呼他為君實秀才。一次，蘇軾來到司馬光府邸，聽到僕人的稱呼，不禁好笑，戲謔曰：你家主人不是秀才，已經是宰相亦，大家都稱為君實相公！老僕大吃一驚，以後見了司馬光，都畢恭畢敬地尊稱君實相公，並高興地說：幸得大蘇學士教導我司馬光跌足長嘆：我家這個老僕，活活被子瞻教壞了。