汉武帝天汉二年（前99），他的同僚李陵出征匈奴时被围，在矢尽粮绝的情况下投降匈奴。消息传到长安，武帝大怒。朝廷的文武百官，都大骂李陵投降可耻。司马迁不作声。武帝问他有什么意见，书生气十足的司马迁百言不讳地说：「李陵转战千里，矢尽道穷，古代名将也不过如此。
他虽投降，尚属情有可原。臣以为只要他不死，他还是会效忠汉朝的。」盛怒中的汉武帝听了司马迁这番话，认为他是为李陵辩解，是在故意贬低当时正在打匈奴而又很不顺利的李广利，于是命令把司马迁判为死罪（或以腐刑代替）。汉武帝时代，判了死罪的可以出钱五十万减死一等。但家境并不富裕的司马迁拿不出这一笔钱，只能受「腐刑」（宫刑）来选择「偷生」这条路。不幸的遭遇，使司马迁精神受到极大刺激，曾一度想自杀，但他想起了父亲的遗言，又以古人孔子、屈原、左丘明、孙子、韩非等在逆境中发愤有为鼓励自己，终于以惊人的意志忍辱负重地活了下来。
身心备受摧残、忍辱含垢生活的司马迁深知，「人固有一死，死有重于泰山，或轻于鸿毛」。他决心以残烛之年，完成父亲要他完成的史书。经过六年的囚禁生活，征和元年（前93）终于出狱。武帝对司马迁的才能还是爱惜的，任命他为中书令。从此他埋首奋发著述，终于完成了「究天人之际，通古今之变，成中家之言」的巨著──《史记》。
《史记》，原名《太史公书》，又称《太史公记》、《太史记》，至东汉末年才百称为《史记》。司马迁意在使其「藏之名山，副在京师，俟后世圣人君子」。汉宣帝时，司马迁外孙杨恽把它公之于世。其时已有少量缺篇，为后人褚少孙等补足。《史记》是中国史学上第一部纪传体通史，开创了纪传体通史的恢宏先河。
《史记》有本纪十二，列传七十，此外还有世家三十、表十、书八，共一百三十篇，五十二万五千六百字，记载了从黄帝至汉武帝约三千年间史事。「本纪」是全书的总纲，以编年为体，记载历代帝王的世系，年代久远的以朝代为主，年代稍近的以帝王或实际当权者为主。「本纪」实质上是全国编年大事记，起提纲挚领的作用。
「世家」亦以编年为体，记述王侯封国、开国功臣和有特殊地位、特殊影响的人物。其事或许并非牵涉全国，然于某一封国或全国社会生活的某一方面有巨大影响，多数可视为「国别史」，诸如「晋世家」、「楚世家」、「孔子世家」、 「陈涉世家」等。「列传」所占篇幅最多，可分两大类：一类是人物传记，有一人一传的专传，有两人或数人的合传，按人物性质排列立传。所记人物范围极广，涉及贵族、官僚、政治家、经济家、军事家、哲学家、文学家、经学家、策士、隐士、说客、刺客、游侠、医士、占卜者、俳优等社会各个阶层。另一类是对外国或国内少数民族的记载，涉及中外关系史和国内民族关系史。前一类列传有「伯夷列传」，「孙子吴起列传」、「刺客列传」、「儒林列传」等；后一类有「匈奴列传」、「南越列传」、「西南夷列传」、「朝鲜列传」等。
「列传」对「本纪」起了充实和具体化的作用。「表」，以谱列帝王、诸侯、贵族、将相大臣的世系、爵位和简要政绩，以年代远近、史事繁简而别为世表、年表、月表。今人观之，也可分为大事表和人物表两类，诸如「三代世表」、「十二诸侯年表」、「高祖功臣侯者年表」、「汉兴以来将相名臣年表」等。
「表」的作用是形象、直观，便于观览，可补「本纪」、「世家」、「列传」之不足，又可省去不少文字，使记载免于繁冗。「书」，分门别类记述历代历法、礼乐、封禅、水利、经济等典章制度，反映了社会生活的各个方面，是《史记》很重要的部分，诸如「礼书」、「乐书」、「历书」、「河渠书」、「平准书」等等。其中尤以「平准书」最为精彩，记社会经济状况，特别是汉朝经济政策的演变，开后代正史「食货志」之先河。历来人们称《史记》是纪传体史书，强调本纪和列传的重要性。其实，作为全书的组成部分，表、书、世家都有纪、传不能代替的独立的价值，严格地说，它应是纪传志书体，是一种综合体史书。司马迁在《史记》里不仅记载了大量史实，并且要「考其行事，综其始终，稽其成败兴坏之纪」，来「究天人之际，通古今之变，成一家之言」。
他要从错综复杂的历史事实中探索出一些道理，提出自己的看法来。因此，他不只是一个史事的整理者，而且是一个伟大的思想家。「究天人之际，通古今之变」，即探究天人关系、疏通古今变化的主旨，集中反映了司马迁历史哲学的精髓。「究天人之际」，司马迁首先强调天人相分，即认为天道与人事是不相干的。在《伯夷列传》里，他以伯夷、叔齐和颜渊为例，对「天道无亲，常与善人」的说法进行批评，说「天之施善人，其何如哉？」到了近世，那些品行不好，专犯忌讳的人，却「终身逸乐，富厚累世不绝」；反之，公正发愤的人，常「遇灾祸者，不可胜数也」。
由此，他深沉地写道：「余甚惑焉，倘所谓天道，是邪非邪？」他对项羽英雄一世但从不自察，临死之前还一再说「此天之亡我，非战之罪也」，持严肃批判的态度，说是「岂不谬哉！」他对汉武帝大肆挥霍搞封禅祭祀、祈求神仙的活动，予以深刻的揭露，认为这种活动毒害了社会风气，「然其效可睹矣」，予以强烈的讽刺。而在写到人的活动时，刻意写出人事在历史发展中的重要作用。他在《太史公自序》里说，三十世家，是要写出「辅拂股肱之臣」的「忠信行道，以奉主上」；七十列传，是要写出那些「扶义俶傥，不令己失时，立功名于天下」的人们的活动。
这在中国史学发展上，第一次把人的活动放到如此重要的历史位置上来看待。他还把人的活动与国家兴亡联系起来，认为：「君子用而小人退」，这是「国之将兴」的征兆；而「贤人隐，乱臣贵」则是「国之将亡」的迹象。进而指出：「其矣，『安危在出令，存亡在所任』，诚哉是言哉！」（《楚元王世家》）后论一他还寓意很深地指出：要使国家强盛太平， 「唯在择任将相哉！唯在择任将相哉！」（《匈奴列传》后论）「通古今之变」，包含了司马迁历史哲学的丰富内容。首先，他对历史演进的过程提出了比较完整的看法，这从《太史公自序》中的《五帝本纪》至《高祖本纪》的序目、《三代世表》至《秦楚之际月表》的序目申可略见其大概。五帝、三代因历史太久远，无法「论次其年月」。
《三代世表》至《十二诸侯年表》，年代是「自共和迄孔子」，是「诸侯专政」、「五霸更盛衰」。接下去是《六国年表》，起周元王（前475）、迄秦二世（前207），历史特点是「陪臣执政」，「海内争于战功」，「务在强兵并敌，谋诈用而纵横短长之说起」。《秦楚之际月表》起秦二世元年（前209）七月，至高祖五年（前202）九月，首尾八年。对这段历史，司马迁写道：「初作难，发于陈涉；虐戾灭秦，自项氏；拨乱诛暴，平定海内，卒践帝祚，成于汉家」。这四表不仅首尾相衔，贯穿古今，且勾勒出了各个历史时代的特点，反映出司马迁对于历史进程的卓越见解。
其次，在叙述历史变化过程中还阐扬他的历史进化观。他的这种见解，在「八书」中贯彻得尤为突出。第三，提出了「物盛则衰，时极而转」的历史命题。《太史公自序》在讲到撰述「本纪」时，提出对于历代帝王业绩要「原始察终，见盛观衰」，即推究其何以始，详察其何以终；于其极盛时要看到它日渐衰落的迹象。在司马迁的历史哲学中，历史总在变化：要么由盛变衰，要么由衰转盛。他就是用这样的历史哲学去观察历史，「考之行事，稽其成败兴坏之理」。
除《史记》外，司马迁还作赋八篇，均已散伕，唯《艺文类聚》卷三十引有《悲士不遇赋》片段。他的《报任安（少卿）书》，是一篇著名的论说散文。文中叙述了他因李陵事件而受宫刑的过程；抒发了忠而见疑、无辜受刑的悲愤，暴露了汉武帝的专横残忍及当时的酷吏政治；最后，表达了自已发愤著书、创作《史记》的决心。司马迁的学术思想，在中国古代思想文化史上占有重要突出的地位。《史记》被鲁迅誉为「史家之绝唱，无韵之离骚」，是当之无愧的。
