刺馬案久審不能結案，刺客供詞閃爍，主審官員含糊其辭，前後審案官員多達五十餘人，每次奏結均疑點重重，無法自圓其說。所以一時流言紛紛，各種傳聞迭起，飛短流長，更使得案情撲朔迷離。當年袁世凱年僅十五歲，竟然也十分好奇地去向參與會審的嗣父袁保慶（本為袁世凱叔父，袁世凱被過繼給他為子）探詢。
關於刺馬案，民間有多種傳聞，眾說紛紜，莫衷一是。曾國藩回任兩江總督後，竟然也派心腹彭玉麟、趙烈文、吳汝綸等人四下出動，去民間訪得這些傳聞，作為審案的參考。
流傳最廣的傳聞是馬新貽「漁色負友」說。
傳聞說，咸豐年間，張文祥與其友曹二虎、石錦標加入捻軍，張文祥是個頭目。當時馬新貽因合肥縣失守被革去縣令一職。馬新貽急於戴罪立功，率領團練與捻軍交戰。在一次戰鬥中，馬新貽兵敗，被張文祥、曹二虎等人活捉。張文祥和曹二虎有意投降清軍，便主動與馬新貽結為兄弟，隨之反正。降軍被編為兩營，因為馬新貽號谷山，稱為山字營，張文祥為營官。山字營隨馬新貽四處作戰，屢立戰功，馬新貽由此不斷陞官，一路扶搖直上。
這一版的傳聞多有漏洞，年份、事迹無一與馬新貽年譜和《清史》相符。根據《清史》記載，咸豐三年（1853）馬新貽任合肥知縣，隨欽差大臣袁甲三攻打太平軍，多有戰功，並沒有被革職一說。之後馬新貽率軍從太平軍手中奪回廬州有功，還升任廬州知府。馬新貽一生中唯一一次被革職是咸豐八年（1858）任安徽按察使時，在廬州被太平軍英王陳玉成打敗，但也是革職留任，兩年後即重新復官。
傳聞又說，同治四年（1865），馬新貽升到安徽布政使，已有些看不起張文祥、曹二虎的意思了。曹二虎卻不知情，還將妻子接至馬新貽的官府居住。馬新貽見曹二虎之妻美艷，頓起歹心，設法騙奸。張文祥得知後，告訴了曹二虎。正當二人商議該怎麼辦時，馬新貽搶先下手，一邊派曹二虎去壽春鎮領軍火，一邊使人告訴該鎮總兵徐周說曹二虎「通捻」。中軍官拿著令箭當眾逮捕了曹二虎，徐周告知原委後，隨即命人在市集將曹二虎公然斬首示眾。張文祥僥倖逃脫後，發誓為曹二虎報仇。他用精鋼打造了兩把短刀，用毒藥淬過。每天夜深人靜後，疊起三四張牛皮，用短刀去刺，練習刺擊的手勁。起先因為手勁不夠，難以貫穿。之後天天練習，堅持了兩年後，已經可以一刀洞穿五張厚牛皮。張文祥這樣做的用意，是假定馬新貽身穿革甲，也可以一刀致命。自從功夫練成後，張文祥一直暗中跟隨馬新貽，先後到浙江、福建、江寧，最終找到機會殺了他。據說馬新貽看清兇手是張文祥後，說了一聲：「是你啊！」接著便吩咐左右：「不要難為他！」
這種傳聞首尾俱全，枝葉紛披，聽起來煞有介事。令其真實性得到加強的是喬松年的一首詩。喬松年任安徽巡撫時，馬新貽剛好在他手下任安徽布政使。馬新貽遇刺後，喬松年寫詩吟詠，其中有「群公章奏分明在，不及歌場獨寫真」之句，顯然是諷刺馬新貽「漁色」。既然馬新貽當時的頂頭上司都說他「漁色」了，民間當然就更加信以為真了。馬新貽死後不久，他的小妾鄭氏在江寧府後院上吊自殺，這小妾便被說成是曹二虎之妻，更成了馬新貽「漁色負友」的佐證。而張文祥一擊得手，精準地刺中要害，表現出職業殺手的素質，也讓張文祥勤練刺牛皮一說更加繪聲繪影，言之鑿鑿。
其實，同治四年馬新貽已經升任浙江巡撫，人根本不在安徽，他在浙江任上做了許多好事，很得當地老百姓的愛戴，這是眾所周知的事實。馬新貽借壽春鎮總兵之手殺曹二虎一事也不合常理，真要殺人滅口，秘密通知徐周即可，何須將曹二虎當眾處死？而馬新貽一生頗有清名，並非傳聞中那般無恥好色，他死時跟在身邊的兩名小妾金氏、鄭氏均已經年過四十，跟隨他已經超過二十年了，又哪裡來的曹二虎之妻？
而喬松年有意寫詩嘲諷馬新貽的動機也十分可疑。馬新貽升任浙江巡撫後，喬松年調任陝西巡撫。不久，馬新貽升閩浙總督、兩江總督，青雲直上，喬松年卻因病被免職。昔日的下屬飛黃騰達，而自己卻江河日下，喬松年心中很不好受。此人出身富貴之家，自小養尊處優，要風得風，要雨得雨，身上有極濃的紈絝之氣，即使做過巡撫這樣的大官，也不改其本性。恰好刺馬案發生後，迷霧重重，真假難辨，喬松年幸災樂禍，趁機附和「漁色負友」說，寫歪詩泄憤，推波助瀾，也不足為奇。
之前馬新貽被張文祥一刀刺中時，大喊了聲：「找著了！」被好事者解釋為「冤家路狹，終於被找到了」的意思，認定馬新貽與張文祥是舊識，讓「漁色負友」說聽起來更加煞有介事。其實馬新貽是山東人，有濃重的山東口音，他喊的那一句本是：「扎著了！」馬新貽在遺疏中還特意提到自己是被「不識姓名之人」所刺，以他當時命懸一線的狀況，十足可信。
在「漁色負友」版本的傳聞中，張文祥被塑造成忠肝義膽、為友復仇的俠士形象，大有昔日荊軻「風蕭蕭兮易水寒，壯士一去兮不復還」的風度。但如果馬新貽真是富貴背友的話，曾國藩的結案已經多方顧及馬新貽的體面，作為馬新貽親信的孫衣言、袁保慶，應該考慮到馬新貽的名聲重要，立即接受曾國藩的結案才合情合理，為什麼二人卻拒絕在奏結上簽字呢？對於馬新貽的個人生活，自小跟隨在他身邊的四弟馬新祐（馬新貽被刺時任河南試用知縣）應該最清楚。如果馬新貽真是帷薄陰私，為了澄清人品，馬新祐應該立即接受審訊官員的結案，以為兄長掩飾。可是即使後來張文祥被凌遲處死後，馬新祐還是覺得兄長疑案未明，並為此而悵恨終生。
種種疑點，只能說明「漁色負友」版本的故事完全是偽造出來的，有太多牽強附會的成分，根本不足採信。
有意思的是，刺馬案發生後不久，江寧的酒樓茶肆開始傳唱《金陵殺馬》的評彈。沒過幾天，上海租界里的丹桂茶園又編排出了《刺馬》一戲，其中馬新貽是一個忘友背主、勾結洋教、出賣朝廷的大壞蛋，而張文祥則是一個俠肝義膽的大英雄。戲上演後轟動一時，朝廷竟然也沒有派人出面干預。當時正值鄉試，安徽學政殷兆鏞也趕來湊熱鬧，出試題的時候，竟然寓其譏諷。
第二種傳聞則是馬新貽「私通回匪」說。
這種說法來源於張文祥本人的供詞。據陳功懋（其祖父陳鏡題曾參與會審張文祥的錄供研訊）在《張文祥刺馬新貽案真相》一文中說：張文祥供稱咸豐七年他為發捻時，馬新貽廬州失守，曾經被其俘獲。但當時他並不知道馬新貽就是廬州知府，因此將馬新貽與隨從時金彪一起釋放。時金彪感激張文祥饒命之恩，曾經暗中告訴他：馬新貽一直暗通甘肅的回民反清武裝。後來張文祥看見馬新貽「私通回匪」，卻還能青雲直上，為之不平，決意為朝廷除害，將其刺殺。
同治元年（1862）三月，太平軍西征部隊進入陝西，各地回民紛紛響應，從此掀開了西北回民大起義的序幕。當時有個伊斯蘭教阿訇名叫任武，曾經參加過咸豐年間的雲南回民起義，起義失敗後退回陝西，藏匿在渭南倉渡鎮的清真寺中，時刻準備伺機再起。同治元年（1862）春，陝西團練大臣張芾強迫回民抽拔壯勇，又在華州虐殺回民，激起了公憤。任武感覺到時機來臨，於是率領渭南回民揭竿而起，一舉殺死張芾，並攻克華州等地，圍攻西安，佔領渭河流域。十分可惜的是，這支一度聲勢浩大的回民武裝很快陷入了與漢人民眾的敵對仇殺中，西安、大荔一帶數十縣均捲入其中，死亡人數多達數十萬人，任武的力量也大大被削弱。同治二年（1863）初，清廷任命多隆阿為欽差大臣，西進攻打回民武裝起義，相繼攻陷了回民的後方基地羌白旗、王閣村等地，並以「護漢」為借口，大肆屠殺回民，史家河一帶六十里之內盡成白地，渺無人煙。任武遭受巨創後，率部退往甘肅一帶。此後，甘肅、寧夏、青海廣大地區的回民也紛紛起義，逐漸形成了四支主要的軍事力量：以馬占鰲為首的起義軍活動於甘肅南部；以馬化龍為首的起義軍活動於寧夏南部；以馬文義為首的起義軍活動於青海東部；以馬文祿為首的起義軍活動於甘肅西部。這其中，以馬化龍部的力量最強，馬化龍也因此成為整個西北回民起義軍的一桿大旗。西北局勢如此動蕩，清廷深感不安。同治七年（1868），清朝廷派左宗棠以欽差大臣的身份西征。左宗棠經過周密計畫後，沒有直接進攻甘肅回民軍，而是先將矛頭對準了在陝甘交界處活動的董福祥部。董福祥部在重兵圍困下被擊潰，董福祥本人突圍而出，但其父董世有和弟弟董福祿被清軍招降。左宗棠又通過董世有招降了董福祥。從此，董部成為清廷對抗回民軍的急先鋒。清軍的下一個目標是回民軍中勢力最大的馬化龍。馬化龍見清軍勢大，多次請求投降，並改名為馬朝清。同治八年（1869）八月，清提督劉松山率老湘軍到馬五寨受降，被回軍中反對投降者開槍打死。回軍乘勢反攻，清軍大敗。左