前面已經提到過，按照唐廷樞的設想，開平煤礦應當立即修一條鐵路，將挖出的煤及時運出，但因為當時條件有限，並沒有付諸實施，暫以七十里的小運河代替。
其實，在中國最早主張興修鐵路的人並非中國人，而是入侵中國的西方列強。兩次鴉片戰爭之後，以英國為首的西方資本主義列強，為便於在華推銷商品，掠奪原材料，擴張侵略勢力到中國內地，他們開展計劃在中國修築鐵路。可見西方列強在中國修建鐵路，並非要幫助中國富強，只不過是為了擴大它們的在華侵略罷了。早在十九世紀六十年代，李鴻章就堅持應以中國人來修築鐵路，不能讓外國攫奪路權。據肯德在《中國鐵路發展史》一書中記載，李鴻章曾向英法等國領事團表示：「只有中國人自己創辦和管理鐵路，才會對中國人有利；並且中國人堅決反對在內地僱傭許多外國人；而且一旦因築路而剝奪中國人民的土地的時候，將會引起極大的反對。」他認為有反對外國人追求鐵路讓與權的企圖的責任，因為這種讓與權將使他們在中國取得過分的勢力。可見，很早李鴻章就有自辦鐵路的想法了。但因考慮到財力和物力有限，一時鐵路不能由中國人來製造。到十九世紀七十年代，隨著洋務運動的進一步深化，李鴻章這個由中國人自辦鐵路的念頭進一步深化而提到議事日程上來。
李鴻章倡導修建鐵路也經歷了坎坷道路。由於遭到極端守舊勢力的強烈反對，進展十分緩慢。從十九世紀七十年代起，國際國內形勢發生了巨大的變化。在國際上，自由資本主義已經向帝國主義階段過渡，西方資本主義國家越來越加劇對中國的侵略，中國的邊疆危急局勢到了空前的程度。為了加強國防建設和解決洋務軍事工業原材料的供應問題，李鴻章決定倡導建造中國鐵路。
一八七四年，李鴻章趁赴京叩謁同治皇帝梓宮之機晉見總理各國事務衙門大臣奕訢，「極陳鐵路利益，請先造清江至北京鐵路，以便南北轉載運輸」。但奕訢卻以「天下無人敢出來主持這件事」及「兩宮太后也不能決定此等大計」為由，拒絕了李鴻章的想法。
李鴻章感慨萬千，發誓「從此就絕口不談修鐵路」這件事了。然而，他感到中國交通阻滯，調兵運餉，緩不濟急，同時他考慮到軍事工業尤其是煤礦之類民用企業，產品產量激增，急需解決運輸問題，並且此時的他逐漸意識到「求富」與「求強」的內在聯繫，意識到經濟力量是國防力量的基礎，只有發展經濟，才是中國由弱變強的主要途徑之一，因此，儘管他提出修建鐵路的主張一再碰壁，但仍在等待時機興建鐵路。
一八七六年，丁日昌受命為福建巡撫後，秉承李鴻章的旨意，上疏建議在台灣修築鐵路以防外安內。
李鴻章和沈葆楨一致支持丁氏的主張。一八七七年，清政府批准了丁日昌的建議，要他「審勢地勢，妥速籌策」。這是清政府首次批准在台灣修建鐵路的命令。
李鴻章非常高興，寫信支持和鼓勵了丁日昌。但這次修築台灣鐵路的計劃，雖經清政府批准，終因費絀而中止。此後，李鴻章又多次主張在東南和西北兩個地區修鐵路，以解決海防和邊防問題。由於阻力過大，一直未能實現。一八八○年，淮軍大將劉銘傳上摺請求修建鐵路。李鴻章見自己授意之事業已提出，立即寫了一篇四千字的奏摺，支持劉銘傳的建議。
他指出，西方之所以強大，鐵路的四通八達是一個重要原因。中國欲富，也應抓緊修建鐵路。他們的建議，遭到頑固派的強烈反對，頑固派提出幾十條理由反對修鐵路，他們甚至搬出先輩祖宗及山川之神來威嚇。
雖然修築鐵路的阻力重重，但是李鴻章並沒有退縮。就在爭論最激烈的一八八○年，他就悄悄開始試探性地動工修建開平煤礦唐山至胥各莊鐵路，以便運煤。一八八一年，這條約十公里的短短一段鐵路建成後，他才正式奏報清政府，並有意將其說成是「馬路」。李鴻章真不愧是後來「遇到紅燈繞開走」的前輩。李鴻章汲取了在「大爭論」中未得到朝中有力支持而失敗的教訓，所以在修路的同時積極活動，尋求權貴的支持。此時，醇親王奕譞早已取代恭親王奕訢，最為慈禧太后倚重，所以李鴻章全力做他的工作。他多次給奕譞寫信，說明興辦鐵路的種種好處，奕譞有所心動，所以李鴻章才敢將唐胥路修完。但李鴻章一直認為修路應是舉國興辦，所以在給奕譞的信中說，修鐵路在中國「阻於浮議」，一直未能興辦，並且明確表示希望由奕譞直接出面「主持大計」。
一八八五年，中法戰爭結束，戰爭中暴露出海軍調度協調的問題，清政府最終同意成立「海軍衙門」；同時陸軍調兵遣將行動遲緩的嚴重問題也暴露出來，清政府也不得不面對這個問題，重新考慮是否應當修鐵路。在這種情況下，經過奕譞、李鴻章的努力，清政府終於在一八八六年決定將鐵路事宜劃歸由奕譞為總理、李鴻章等人為會辦的海軍衙門辦理。由「海軍衙門」負責修建鐵路，也可說是當時的「中國特色」。
同年，奕譞到天津巡視北洋海口，與李鴻章具體商訂修路辦法。奕譞後來說他對修鐵路以前也曾「習聞陳言，嘗持偏論」，反對修路，但經中法之戰，又「親歷北洋海口，始悉局外空談與局中實際，判然兩途」，於是支持修路的態度更加堅決。但以奕譞此時的權位之重，卻也不敢大張旗鼓地主張修路，所以在天津巡視北洋海口與李鴻章商議時，也不得不想方設法避開強烈的反對意見。他對李鴻章說，如果修鐵路，還必須從已修成的胥各莊一路修起，因為修唐山到胥各莊的鐵路是為了運開平礦的煤，關係不大，反對的意見可能會小一些，這樣此事才有可能辦成。李鴻章也認為事情只有如此才可行，更加在唐胥鐵路基礎上逐年修建，相當一段時間內所經之地都在他管轄的直隸境內，更易辦成。
據此，李鴻章採取一點點來、穩步前進的策略。開平礦務局在李鴻章的授意下就在這一年便以要運煤以方便商業為理由，將唐胥鐵路延長到蘆台附近的閻莊，總長從十公里延長到約四十多公里，改稱唐蘆鐵路。同時，李鴻章趁熱打鐵，成立了開平鐵路公司，招集商股二十五萬兩。就在一八八六年底，李鴻章又與奕譞相商，提出將唐蘆鐵路延長修建到大沽、天津。一八八七年春，由奕譞出面奏准動工修建，強調這段路是「為調兵運軍火之用」，並將開平鐵路公司改名為中國鐵路公司。此路第二年便告建成，這條從唐山到天津的鐵路全長終於達到一百三十公里左右。可以看到，從一八八○年修唐胥路到一八八八年延長到天津，幾年間李鴻章一直緊鑼密鼓，不放過任何「可乘之機」，硬是一點點修成了鐵路。其間當然也有小小的波折，如唐胥路剛修成時，一位英國工程師用礦上的廢舊鍋爐改造成一台蒸汽機車拉煤時，卻遭到頑固派的反對，曾不得不改用騾拉運煤車皮，幾經周折，方許蒸汽機車運行。唐山天津線修通後，李鴻章視察了這條鐵路。他在校閱北洋海軍之後，從山海關乘坐火車回天津，他懷著異常興奮的心情說：「自山海關至天津六百餘里，半天就可以通達，極為便速。沿途閱視所作橋軌工程，均極堅穩，每里工價，較之西方國家更為節省」。
這時的李鴻章信心大增，想趁熱打鐵，再把鐵路從天津延伸到京城附近的通州。於是，李鴻章於一八八八年十一月通過奕譞主管的海軍衙門奏請修築津通路，其理由是津通路將沿海與內陸聯結起來，可以「外助海路之需，內備徵兵入衛之用」，有利於軍事、防務。這一奏請得到朝廷批准，沒想到卻捅了馬蜂窩。頑固派本來可能是對醇親王有所顧忌，對李鴻章悄悄修路忍而又忍，並未大張旗鼓表示反對，現在他又要把鐵路修到天子腳下，豈可容忍！反對聲於是像炸開鍋一樣，一時彈章蜂起，紛至沓來，掀起了近代關於鐵路的又一次大爭論。頑固派有的上奏朝廷，有的致函奕譞，想爭取他而拆掉李鴻章的後台。為了聳人聽聞，頑固派與前幾次一樣，首先指責修路是「開闢所未有，祖宗所未創」，還將修路與「災異」聯繫起來，認為清宮太平門失火就是「天象示儆」。大體而言，頑固派的意見集中於以下幾點。
一、修鐵路有利於外敵入侵。認為如修築津通路，一旦外敵入侵即可經由鐵路直達京師。
二、修路擾民。鐵路所經之地，要拆毀民間田廬墳墓，必致民怨沸騰。
三、修築鐵路奪民生計。
鐵路修通後，將導致成千上萬原來的水手、船夫、客店主貧困失業，斷了他們的生計。面對眾多位高權重的大臣的強烈反對，李鴻章這次因有醇親王支持，所以與頑固派針鋒相對，反覆辯駁，毫不示弱。對於鐵路「資敵」的責難，他反駁說敵人前來也必須用機車、車廂運兵，我方可先將機車、車廂撤回，使敵無車可乘；另外，到時還可以拆毀鐵軌或埋下地雷，使敵人不可能利用鐵路長驅直入。相反，鐵路將使中國運兵更加快捷。針對「擾民」觀點，他以修築唐山到大沽、大沽到天津的鐵路為例，認為修路應當盡量避免拆毀民間房屋墳墓，萬一無法避免時，只要給居民以「重價」，民眾就不反對修路。