第116師團的快速推進，使進攻的其他兩路大軍不得不加快攻擊的步伐。日軍第58旅團為策應第116師團的進攻，關根久太郎旅團長決定旅團主力向瓦屋塘，另一部向武岡城，形成鉗擊之勢，從西面和南面構成包圍圈。
獨立步兵第117大隊的大隊長，叫永里堰彥，這人性格魯莽，剛愎自用，打仗勇猛異常。他已有半個月沒有刮鬍子了，滿臉的絡腮鬍子像水滸梁山泊上的黑旋風李逵。中國軍隊的士兵叫他「毛瘋子」。
永里堰彥是第58旅團的戰將，執行任務從不含糊，他奉命率部隊向武岡西南地區進發。進入蔡家塘北面地區後，派出去的尖兵回來報告，武岡城牆堅固，四周設有碉堡，防守部隊有一個師的兵力，而且全是美械裝備，據說很有戰鬥力。
永里堰彥把左手按在指揮刀上，他聽尖兵報告，心裡大喜。永里堰彥作戰最講究對手，對手是軟蛋，他就感到臉上無光，即使勝了都不敢向外炫耀，所以他每次打仗都要打聽對手的情況。
中國守城軍隊是第74軍58師，師長叫蔡仁傑，他的前任師長是現在的副軍長張靈甫。永里堰彥知道張靈甫，淞滬會戰時也只是一個團長，不久升為旅長。第二次長沙會戰時聽說當了58師師長，他的這支軍隊是好樣的。
永里堰彥大隊長來了興趣，他說：「現在就看我的了！」日軍第117大隊善於攻堅戰，對手越硬他越敢碰。他命令各中隊準備好攻城器械，紮好繩梯，同時請求關根久太郎旅團長，為他派坦克戰車協助攻城。
武岡城在資水上游西北岸，在西漢時為都梁侯國，三國東吳改為武岡縣，因城北的武岡山而得名。在湘西會戰開始前，第74軍軍長施中誠就交待師長蔡仁傑，武岡城防堅固，護城河深闊，但日軍必然對此爭奪，需派一支能守敢打的部隊駐防武岡，切不可掉以輕心。
蔡師長經過考慮，把防守武岡的任務交給第172團1營，這是一個加強營，實力雄厚，打防守頗有經驗，營長高崇仁頭腦冷靜，處事果斷，一定會不負重望的。
高營長接受任務後，在武岡城內外構築三道防線，均以黃泥、細沙、石灰混合築成，最里線陣地工事，是武岡百姓用糯米熬成粥摻和三合土構築的工事，堅固無比。日軍大隊長永里堰彥，舉起指揮刀命令部隊分三路攻打城池，東門、西門、南門同時響起槍炮聲。
永里堰彥看見自己火炮、坦克的猛烈攻勢，大笑著說，攻下武岡城再刮鬍子。他有志在必得的信心。一發發炮彈落在城牆上，崩起滿天的磚頭石塊，幾處的城門樓子倒塌了，但用麻袋壘起的機槍工事還在。機槍噴射出一條條火龍，朝攻城的日本兵掃射。
日軍的坦克、裝甲戰車突破外圍防線，高營長命令士兵利用汽油彈，專打坦克的後油箱，把十幾輛坦克燒毀在城垣下，然後輕重機關槍集中火力射殺戰車後面的步兵。就這樣反反覆復幾十次，日軍沒有得手。
攻城一連持續三天，永里堰彥請求旅團再次支援。旅團長又向他調來十幾輛戰車，還為他補充一個中隊。這次第117大隊更是瘋狂，他們集中力量打北門，先用大炮轟擊。城門早被沙袋堵死，日軍就轟擊城牆拐角，塌出一個口子，又接著轟，中國士兵在武岡群眾的幫助下，就用沙袋堵，城牆垮了，沙袋牆又壘起來了。
守城戰士打紅了眼，把身上捆滿手榴彈或炸藥包，從城牆上跳到日軍坦克上，又有10輛坦克毀在城下。雙方傷亡都很大。永里堰彥傻眼了，他從沒有遇到這樣的中國軍隊，也沒碰到過如此慘烈的硬仗，雙方真是棋逢對手。在他的心目中，中國軍隊一碰到硬骨頭就會趴下，以往都是不堪一擊，今天這是咋的啦？
永里堰彥瘋狂了，你們用肉體炸彈打坦克，我就用人體炸彈炸城牆。
他組織起自己的特攻隊，每個特攻隊員身上綁上炸藥，能綁多少盡量綁。
特攻隊員是光榮的，他們頭上纏著太陽旗的白布條，為天皇陛下效忠的時刻到了。
特攻隊後面是端著刺刀槍的步兵，炸開城牆同中國軍隊肉搏。坦克、大炮一起開火，轟擊西門城牆上的中國守軍，然後特攻隊員衝刺到城牆根下，拉響身上一捆又一捆炸藥包。
日軍特攻隊員的炸藥包威力大，西門一處城牆坍塌了，裡面的幾挺重機槍噠噠噠吼叫了起來，把坍塌出來的口子封鎖住，隨後幾百個麻袋沙包又把口子封上。
永里大隊長哇啦直叫喚，連城內的中國士兵都能聽見了。特攻隊的殺手鐧不奏效，那麼再來一手，仍然是特攻隊用繩梯爬城，讓人體炸彈在空中發揮作用。高崇仁營長在城牆上沉著指揮，用一個班的兵力，等待日軍爬到中途，拿衝鋒槍掃射。
日本鬼子也是亡命之徒，當他們遭到城上的衝鋒槍掃射的時候，也拉響了身上的炸藥包，爆炸的氣浪把城牆上的中國士兵掀到城牆下面。這樣又反覆衝鋒十幾次，城牆外的護城河裡，浮的全是屍體，河水被血染得鮮紅。日軍傷亡過半，中國守軍第一營也傷亡過半。戰鬥持續了5天，十多處城牆被炸塌，但是中國軍隊的旗幟仍然飄揚在城牆的上空。
永里堰彥的第117大隊不能前進一步。
在日軍第58旅團進攻武岡地區時，國民黨軍隊及指揮員的注意力放在了正在激烈交戰的戰場上，從新寧縣悄悄過來一支日軍聯隊，那是駐紮在廣西桂林的第11軍派出的，他們在奪取衡陽，攻佔桂林、柳州、南寧後，一直在這裡補充休整。橫山勇司令官見武岡一線正打得如火如荼，便命令駐紮在新寧的第27聯隊，快速奔襲武岡後方，直搗洪江。
日軍的這一手十分狠毒，然而野獸再狡猾，也鬥不過好獵手。當日軍聯隊快速進發走到梅口的時候，便被湯恩伯27集團軍的44師發現了。師長蔣修仁火速趕到前線，登高遠望，在望遠鏡里可以清楚地看到，日軍正密集地向河灘渡口靠攏。
先頭部隊的小林多谷大隊長想，只要攻上巫水西岸，就能將中國軍隊攔腰截斷，然後同聯隊主力包抄夾擊，定能將中國守軍全部殲滅。這是小林多谷大隊長的如意算盤。他不知道，中國軍隊的第44師已開始行動了。
蔣修仁師長沒有絲毫的猶豫，他當機立斷，命令131團向青溪出擊，牽制日軍。132團困守梅口正面主陣地，打阻擊。130團火速增援正面，掩護左翼。正面主陣地吸引敵人，兩翼部隊對日軍作反包圍進攻。
戰鬥首先由132團打響了，他們將日軍先頭部隊放過河，等後頭大批人馬行至河灘急流處，便對過河之敵猛烈打擊。槍彈打得巫水河水柱衝天，日軍在河中丟盔棄甲，轉頭朝後岸跑。
小林多谷立即組織反擊，用小鋼炮、重機槍壓制中國守軍陣地，在夜幕降臨時發起衝鋒。第132團打得非常頑強，但傷亡不少人。日軍一個大隊不過千人，中國軍隊一個團是敵不過的。
對中國軍隊正面陣地的情況，小林多谷是看清楚了的，但他忽視了他的側翼。在拂曉他再次發起衝鋒時，中國軍隊的130團在左翼向他也發起了突襲。132團副團長榮英魁抓住戰機，抓起一挺機槍，配合突襲進攻的130團，向日軍展開反擊。兩相夾擊，把小林多谷打得狼狽逃竄。
這一仗第44師繳獲頗豐，並且堵住了日本奔襲芷江之路。
聯隊長林清次大佐見此路不通，便率所部向珠玉山方向攻擊前進。防守在珠玉山的第58師174團，在日軍217聯隊輪番衝鋒中退敗下去，珠玉山失守。半夜，174團突然反擊，又把珠玉山奪了回來。迫使日軍聯隊轉向武陽。
最危險的是日軍第217聯隊同日軍第58旅團會合在一起了。雖說這支日本軍隊不到1萬人馬，但戰鬥力特強，幾乎能敵過中國軍隊兩個師的戰鬥力。
坂西一郎得知關根久太郎旅團的情況，立即指示第58旅團：
我軍決定把敵軍主力消滅在軍用公路以北、沅江以東地區。
你支隊應立刻沿瓦屋塘至水口，再由兩路口進軍洪江地區，與第116師團相策，在切斷敵主力退路的同時，攻擊敵軍的側背。
王耀武認為坂西一郎這一手的確老辣。湘西會戰之初，王耀武就擔心武陽一線，一旦武陽落陷，日軍進攻勢頭又無法遏制，必然會對第四方面軍右翼構成巨大威脅。戰局的發展果然不出所料，這個地方真還出事情了。
王耀武親自跑到前線，經實地視察，發現許多致命的要點都被日軍佔領了，鋒芒所向，直指洪江。洪江隔芷江只不過幾十里路。形勢嚴峻呀。
王耀武司令同駐守在貴州天柱的湯恩伯司令協商後，擬定了武陽作戰方案：第5師集結於綏寧地區，向梅口、武陽之敵搜索攻擊，第94軍指揮所向靖縣推進。王耀武十分謹慎，他動用了1個軍，3個師的兵力，參加這次戰役的作戰。
關根久太郎對坂西的指示堅決執行，他立即命令獨立步兵第117大隊，停止攻擊武岡，向武陽東北地區前進。永里堰彥問他的鬍子不是刮不成了嗎？關