进衡州受阻，遂倾兵西向，进军祁阳，一攻不克，复再西驱，围攻永州。
刘长佑闻，飞速驰援。4月6日，进抵永州城下。两军接仗，大战三日，胜负未分。9日，清副将佘星元、参将杨恒升等率援军至。刘长佑杀心骤起，兵分五路，里外合击。石达开猝不及防，撤围永州，兵分二路，一击东安，一击祁阳。
左宗棠获悉，饬令刘坤一增援东安。刘部未至，东安已失。
骆秉章咨告左宗棠：祁阳居衡、永之中，西北界接宝庆，正居中用奇之地，又为大军后路；切勿再失。
左宗棠亦知祁阳得失，攸关大局，即刻饬令刘长佑、刘坤一各军，飞速驰援。
4月下旬，石达开、张遂谋倾尽主力，围攻祁阳；血战月余，未克。5月21日，石达开弃祁阳，北击宝庆。半月之内，兴兵三攻，亦不克。