1965年11月，68岁的彭德怀被下放到西南一带。虽然表面是担任大三线建设的副总指挥，但是实际上却处处受钳制、监视，手中并无任何实权，甚至还经常遭到在京“四人帮”的批斗、诬陷。

彭德怀是11月30日抵达成都的，但是在他到达之前，西南局就直接确定了一条原则规矩；凡是有关军工生产建设的情况，不许让彭德怀了解，甚至有关这方面的回应都不能参加，更不能参加军工厂。而彭德怀外出之时，必须有人陪同，以便随时“保护”他的安全。

在这样的情形下，彭德怀老总仍旧十分认真地做好分内工作，从未抱怨任何。后来他去找三线建委主任李井泉谈事，希望他能分配一下工作。但是李井泉绝口不提分工之事，最后他无奈只得作罢。

于12月10日时，彭德怀给侄女彭梅魁写信，将自己内心的孤独和被区别对待的心情都表露了出来，他在信中说道：“他们不让我知道任何资料，我决定自己外出了解情况，自己去掌握第一手资料。我知道，如今属于我的时间没有多少，深感遗憾。然而我并未放弃，我将更加珍惜仅有的时间，以慰晚年！”

写完这封信后，彭德怀想了想，对自己身边工作人员说道：“以后我们自己干自己的工作，不管那些！”

1966年的1月之时，成都的锦江饭店内举行了三线建委年度总结的计划会。虽然彭德怀也前去参加了，但是他在会议上很少发言，也没有什么人搭理他。

会议结束之后，彭德怀即刻前往渡口工作，参加攀枝花的钢铁基地建设方面事宜。后来他还特意去了红军当年长征时抢渡大渡河之地，那里是他曾经率红军攻打过的会理县城。

2月30日的时候，彭德怀老总到了渡口市。虽然彼时的渡口市只有7户人家，但是眼下正在兴建西南地区最大的攀枝花钢铁基地。彭老总在山上和山下仔细参观后，然后忍不住说道：“这里真是一个好地方，毛主席的决断非常正确！”

3月25日时，彭德怀又到了石棉县的安顺场渡口。看到眼前咆哮汹涌的大渡河时，他又想起了当年红军战士们无惧生死、英勇抢渡的场景，以及还有那些舍出性命为红军摆渡的船工。

后来红军终于胜利北上了，而那些为他们摆渡的船工呢？多年来，彭德怀老总心里一直记挂这件事，从未忘记当年船工们对他们舍出身家性命的出手相救。

于是他四处托人询问，后来打听到一位名为帅仕高的船工还在人世。几番辗转找寻后，彭老总很是激动地看望他，在得知他在生活上有困难后，彭老总临走时拿出10元钱送给这个老船工。

然而没想到正是彭老总此举，却为他惹下了一场是非祸害。后来有人得知了此事，于是前去收买船工害他，让船工去“揭发”彭德怀是“伪君子，想施行小恩小惠收买人心，居心不良”。

然而，那位老船工却义愤填膺地怒道：“横刀立马彭大将军，给咱老百姓打了大半辈子的仗！到底是谁在背后害他！”老船工一番仗义执言，彭老总亦是听得泪流满面，此后却再也不敢轻易去渡口见旧人。