減税反対の財務省は、玉木氏の主張通りに課税最低水準を引き上げた場合、国と地方合わせて7兆6000億円もの税収大幅減になるという試算を公表して減税に抵抗。それに対して玉木氏が「7兆円かかるなら、7兆円をどこかから削るのは政府・与党側の責任だ。われわれはとにかく103万円を178万円にしてくれと要請していく」と突っぱねるなど、スキャンダル前は激しいバトルを展開していたからだ。
「財務省内では不倫が報じられると、『これで103万の壁引き上げなんて絶対やらせない。せいぜい110万の壁まで上げたら御の字だろう』といった声まで出ていた。幹部のなかには、もう国民民主の勢いがなくなると見て、増税派の野田佳彦・立憲民主党代表詣でを始めた者も。“玉木さんがつぶれたら財政規律（増税）をお願いしたい”と働きかけるつもりのようです」（財務省担当記者）
自民党も態度を変えた。それまで少数与党の石破政権は「補正予算を成立させるためには国民民主の協力が不可欠。総理は玉木の言い分をある程度飲むしかないと考えている」（官邸筋）という姿勢だった。ところが、報道を機に「地方の税収がかなり減る見込みと報告を受けている。税制の議論は地方に迷惑をかけない姿勢で臨むことが大事だ。国民民主党にも伝えたい」（小野寺五典・政調会長）と玉木氏を牽制する強気の姿勢に転じたのだ。
「裏切りやがって」
玉木氏の求心力が下がったのをチャンスと見て取った自民党や税務当局の財務省、総務省は「税収減」を楯になんとしても減税をつぶす構えだ。
玉木氏の主張に対して財務官僚は騒動前からこう触れ回っていたという。
「103万円の壁の主張の盛り上がりを受けて、財務官僚は議員やマスコミへのレクを強め、ほうぼうで『財源不足だ』『仮に扶養者控除で甘い顔をしたら、財政規律など無視した提案を次々とやってくる』と言い回っていた」（全国紙記者）
メディアでも「103万円は幻の壁？」（11月8日付、朝日新聞）など“玉木減税”に水を差す報道が相次いだ。
