問題

$a,\ b,\ p,\ q,\ r$ は定数で、$a\neq0,\ p\neq0$ とする。2つの関数 $f(x)=ax+b,\ g(x)=px^2+qx+r$ について、合成関数 $(f\circ g)(x)$ と $(g\circ f)(x)$ が一致するとき、$a,\ b,\ p,\ q,\ r$ の満たすべき条件を求めよ。

書いたもの

$(f\circ g)(x)=a(px^2+qx+r)+b=apx^2+apx+ar+b$ …①
$(g\circ f)(x)=a^2px^2+(2abp+aq)x+pb^2+qb+r$ …②
$ap=a^2p$ …③　$2abp+aq=ap$ …④　$ar+b=pb^2+qb+r$ …⑤
$a=1$。$2bp+q=p$ …④'、$r+b=pb^2+qb+r$ …⑤'
$p(1-2b)=q$、$b(pb+q-1)=0$ より $b=0$ または $pb+q-1=0$
$p(1-b)=1$、$p=\dfrac{1}{1-b}$、$b\neq1$
答：$a=1$、$b=0$ または $b\neq1,\ p=\dfrac{1}{1-b}$、$q,\ r$ は任意の定数

どこがまずいか

• ①の3行目で $x$ の係数を $aq$ でなく $ap$ と写している。 1つ前の行 $a(px^2+qx+r)+b$ は合っているので、展開の写しまちがい。これで④が $2abp+aq=ap$ になり、正しい $2abp=0$ からずれた。
• ④'以降の「$b=0$ または $pb+q-1=0$」の場合分けは、このまちがいからだけ出る偽の枝。 反例：$b=\frac12,\ p=2,\ q=0,\ r=0$（ゆうやの2本目の枝の条件をみたす）で $f(g(x))=2x^2+\frac12$、$g(f(x))=2x^2+2x+\frac12$。一致しない。答に入れると条件を満たさない組をふくむことになり、結論が誤り。
• 「$q,\ r$ は任意」がゆうやの式の流れと合っていない。 ゆうやの④'のもとでは $q=p(1-2b)$ と決まっていて、$b=0$ の枝でも $q=p$。自分の式で $q$ を決めたのに最後で「任意」と書くと、採点者には論理がつながっていない答案に見える（正しい式では $q$ は本当に任意になるので、答の形だけたまたま正解に近い）。
• 結論が「$a=1$」と「$b=0$ または $b\neq1,\ p=\cdots$」に分かれたままで、$p$ の条件（$p\neq0$）や $q,\ r$ との関係がまとめて書かれていない。 求めるのは5つの定数の条件なので、最後に1行でそろえる。
• 係数比較の前に「すべての $x$ で一致するので」の一言がない。恒等式だから係数を比べてよい、という根拠を書く。

こう書く

$(f\circ g)(x)=f(g(x))=a(px^2+qx+r)+b=apx^2+aqx+ar+b$
$(g\circ f)(x)=g(f(x))=p(ax+b)^2+q(ax+b)+r=a^2px^2+(2abp+aq)x+pb^2+qb+r$
これらがすべての $x$ について一致するから、係数を比べて
$x^2$ の係数：$ap=a^2p$ …①
$x$ の係数：$aq=2abp+aq$ …②
定数項：$ar+b=pb^2+qb+r$ …③
①より $ap(a-1)=0$。$a\neq0,\ p\neq0$ より $a=1$
②より $2abp=0$。$a\neq0,\ p\neq0$ より $b=0$
このとき③は $r=r$ となり、つねに成り立つ。
逆に $a=1,\ b=0$ のとき $(f\circ g)(x)=(g\circ f)(x)=px^2+qx+r$ で一致する。
よって求める条件は　$a=1,\ b=0$（$p\ (p\neq0),\ q,\ r$ は任意の定数）