問題

$a,\ b,\ p,\ q,\ r$ は定数で、$a\neq0,\ p\neq0$ とする。2つの関数 $f(x)=ax+b,\ g(x)=px^2+qx+r$ について、合成関数 $(f\circ g)(x)$ と $(g\circ f)(x)$ が一致するとき、$a,\ b,\ p,\ q,\ r$ の満たすべき条件を求めよ。

書いたもの

$(f\circ g)(x)=a(px^2+qx+r)+b=apx^2+apx+ar+b$ …①
$(g\circ f)(x)=p(ax+b)^2+q(ax+b)+r=a^2px^2+(2abp+aq)x+pb^2+qb+r$ …②
係数を比べて　$ap=a^2p$ …③　$2abp+aq=ap$ …④　$ar+b=pb^2+qb+r$ …⑤
③と $a\neq0,\ p\neq0$ より $a=1$
④⑤に入れて　$2bp+q=p$ …④'　$r+b=pb^2+qb+r$ …⑤'
④'より $p(1-2b)=q$
⑤'より $pb^2+(q-1)b=0$、$b(pb+q-1)=0$、$b=0$ または $pb+q-1=0$
④'を $pb+q-1=0$ に入れて $pb+(p-2bp)-1=0$、$p(1-b)=1$、$p=\dfrac{1}{1-b}$、$p\neq0$ より $b\neq1$
答（として書いたもの）：$a=1$、$b=0$ または $b\neq1,\ p=\dfrac{1}{1-b}$、$q,\ r$ は任意の定数
ピンク：$p(1-b)=1$ から下に斜線。最後の行の「$b\neq1$」に下線

質問

「b≠1がダメな理由が分からん」

答え

$b\neq1$ そのものがダメなんじゃなくて、「$b\neq1,\ p=\frac{1}{1-b}$」の枝がまるごと存在しない。①で $x$ の係数を書き写しまちがえて、ありもしない枝が生まれた。

①の2行目は $a(px^2+qx+r)+b$ で合っている。3行目で $x$ の係数を $aq$ と書くところを $ap$ と書いている。
正しくは

すると④は $2abp+aq=aq$、つまり $2abp=0$。$a\neq0,\ p\neq0$ だから $b=0$ しかない。
このあと⑤は $r=r$ になって何も言わない。答は $a=1,\ b=0$（$p\neq0,\ q,\ r$ は任意）。

ゆうやの式だと④が $2bp+q=p$ になって、$q$ と $p$ の関係式になってしまった。それを⑤'と組み合わせたから「$b=0$ または $pb+q-1=0$」という2本の道ができた。2本目は写しまちがいの式からだけ出てくる道。

確かめ（2本目の枝の数を入れてみる）：$b=\frac12$ にすると $p=\frac{1}{1-b}=2$、$q=p(1-2b)=0$、$r=0$ とする。
$f(x)=x+\frac12,\ g(x)=2x^2$ で
$f(g(x))=2x^2+\frac12$
$g(f(x))=2\left(x+\frac12\right)^2=2x^2+2x+\frac12$
$x$ の項 $2x$ のぶんだけずれていて、一致しない。だからこの枝は答にならない。

「$b\neq1$」の出どころもいちおう：$p(1-b)=1$ で $b=1$ だと左辺が $0$ になって $0=1$。だから $b=1$ は $p(1-b)=1$ の解にならない、という意味。これは計算として合っている。ただその式自体がまちがった④から来ているので、話の前提がない。

逆に言うと、正しい④ $2abp=0$ からは「$b=0$」がいきなり決まるので、⑤で場合分けする場面はそもそも来ない。⑤で $b(\cdots)=0$ の形が出てきたら「④ですでに $b$ が決まってないか」を先に見るとよい。

答　$a=1,\ b=0$；$p\ (p\neq0),\ q,\ r$ は任意の定数

追加の質問

「;pのところの表記のいみがわkらない」

追加の答え

最後の行の書き方がわかりにくかった。ごめん。中身は「$a=1,\ b=0$ で、$p,\ q,\ r$ は何でもいい（ただし $p\neq0$）」というだけ。

「答　$a=1,\ b=0$；$p\ (p\neq0),\ q,\ r$ は任意の定数」の読み方：

• 「；」は区切り。前が「決まる文字」、後ろが「何でもいい文字」
• 「$p\ (p\neq0)$」は「$p$ は $p\neq0$ の範囲で何でもいい」という意味。$p\neq0$ は新しい条件ではなく、問題文の約束（$p\neq0$）をもう一度書いただけ

答案にはこう書けば十分：

答　$a=1,\ b=0$（$p,\ q,\ r$ は任意。ただし $p\neq0$）

さらに言うと、$p\neq0$ も $q,\ r$ も問題文で最初から与えられている定数なので、条件として答えるのは $a=1,\ b=0$ だけでよい。「$a=1$ かつ $b=0$」と書いて、そのあと「$p,\ q,\ r$ は任意」と添える形が読みやすい。

確かめ：$a=1,\ b=0$ なら $f(x)=x$ なので、$f(g(x))=g(x)$、$g(f(x))=g(x)$ で、$p,\ q,\ r$ が何でも一致する。