$x_1=4$
Wyznaczymy wartości parametru $m$, dla których rozwiązaniem równania kwadratowego $x^2+(m-3)x+m^2-m-6=0$ (1)
jest liczba 4.
$16+4m-12+m^2-m-6=0$
$m^2+3m-2=0$, stąd $m = \frac{-3-\sqrt{17}}{2}$ lub $m = \frac{-3+\sqrt{17}}{2}$.
Obliczymy teraz $\Delta$ oraz $x_1 \cdot x_2$, $x_1^2+x_2^2$ i $x_1^3+x_2^3$.
$\Delta = (m-3)^2 - 4(m^2-m-6) = -3m^2 - 2m + 33 = -(3m-11)(m-3)$
$x_1 \cdot x_2 = 4(m^2-m-6) = 4m^2-4m-24$
$x_1^2+x_2^2 = 16+(x_2+x_3)^2-2x_2x_3 = 16+(m-3)^2-2(m^2-m-6) = -m^2-4m+37$
Równanie (1) ma dwa różne rozwiązania różne od $\frac{-3-\sqrt{17}}{2}$ i $\frac{-3+\sqrt{17}}{2}$ wtedy, gdy
$$\begin{cases}
\Delta > 0
m \neq \frac{-3-\sqrt{17}}{2}
m \neq -3
m \neq \frac{-3+\sqrt{17}}{2}
\end{cases}
\Leftrightarrow
m \in (\frac{11-3\sqrt{17}}{3}, \frac{-3-\sqrt{17}}{2}) \cup (\frac{-3-\sqrt{17}}{2}, \frac{-3+\sqrt{17}}{2}) \cup (\frac{-3+\sqrt{17}}{2}, \frac{11+3\sqrt{17}}{3})$$
Nierówność $x_1 \cdot x_2 \cdot x_3 > x_1^2+x_2^2+x_3^2-5m-51$ jest równoważna
$4m^2-4m-24 > -m^2-4m+37-5m-51$
$5m^2+5m-10>0$
$m \in (-\infty, -2) \cup (1, +\infty)$
Stąd
$$\begin{cases}
m \in (\frac{11-3\sqrt{17}}{3}, \frac{-3-\sqrt{17}}{2}) \cup (\frac{-3-\sqrt{17}}{2}, \frac{-3+\sqrt{17}}{2}) \cup (\frac{-3+\sqrt{17}}{2}, \frac{11+3\sqrt{17}}{3})
m \in (-\infty, -2) \cup (1, +\infty)
\end{cases}$$
Odp. $m \in (\frac{11-3\sqrt{17}}{3}, \frac{-3-\sqrt{17}}{2}) \cup (1,3)$.