Данное дифференциальное уравнение относится к линейным дифференциальным уравнениям с постоянными коэффициентами.
Решение уравнения будем искать в виде  y = erx. Для этого составляем характеристическое уравнение линейного однородного дифференциального уравнения с постоянными коэффициентами:
 r2 -4 r + 5 = 0
D = (-4)2 - 4 • 1 • 5 = -4

Корни характеристического уравнения:
(комплексные корни):
r1 = 2 + 1i

Следовательно, фундаментальную систему решений составляют функции:

Общее решение однородного уравнения имеет вид:

Рассмотрим правую часть:
f(x) = 2•x2•ex
Поиск частного решения.
Линейное дифференциальное уравнение с постоянными коэффициентами и правой частью вида:
R(x) = eαx(P(x)cos(βx) + Q(x)sin(βx)), где P(x), Q(x) - некоторые полиномы
имеет частное решение
y(x) = xkeαx(R(x)cos(βx) + S(x)sin(βx))
где k - кратность корня α+βi характеристического полинома соответствующего однородного уравнения, R(x), S(x) - полиномы, подлежащие определению, степень которых равна максимальной степени полиномов P(x), Q(x).
Здесь P(x) = 2•x2, Q(x) = 0, α = 1, β = 0.
Следовательно, число α + βi = 1 + 0i не является корнем характеристического уравнения .
Уравнение имеет частное решение вида:

Вычисляем производные:
y' = ex(A•x(x+2)+B(x+1)+C)
y'' = ex(A(x2+4•x+2)+B(x+2)+C)
которые подставляем в исходное дифференциальное уравнение:
 y'' -4y' + 5y =  (ex(A(x2+4•x+2)+B(x+2)+C)) -4(ex(A•x(x+2)+B(x+1)+C)) + 5((Ax2 + Bx + C)ex) = 2•x2•ex
 или 
2•A•ex•x2-4•A•ex•x+2•A•ex+2•B•ex•x-2•B•ex+2•C•ex = 2•x2•ex
Приравнивая коэффициенты при одинаковых степенях х, получаем систему уравнений:
2A  = 2
-4A + 2B  = 0
2A -2B + 2C  = 0
Решая ее, находим:
A = 1;B = 2;C = 1;
Частное решение имеет вид:
y* = (x2 + 2x + 1)ex
Таким образом, общее решение дифференциального уравнения имеет вид:

Решение было получено и оформлено с помощью сервиса:
Дифференциальные уравнения