Данное дифференциальное уравнение относится к линейным дифференциальным уравнениям с постоянными коэффициентами.
Решение уравнения будем искать в виде  y = erx. Для этого составляем характеристическое уравнение линейного однородного дифференциального уравнения с постоянными коэффициентами:
 r2 +5 r + 4 = 0
D = 52 - 4 • 1 • 4 = 9

Корни характеристического уравнения:
r1 = -1
r2 = -4
Следовательно, фундаментальную систему решений составляют функции:
y1 = e-x
y2 = e-4x
Общее решение однородного уравнения имеет вид:

Рассмотрим правую часть:
f(x) = 8•x2-4•x-14
Поиск частного решения.
Линейное дифференциальное уравнение с постоянными коэффициентами и правой частью вида:
R(x) = eαx(P(x)cos(βx) + Q(x)sin(βx)), где P(x), Q(x) - некоторые полиномы
имеет частное решение
y(x) = xkeαx(R(x)cos(βx) + S(x)sin(βx))
где k - кратность корня α+βi характеристического полинома соответствующего однородного уравнения, R(x), S(x) - полиномы, подлежащие определению, степень которых равна максимальной степени полиномов P(x), Q(x).
Здесь P(x) = 8•x2-4•x-14, Q(x) = 0, α = 0, β = 0.
Следовательно, число α + βi = 0 + 0i не является корнем характеристического уравнения .
Уравнение имеет частное решение вида:

Вычисляем производные:
y' = 2•A•x+B
y'' = 2•A
которые подставляем в исходное дифференциальное уравнение:
y'' + 5y' + 4y = (2•A) + 5(2•A•x+B) + 4(Ax2 + Bx + C) = 8•x2-4•x-14
 или 
4•A•x2+10•A•x+2•A+4•B•x+5•B+4•C = 8•x2-4•x-14
Приравнивая коэффициенты при одинаковых степенях х, получаем систему уравнений:
4A  = 8
10A + 4B  = -4
2A + 5B + 4C  = -14
Решая ее, находим:
A = 2;B = -6;C = 3;
Частное решение имеет вид:
y* = 2x2 -6x + 3
Таким образом, общее решение дифференциального уравнения имеет вид:

Решение было получено и оформлено с помощью сервиса:
Дифференциальные уравнения