Данное дифференциальное уравнение относится к линейным дифференциальным уравнениям с постоянными коэффициентами.
Решение уравнения будем искать в виде  y = erx. Для этого составляем характеристическое уравнение линейного однородного дифференциального уравнения с постоянными коэффициентами:
 r2 -6 r + 25 = 0
D = (-6)2 - 4 • 1 • 25 = -64

Корни характеристического уравнения:
(комплексные корни):
r1 = 3 + 4i

Следовательно, фундаментальную систему решений составляют функции:

Общее решение однородного уравнения имеет вид:

Рассмотрим правую часть:
f(x) = -36•x•cos(x)+(32•x-12)•sin(x)
Поиск частного решения.
Линейное дифференциальное уравнение с постоянными коэффициентами и правой частью вида:
R(x) = eαx(P(x)cos(βx) + Q(x)sin(βx)), где P(x), Q(x) - некоторые полиномы
имеет частное решение
y(x) = xkeαx(R(x)cos(βx) + S(x)sin(βx))
где k - кратность корня α+βi характеристического полинома соответствующего однородного уравнения, R(x), S(x) - полиномы, подлежащие определению, степень которых равна максимальной степени полиномов P(x), Q(x).
Здесь P(x) = -36•x, Q(x) = 32•x-12, α = 0, β = 1.
Следовательно, число α + βi = 0 + i не является корнем характеристического уравнения .
Уравнение имеет частное решение вида:
y* = (Ax + B)cos(x) + (Cx + D)sin(x)
Вычисляем производные:
y' = cos(x)(A+C•x+D)-sin(x)(A•x+B-C)
y'' = cos(x)(-(A•x+B-2•C))-sin(x)(2•A+C•x+D)
которые подставляем в исходное дифференциальное уравнение:
y'' -6y' + 25y = (cos(x)(-(A•x+B-2•C))-sin(x)(2•A+C•x+D)) -6(cos(x)(A+C•x+D)-sin(x)(A•x+B-C)) + 25((Ax + B)cos(x) + (Cx + D)sin(x)) = -36•x•cos(x)+(32•x-12)•sin(x)
 или 
-2•A•sin(x)+6•A•x•sin(x)-6•A•cos(x)+24•A•x•cos(x)+6•B•sin(x)+24•B•cos(x)-6•C•sin(x)+24•C•x•sin(x)+2•C•cos(x)-6•C•x•cos(x)+24•D•sin(x)-6•D•cos(x) = -36•x•cos(x)+(32•x-12)•sin(x)
Приравнивая коэффициенты при одинаковых степенях х, получаем систему уравнений:
-2A + 6B -6C + 24D  = -12
6A  = 0
-6A + 24B + 2C -6D  = 0
24A  = -36
Решая ее, находим:
A = -24/17;B = -140/289;C = 6/17;D = -118/289;
Частное решение имеет вид:
y* = (-24/17x -140/289)cos(x) + (6/17x -118/289)sin(x)
Таким образом, общее решение дифференциального уравнения имеет вид:

Решение было получено и оформлено с помощью сервиса:
Дифференциальные уравнения