Данное дифференциальное уравнение относится к линейным дифференциальным уравнениям с постоянными коэффициентами.
Решение уравнения будем искать в виде  y = erx. Для этого составляем характеристическое уравнение линейного однородного дифференциального уравнения с постоянными коэффициентами:
 r2 -2 r + 0 = 0
D = (-2)2 - 4 • 1 • 0 = 4

Корни характеристического уравнения:
r1 = 2
r2 = 0
Следовательно, фундаментальную систему решений составляют функции:
y1 = e2x
y2 = e0x
Общее решение однородного уравнения имеет вид:

Рассмотрим правую часть:
f(x) = x•e2•x
Поиск частного решения.
Линейное дифференциальное уравнение с постоянными коэффициентами и правой частью вида:
R(x) = eαx(P(x)cos(βx) + Q(x)sin(βx)), где P(x), Q(x) - некоторые полиномы
имеет частное решение
y(x) = xkeαx(R(x)cos(βx) + S(x)sin(βx))
где k - кратность корня α+βi характеристического полинома соответствующего однородного уравнения, R(x), S(x) - полиномы, подлежащие определению, степень которых равна максимальной степени полиномов P(x), Q(x).
Здесь P(x) = x, Q(x) = 0, α = 2, β = 0.
Следовательно, число α + βi = 2 + 0i является корнем характеристического уравнения кратности k = 1(r1).
Уравнение имеет частное решение вида:

Вычисляем производные:
y' = e2x(2•A•x(x+1)+2•B•x+B)
y'' = 2•e2x(A(2•x2+4•x+1)+2•B(x+1))
которые подставляем в исходное дифференциальное уравнение:
y'' -2y' = (2•e2x(A(2•x2+4•x+1)+2•B(x+1))) -2(e2x(2•A•x(x+1)+2•B•x+B)) = x•e2•x
 или 
2•A•e2x+4•A•e2x•x+2•B•e2x = x•e2•x
Приравнивая коэффициенты при одинаковых степенях х, получаем систему уравнений:
2A + 2B  = 0
4A  = 1
Решая ее, находим:
A = 1/4;B = -1/4;
Частное решение имеет вид:
y* = x ((1/4x -1/4)e2x)
Таким образом, общее решение дифференциального уравнения имеет вид:

Решение было получено и оформлено с помощью сервиса:
Дифференциальные уравнения