Данное дифференциальное уравнение относится к линейным дифференциальным уравнениям с постоянными коэффициентами.
Решение уравнения будем искать в виде  y = erx. Для этого составляем характеристическое уравнение линейного однородного дифференциального уравнения с постоянными коэффициентами:
r3 - 8r2 + 17r = 0
Вынесем r за скобку. Получим:
r(r2-8r+17) = 0
Здесь r1 = 0. Найдем остальные корни.
 r2 -8 r + 17 = 0
D = (-8)2 - 4 • 1 • 17 = -4

Корни характеристического уравнения:
r1 = 0
(комплексные корни):
r2 = 4 + i

Следовательно, фундаментальную систему решений составляют функции:
y1 = e0x

Общее решение однородного уравнения имеет вид:

Решение было получено и оформлено с помощью сервиса:
Дифференциальные уравнения