Cos^2x - 3sinx*cosx-2sinx^2x=0

Это однородное уравнение, решается делением на cos² x, получим в результате:

1 - 3 * tg x - 2 * tg² x = 0.

Т. е. получили квадратное уравнение относительно tg x, которое решается так же, как и любое стандартное квадратное уравнение.

Вычислим дискриминант:

D = 9 + 8 = 17.

tg x = (-3 - √17) / 4, откуда х = arctg ((-3 - √17) / 4) + pi * k;

tg x = (√17 - 3) / 4, откуда получим х = arctg ((√17 - 3) / 4) + pi * k.