Először valami általános info:
Az egyforma hosszukat jelöljük `h`-val. Szóval `|bba|=|bb b|=h`
Ha a két vektor szöge `α`, akkor skalárszorzatuk ennyi:
`bba·bb b=|bba|·|bb b|·cos\ α=h^2·cos\ α`

Ha merőlegesek, akkor a skalárszorzatuk nulla.

Az aktuális feladatnál ezt tudjuk:
`bba` és `bb b` nem merőlegesek, de tudjuk, hogy mik merőlegesek, azok szorzata nulla:
`(bba+2bb b)(5bba-4bb b)=0`
`5bba^2+6bba bb b-8bb b^2=0`

Az `bba^2` meg `bb b^2` a vektorok saját magukkal való skalárszorzataik; az ugyanannyi, mint a hosszuk szorzata. Mivel a hosszuk mindkettőnek `h`, ezért mindkettő `h^2`. `bba·bb b` pedig az eerdeti vektorok skalárszorzata, amit az elején felírtam. Mindezt behelyettesítve:
`5h^2+6·h^2 cos\ α-8h^2=0`
`6·h^2 cos\ α-3h^2=0`
`6·h^2 cos\ α=3h^2`
Mivel a `h` hossz nem nulla, oszthatunk `6h^2`-tel:
`cos\ α=1/2`

Innen már tudnod kell a szöget.