Ist bei mir leider auch sehr oft der Fall.
Du musst in den Einstellungen vom Google Assistant am Handy das "hey Google" deaktivieren. Eine andere Lösung habe ich leider nicht gefunden.
Bei mir lässt sich der Google Assistant auf meinem Xiaomi Handy jetzt aktivieren wenn ich 0,5 Sekunden den Power Button drücke oder von den unteren Ecken nach oben streiche.
So habe ich es jetzt auch gemacht. Muss halt dann auf meinem Google Pixel manuell den Assistant starten.