Też z tym walczyłem i w/w rozwiązanie w moim przypadku nic nie dawało.
Wcześniej miałem pierwotną wersję iYTBP dla Magiska i ta na Oreo nie trybiła.
Po instalacji modułu pojawiała się apk > any < i waliła FC.
Instalowanie wersji iYTBP z repo Magiska, czy z http://iytbp.onlineyoutube.com/ nic nie dawało.
Nie było widocznego modułu instalowanego przez TWRP, przez Manager Magisk był widoczny moduł ale YT pozostawało stockowe.
Pozostawały jakieś śmieci po "starym" iYTPB, które powodowały konflikt z tym wznowionym modułem iYTBP dla Magiska.
Dopiero wypitolenie całkowicie wszystkiego z sytemu po YT (com.android.google.youtube, - com.android.google.apps.youtube@ itd_)
pozwoliło na zadziałanie modułu z repo.