AlertDialog jak się domyślam pochodzi od klasy Dialog, więc na 99.9% możesz zdefiniować dla niego swój własny wygląd (np. w xmlu) - tak samo jak robi się to w przypadku layout activity.
Natomiast, nie całkiem rozumiem o co chodzi z wystawaniem poza AlertDialog. Nie sądzę, aby można by to zrobić (wystawanie komponentu dziecka poza kompont grupujący).
Możesz natomiast użyć przezroczystości dla tła całego AlertDialog i zdefiniować w nim layout, który wypełnia AlertDialog tylko częściowo, a posiada nieprzezroczyste tło.