Jak rozumiem masz w zasobach aplikacji plik, w którym zapisane masz int'y? Jak byś do tego nie podszedł, nie da się oczytać pliku w jednym kroku. Tak czy inaczej wczytanie kilkunastu lub kilkudziesięciu tysięcy liczb zajmie trochę czasu. Google powiedziały mi także, że zrzutowanie całej tablicy na inny typ nie jest możliwe - niestety trzeba rzutować poszczególne elementy tablicy. Inna sprawa, że jeżeli piszesz o jakiejś metodzie wczytującej plik w postaci bajtów dochodzi tutaj także problem reprezentacji int'ów w pliku źródłowym i o żadnym prostym rzutowaniu może nie być tutaj mowy...
Jeżeli naprawdę zależy Ci na wydajności, możesz pobawić się JNI. Długa pętla wczytująca dane i algorytm operujący na tych danych w natywnym kodzie powinny działać o wiele szybciej niż wersja interpretowana przez Dalvika. W zależności od tego, co dokładnie zamierzasz zrobić z liczbami w pliku możesz również rozważyć np. wczytywanie pliku po kawałku i obrabianie danych na bieżąco, nawet przy pomocy 2 wątków - oczywiście jeżeli realizowany algorytm dostaje się do danych w sposób liniowy, a nie losowy.