I en intervju med BBC Radio 5 Live fick han frågan hur han skulle känna om hans dotter varje dag tvingades gå förbi ett hotell med asylsökande invandrare.
– Jag förstår det helt. Lokala invånare vill i regel inte ha de här hotellen i sina städer, och det vill inte jag heller, sade Starmer.
Regeringens nuvarande mål är att avveckla hotellen senast 2029, men premiärministern sade att tidsplanen måste kortas. Samtidigt insisterade han på att avvecklingen måste ske på ett ordnat sätt.
Frågan om asylhotell har utlöst starka reaktioner runt om i landet. I Epping lyckades regeringen och hotellägaren nyligen stoppa ett domstolsbeslut som skulle ha tvingat fram en stängning. Tre personer greps under protester i staden i söndags kväll.
Inrikesminister Yvette Cooper ska i eftermiddag möta parlamentet. Hon väntas försvara regeringens linje och hävda att de första reformerna redan ger resultat.
Cooper vill korta handläggningstiderna för asylärenden från ett år till under 24 veckor.
Nya "paneler" ska prioritera fall som gäller utländska brottslingar och invandrare som bor på hotell. I motsats till Sverige förbereder hon också skärpta regler för anhöriginvandring.
Bara de som uppfyller grundläggande krav som språkkunskaper i engelska ska kunna ta hit familjemedlemmar, heter det.
Oppositionen anklagar å sin sida Labourregeringen för att inte ta problemen på allvar och skugginrikesminister Chris Philp avfärdar Coopers planer som en ”minimal justering”.
– Det här kommer att göra väldigt liten skillnad. Människor som korsar kanalen illegalt borde inte överhuvudtaget få ta hit sina familjer, sade han till BBC.
Han hänvisade till den tidigare regeringens Rwanda-plan, som enligt honom skulle ha inneburit att ”varenda illegal invandrare som korsar kanalen skickas till Rwanda omedelbart”.
