Filips Willem (zie foto) werd op 19 december 1554 op het kasteel van Buren geboren. Zijn vader Willem van Oranje was een invloedrijke edelman aan het hof van keizer Karel V. Filips Willem werd katholiek gedoopt. Hij werd genoemd naar Filips,
de zoon van Karel V, die later zijn vader zou opvolgen als landsheer
van de Nederlanden en koning van Spanje. Zijn tweede doopnaam Willem
komt van zijn grootvader van vaders kant. Bij geboorte kreeg hij de
titel graaf van Buren. Zijn moeder Anna van Egmont, ook bekend als Anna van Buren, overleed drie jaar na zijn geboorte.
In 1566 brak in de Nederlanden de Opstand
uit. Willem van Oranje trad bijna niet op tegen de opstandelingen en
raakte hiermee uit de gratie bij Filips II. Hij werd veroordeeld voor
hoogverraad en vluchtte naar zijn stamslot Dillenburg in Duitsland. Zijn bezittingen in de Nederlanden werden verbeurd verklaard.
Filips Willem, die toen student was aan de Universiteit van Leuven, werd gevangengenomen in zijn studieverblijf, het refugiehuis van de Abdij van Sint-Truiden. Vanuit Leuven werd hij in februari 1568 naar Spanje gevoerd. Dit gebeurde op aanraden van Granvelle, die zich zo kon revancheren op zijn rivaal. Toen de soldaten bij de universiteit kwamen om de student gevangen te
nemen, stonden bij de ingang het hoofd van de universiteit, het bestuur
en de hoogleraren om de ontvoering te voorkomen. Het zou de rechten van
de universiteit schenden. Alleen de rector mocht volgens de privileges
een student aanhouden. Het mocht niet baten en Filips Willem werd
meegenomen. Hij kreeg twee dagen de tijd om zijn bagage en entourage
voor te bereiden op de reis, die hem eerst naar Antwerpen en van daar
naar Spanje bracht. Filips Willem diende als gijzelaar in Spaanse handen
te blijven en zou zijn vader nooit meer terug zien.
Gedurende zijn lange verblijf in Spanje kreeg hij een katholieke opvoeding. Aan de universiteit van Alcalá de Henares
voltooide hij zijn studies. Hij studeerde vooral talen, waarvoor hij al
eerder in Leuven belangstelling getoond had. Filips Willem sprak vlot
Latijn, Spaans, Frans, Italiaans, Duits en Nederlands. Over zijn
studentenleven zijn verder geen gegevens bekend. Het doel van de Spaanse
koning was om Filips Willem zo lang mogelijk in Spanje te houden om zo
de herinnering aan zijn afstamming en aan de Nederlanden te doen
verdwijnen. Na het voltooien van zijn studies kreeg Filips Willem een
nieuwe verblijfplaats toegewezen in het kasteel van Arévalo, een versterkte stad in de provincie Ávila.
De burcht van Arévalo was gebouwd tussen de 12de en de 16de eeuw en
bood niet al te veel comfort. Het is niet duidelijk hoe het verblijf van
de prins daar verliep. Hij werd niet als een gevangene behandeld, maar
hij werd buiten alle mogelijke politieke en andere beslissingen
gehouden. Bovendien had de prins weinig of geen eigen inkomsten.
Daarnaast was in Arévalo zelf weinig te beleven. Tijdens zijn verblijf
werd de prins hoofdzakelijk omringd door Spaans personeel, omdat men
zoveel mogelijk contacten met de Nederlanden wilde vermijden. Toch
probeerde Filips Willem via brieven toenadering te zoeken tot zijn
vader, hetgeen verboden was door de Spaanse overheid. Toen een Spaanse
kapitein na de moord op Willem van Oranje Filips Willem een bezoek
bracht in Spanje, begon deze Willem te beledigen. Filips Willem kon dit
niet verdragen en gooide de Spanjaard door het raam. Deze overleefde
zijn val niet.
Tijdens zijn gedwongen verblijf in Spanje nam zijn zus Maria zijn taken in de Noordelijke Nederlanden waar.