Libertarismi lähtee siitä, että ihmiset ovat järkeviä, itsenäiseen päätöksentekoon kykeneviä yksilöitä. Lapset eivät kuitenkaan välttämättä täytä tällaisia rationaalisuusehtoja. Sama pätenee mielisairaisiin, vanhuudendementiasta kärsiviin ja vastaavilla tavoilla nykyään vajaavaltaisiksi luokiteltaviin. Näiden ryhmien asema on libertarismissa ongelma. Toisaalta olisi toivottavaa että niilläkin olisi täydet vapausoikeudet, mutta toisaalta sitten jonkinasteinen holhous tai vähintäänkin positiiviset oikeudet näyttävät ihmisen luonnollisen kehityskaaren ja tiettyjen lääketieteellisten tilojen tähden sopivan joillekuille paremmin.
Libertaarien piirissä törmätäänkin aika ajoin tiettyihin ajatuskokeisiin joissa vapaus ja esimerkiksi lasten erityispiirteet ovat poikkeuksellisen rajussa ristiriidassa. Tällaisista voisivat toimia esimerkkeinä lapsen suostuminen seksiin, kodista kapinana karkaavat nuoret, vanhempiaan tyrannisoivat kauhukakarat, dementoituneisiin vanhuksiin erikoistunut huijari tai vaikkapa syvästi masentuneille itsemurhapalveluita tarjoava yrittäjä. Lisäksi tällaisissa tapauksissa ongelmaksi muodostuvat mahdollisen holhoojan positiiviset velvoitteet sekä holhoojan määräytyminen, sillä libertarismin kova ydin nojaa puhtaasti negatiiviselle vapaudelle joka ei salli velvoitteita langetettavan täysivaltaisille yksilöille.
Niinpä libertaarien suhtautuminen lasten ja muiden vajaavaltaisten oikeuksiin vaihtelee. Suurin osa lähinnä jättää aiheen sikseen ja kannattaa pohjimmiltaan vallitsevaa asiaintilaa. Osa taas yrittää johtaa holhottavien aseman omistusoikeudesta ja päätyy muun muassa siihen lopputulokseen että lapset ovat vanhempien työn tuloksena pohjimmiltaan heidän omaisuuttaan jolla ei ole kuin korkeintaan hyvin minimaalisia oikeuksia ennen itsenäistymistä. Osa taas kannattaa täysimittaista vapausoikeutta kaikille, mahdollisista ongelmista piittaamatta. Tätä näkökulmaa perustellaan lähinnä vapauden rajoittamisen mielivaltaisuudella, tulkinnanvaraisuudella sekä niistä seuraavilla vakavilla riskeillä vapaudelle yleensä. Viimein eräänlaisena välimuotona osa libertaareista katsoo lasten ja joskus muiden holhousta kaipaavien laajan vapauden ja vanhempien tai laillisen holhoojan positiiviset velvoitteet vähintäänkin moraalisesti oikeutetuiksi.
Viimeiselle kahdelle näkökulmalle on tyypillistä, että ne samalla painottavat erilaisia lakiin sisältyviä varomekanismeja joilla vajaavaltaisten tai muutoin itsenäiseen päätöksentekoon kykenemättömien laillista asemaa yleisemmin turvataan. Tällaisesta voisi toimia esimerkkinä vaikkapa se laaja kokoelma erilaisia ehtoja jotka määräävät sopimusten lainpitävyyden.
Lasten kohdalla mahdollinen huoltovastuu on helppo määrätä—vanhemmathan kuitenkin hankkivat lapsen omasta päätöksestään. Sen sijaan muiden mahdollisesti vajaavaltaisten kohdalla ongelma on jälleen suurempi. Yleensä libertaarit luottavat tässä hyväntekeväisyyteen ja yksityiseen moraaliin. Julkisia järjestelyjä vajaavaltaisten huoltamiseksi tai huoltovastuun sälyttämiseksi esimerkiksi omaisille vierastetaan niihin liittyvien riskien ja vapausoikeudellisten hankaluuksien tähden.