两年后，王尚勤把李文送回台湾，希望留在她父母那里，以一年为期，她结婚后再把李文接到美国。后来王尚勤结婚了，李敖认为李文跟她，会给她不方便，决定由他接回。这时已过一年的约定，外公外婆喜欢外孙女，不肯放人了，于是李敖施用巧计，约外婆带李文看电影，电影散场时，在人丛中李敖和女儿有计划地“消失”，由他弟弟一面通知外婆“小文已被接回她爸爸那里了”，一面照料外婆安全返家。
当晚李文外公王光临等报警来抢李文，当警察查明原来小孩是到她爸爸家的时候(爸爸跟女儿的血亲自然比外公外婆近得多)，警察也管不了了。后来王光临气得在电话中大骂李敖。
李敖虽然把李文抢回来了，但他的处境非常恶劣，被台湾当局监控和软禁，李文基本上随李敖姐妹和母亲住在一起。1971年，李敖入狱，李文就和李敖的母亲一同赴美，住在美国李敖姐姐的家里。
事实上，虽然跟了李敖，李文在12岁以前，和李敖住在一起，加起来也不到一星期。李敖说：“我对李文的最大亏欠是我一生麻烦，使他不能跟我住，不能好好教育他。”
入狱之后，在1973年1月到1975年11月期间，李敖给李文写了许多信，对李文进行中英文函授，后来，这些信收在了《坐牢家爸爸给女儿的80封信》中。在这些信中，李敖对李文循循善诱，谆谆教导，关爱有加，呵护备至。
李敖老婆王小屯，原名王志慧，祖籍河北省，1964年出生在台湾省台北县南港镇。王小屯出身军人世家，从小在家属院长大，父亲和两个叔叔都是军校毕业。她的父母都是河北人，因此李敖称她是"纯种河北人"，有传统，保守、敦厚、耿直的个性。王小屯因与台湾著名作家李敖结婚而被大众知晓。据说。他们是在马路上的公车站台偶然相遇相识的。当时王小屯在等车，手拿着易拉罐饮料在喝，李敖在旁边看着她的清纯模样，主动和她搭话，这一搭就有了后面的故事。王小屯说，随着年龄的增长，她已懂得不以貌取人，而多去欣赏别人的内在。李敖具有别人身上没有的吸引力，以及无人能比的特质。
李敖儿子女儿：王小屯与李敖育有一子李戡、一女李谌。李敖的儿子李戡，1992年8月3日出生，2010年以优异成绩被北大经济学院录取，后弃台湾大学而择北大，成为热议的公众人物。李戡出版了他的第一本书，批判目前的教育体制。李谌，1994年11月23日生于台湾，李谌2007年毕业于台北市私立静心中小学，,获颁“议长奖”，李敖出席她毕业典礼并受邀致词时表示，希望她保持竞争实力，做强者，期许她成为乱世佳人。
