柴绍的祖父柴烈曾是北周骠骑大将军，历任遂、梁二州刺史，封冠军县公。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，袭封唐国公。柴李两家早在李渊父亲那一代就关系不错，到了李渊这一代时，真正可以称得上是世交。

李渊与柴绍的父亲柴慎也颇有交情，也正是因为如此，所以早在柴绍与平阳公主还是小孩子时，两人就已经有了婚约，等到平阳公主到了及笄之年，她与柴绍就正式订亲，只不过当时窦皇后身体不好，不想女儿太早离开自己，所以两人才没有成亲，后来窦皇后去世，平阳公主要守孝三年，这下婚事也彻底的耽误下来。

一直到了平阳公主快十九岁时，守孝期满，只是当时天下大乱，李渊也没有嫁女的心思，不过后来他暗中准备造反的事发，为了打消朝廷的猜忌，这才打算让平阳公主与呆在长安的柴绍成婚，变相的将平阳公主做为人质送到大隋朝廷手中。

平阳公主事先并不知道父亲准备造反的事，更不知道送她去成亲的目的，毕竟她是个女子，哪怕再受李渊的宠爱，但李渊宁愿和小她一岁的李世民商量这些事，也绝不会和平阳公主说这些，所以平阳公主一直单纯的以为自己要成亲了，根本不知道她的婚事还牵制到这么多事。

不过对于李渊的打算，柴绍的父亲柴慎却早就看穿了，也知道李渊要造反的事，毕竟他是李渊多年的好友，对李渊再了解不过。就在平阳公主去长安之前，柴慎就独自一人来到太原见到李渊，两人密谈了一夜柴慎才离开。

柴慎来见李渊，主要就是来和他谈条件的，当时他也不看好大隋的处境，只不过他没有李渊那么大的野心和魄力，自己不敢造反，于是就想搭上李渊这辆战车。

对于自己儿子和平阳公主的婚事，柴慎向李渊表示他可以同意，但是这样一来，他们柴家也要背上一定的风险，甚至柴慎也要冒着失去一个儿子的危险，因