赵芬字士茂，天水西人。 父亲赵演，北周的秦州刺史。 赵芬少有辩才，很读了一些经史方面的书。 北周太祖任他为相府铠曹参军，历任记室，累次升迁到熊州刺史。 他招纳投降的，安抚归顺的，得到了二千户人口。 加授他开府仪同三司。 大冢宰宇文护召他为中外府掾，他不久又升任吏部下大夫。 赵芬生性强干有才，不管干什么，都有政绩。 北  周武  (《隋书白话文》人物)帝亲总万机后，授他为内史下大夫，后转任少御正。 赵芬熟悉典章制度，朝廷每次有疑问，众人议论，不能决断的，赵芬就为之评断，没有不说好的。 他后来当司会。 申国公李穆征讨北齐时，引赵芬为行军长史，封他为淮安县男爵，食邑五百户。 又出京为淅州刺史，转任东京小宗伯，镇守洛一一。 隋高祖为北周丞相时，尉迟迥与司马消难一一谋来往，赵芬觉察到了，秘密告诉高祖。 因此深被重用，升为东京左仆射，晋爵位为郡公。 开皇初，罢东京官职，授为尚书左仆射，与郢国公王谊一起，起草法律。 继而兼任内史令，高祖很信任他。 不久，他因老病，出京任蒲州刺史，加授为金紫光禄大夫，仍兼管关东的漕运，赐他钱上百万，粮食五千石。 几年后，赵芬上表请求退休，被调回京师。 赐他二马轺车、几杖被子，让他回家。 皇太子又送他巾帔。 几年后去世。 皇上派人吊唁，鸿胪卿监护丧事。