北洋大臣的业务有许多牵涉到外交事务，所以清廷总是选择通洋务的大臣来担任这个职务，尤其当八国联军侵占直隶之后，直隶总督辖区内自然有许多和洋人分不开的关系。直隶总督衙门设在天津，可是天津已在八国联军占领下。《辛丑条约》签订后，洋兵交还天津时，曾照会清朝政府，提出一个条件，是在天津周围廿华里以内，不许驻扎中国军队。这实在是一个极不合理的条件，试想堂堂北洋大臣和直隶总督竟在他的衙门所在地没有军队保护，真是非常不合理的。袁世凯处理这个问题充分表现出他的明智。他在所辖部队中抽调出一精一锐的3000人，编为“巡警营北段”，派段芝贵率领，用维持治安的名义进驻天津，以1500人驻札天津市区，另1500名则分驻西沽、塘沽、山海关、秦皇岛、北塘等地。这些曾经过严格陆军训练的巡警，纪律严明、一精一神壮旺。此一措施对于地方治安的确保，收到极为成功的效果。接着为了加强巡警工作，又添募马队巡警50名，消防巡警100名，予以认真地训练和管理。同时又有小汽船三艘为巡缉河海之用。还创设了一个巡警学堂，延聘外国教师担任讲习，使警察人员有专门教育。清朝有正式的警察便是从袁世凯在直隶总督任内开始的。当八国联军占领天津时，曾共同组成了都统衙门管理天津的行政和民间诉讼，联军撤退后在天津还留下洋警察为都统衙门的象征力量。袁世凯莅任后，即进行收回天津治权，派唐绍仪和八国委员签约。于光绪廿八年（1902年）七月十二日正式接管天津，撤去都统衙门，洋警察自然随之撤走。当时，关内外铁道都在英俄两国管理中，袁于八月初六赴山海关，会同俄国提督验收关外铁道，包括：由山海关至营口已成线700余里，由沟帮子至新民屯未成线200余里，包括沿铁路线所有厂房设备。八月廿六日英公使到天津，会同英国提督交还关内铁道823里，也包括所有厂房设备。还有开平煤矿问题。原来在八国联军入京时，开平煤矿的监督张翼奏募外国股份改为中外合同会社，他的理由是希冀保全矿产，于是他收受英人5万金镑，而在签定条款时则把矿池、河道均交付接办人永远执守。这简直是卖断，不要说清廷不知，大约张翼本人也不很清楚，直到有一天开平煤矿局局员杨善庆在局中升起“国旗”，英国竟宣称这是英人土地，不得悬挂黄龙旗，且有张翼卖断的各种凭证。袁乃请北京外务部（总理各国事务衙门裁撤后改为外务部）通知英国公使，声明张翼卖矿的私约，政府不能承认。同时请旨惩处张翼，责令克期收回煤矿。当洋兵占领天津时，比利时人得清政府许可，准其在天津设立电车电灯公司。袁在直督任内，比人依照已签条约要求开办，袁不答应，认为以前所定的条款丧失权利太大，必须修改，比国使馆与清外务部几经交涉，均因袁坚持立场而无法获致结果。最后另订新约，以50年为限，每年赢利先缴地方官，提三成半给股东，倘使用民地，则由公司付租。50年期满后，一切轨道、房屋、木材、地基、机器车辆以及各种产业，均归直隶总督衙门所有，交还时并须修整完全，不得伤损，开办时先缴银五万两作为兴建天津御河铁道及安装排泄濠水机器之费用。光绪卅年（1904年）袁的老朋友又曾做过他老师的南通状元张謇致书于袁，请袁促成清廷“立宪”。这封信洋洋洒洒千余言，函略云：“公今揽天下重兵，肩天下重任矣，宜与国家有死生休戚之谊。顾亦知国家之危，非夫甲午、庚子所得比，方乎不变政体枝枝节节之补救无益也，不及此，日俄全局未定之先，求变政体而为揖让救焚之迂图无及也。日俄之胜负，立宪专制之胜负也。今全球完全专制之国谁乎？一专制当众立宪尚可幸乎？日本伊藤板垣诸人共成宪法，巍然成尊主庇民之大绩，特命好耳！论公之才岂必在彼诸人下，即下走自问志气亦必不在诸人下也。”云云。洋洋千言，袁非常佩服。这时候朝野一片促请立宪声浪，加上日俄战争的结果，君主立宪的小国日本，竟战胜了号称强国又是君主专制的帝俄，更证明君主立宪是一件顺人心的大事。清廷不得已，乃成立一个“考察政治馆”，同时接受袁请派亲贵出国考察政治的建议，乃派遣五位大臣：载泽、戴鸿慈、徐世昌、端方、绍英出洋考察宪政，以作敷衍，借以拖延时间。光绪卅一年（1905年）八月廿六日，五位大臣自北京启程出国，到前门外车站上，却被一位潜伏车站的刺客投了一颗炸弹，炸伤载泽和绍英二人。于是出国考察之行展期，九月才再度成行，由山东布政使尚其亨、顺天府丞李盛铎代替了徐世昌和绍英。绍英是伤势未痊不能成行，徐世昌奉委了一个新职务。这个新职是因为五大臣遇刺事件发生后，适应形势要求而增设的一个机构，也是袁世凯所建议：设立一个巡警部以统筹全国治安工作，集中事权。这个新衙门的首长也是袁世凯所保荐的，巡警部尚书是徐世昌，巡警部侍郎是赵秉钧。谋刺五大臣的刺客是桐城人吴樾，他是保定高等学堂的学生。他这颗炸弹又帮了袁世凯一个大忙，便是使袁借此机会抓到了清朝的警察权。光绪廿八年（1902年）九月十七日慈禧准给袁丧假40日，让他回籍安葬生母刘氏，并追赠刘氏正一品夫人，赐祭一坛，命河南巡抚代祭。这些在清朝都是无比的尊荣。袁遂于九月廿五日把直督交由藩司吴重焘护理，于十月初八日返抵河南项城。这趟归来可算做“衣锦还乡”，河南巡抚远道迎迓，地方官员都是倾城迎接，场面非常荣耀。袁和夫人于氏、五位姨太太及儿女多人一齐回乡，很隆重地办完了这场葬礼。乡人们都盛称这位袁母刘太夫人有福气，一直等到儿子位极人臣才下葬。袁在原籍只停留了14天，他返回天津前，取道东南，由信一一乘车至汉口。十月廿三日偕湖广总督端方参观炼铁厂和兵工厂。然后改乘汽船抵九江转江宁，和两江总督刘坤一会晤。然后到上海拜访吕海寰和盛宣怀。于十一月三日乘海圻轮北返，两天后抵达秦皇岛，转道回天津任所。中国第一个军乐队是袁世凯在北洋大臣任内建立的，正式使用则是在光绪廿九年（1903年）三月慈禧和光绪行幸保定时。原来中国虽是礼乐之邦，可是军乐的使用各个朝代都不同；唐朝时唐太宗非常重视，到宋朝以后便渐渐忽略了。西洋隆重的军乐给袁世凯一个深刻印象，于是他便组成一支军乐队，所有乐器完全采用西洋的。这次两宫行幸保定，军乐队便在车站迎驾，慈禧和光绪下火车后，袁世凯率领百官跪迎，这时军乐奏了起来，最妙的是所奏的曲子竟是法国国歌《马赛进行曲》。因为当时清朝没有国歌，更没有其他迎接帝王大典的曲子，军乐队只会奏几只世界各国国歌，好在大家也不知道这是什么曲子，更不知道当时应该奏什么曲子。慈禧和光绪从来没有见过这种玩意，所以极感兴趣，她轻移御步走到军乐队前，很仔细地端详这些乐器，并且用极兴奋的口吻打听这些乐器的称呼，什么大喇叭、大鼓之类。袁世凯一一为太后解释，他这洋玩意确实把老太后唬住了。不过，随侍在慈禧身边有一位曾经到过欧美各国游历的德龄公主当然见过军乐队这玩意，也懂得奏马赛曲来迎慈禧是极可笑的事，但她不敢把这西洋镜拆穿。同时她觉得袁世凯建立军乐队总是一种迎合时代的东西，而清朝又没有正式的曲子，所以她在事后有机会和慈禧谈到军乐时，便作建议说：“老佛爷世界各国都有国歌，咱们大清也该有国歌。老佛爷出巡或是有国家大典时，军乐队奏起大清国歌，才叫庄严呢！”慈禧听了大感兴趣，顺口答说：“是嘛，赶明儿叫个人作一支唱唱！”虽然这么说，说过也忘了。因此清朝时袁世凯虽然组成了一支军乐队，可是却始终没有国歌。光绪卅年（1904年）十月初十日是慈禧的寿诞，全国都热烈庆祝，而北京皇宫中更是喜气洋洋，上上下下最感兴趣的是欣赏各大臣献给太后的礼物。这些礼物都是海内外的奇珍异玩，应有尽有。谁也没有想到直隶总督袁世凯所呈献的礼物是什么？因为像张之洞每次呈献慈禧寿诞总是价值连城的翡翠绿玉。据说张之洞是最懂“玉”的专家，慈禧也最欢喜他的礼物。但这一年袁世凯却出了大风头，他的礼物是一只鹦鹉，红嘴啄，彩色羽翼的鹦鹉。宫中都很奇怪，以袁宫保受慈禧如此宠信，又是首席总督，为何寿礼如此菲薄呢？当鹦鹉装在笼子里呈到太后面前时，奇迹出现了，鹦鹉竟对着太后用纯粹京腔说：“给老佛爷请安，老佛爷万岁万岁万万岁！”这一来老太后可大乐了。这年的寿礼中袁世凯的鹦鹉出尽了风头。北洋大臣时代的袁世凯，俨然已是当代名臣，这一时期他集中智慧和心计在培养自己的力量，他练新军、办军事学校，加强自己的干部。对于干部除了用金钱收买外，还使用一套旧社会的统御术，让这些干部认他做义父或是老师，至于和那些有名望、有地位的王公大臣们，则用结成儿女亲家或拜把兄弟来加强联系；对武备学堂毕业的学生，则收他们作义子或门生；对一般北洋军的士兵们，则指使私党在各营中供奉袁的“长生禄位牌”；同时经常散播：“袁宫保是北洋军的衣食父母，有了袁宫保就不怕没有升官发财的机会。”他懂得曾国藩和李鸿章成功的因素，由于时代不同，他没有靠战争建立武力的机会，但他却因为列强欺侮而获得练建新军的机会，因此他仍可以媲美曾、李。他和曾、李都遭遇到同一个难题，就是汉人无论替清廷出了多少大力，但最终都不会得到清廷的信任，这就是当年曾国藩惴惴不安的原因。所以他在功业一帆风顺的过程中，并不自足，相反地经常都保持了高度的警惕，尽可能地把清廷贵胄拉出来作为掩护，以减少清室贵族对他的猜忌心。所以他在山东巡抚任内，就奏调旗籍道员荫昌佐赞军务；署理直隶总督时，则挑选八旗子弟3000人参加新军训练，同时奏保旗籍道员铁良为京旗练兵翼长，参预新建陆军训练工作；实授直隶总督后，建议成立京畿督练新军处，推举奕廖督练大臣，而自任副手。这一切都说明袁在壮大自己力量的时候，对于消除满人的猜忌，化了极大的心机。