从楼主描述来看,应该是CPU风扇不灵活了。
开机的时候,CPU风扇从静止不懂到每分钟几百上千转,这是一个急加速的过程。如果风扇轴承比较灵活,那么声音就不大。但是使用时间长了以后,灰尘会影响风扇轴承的润滑度,这样风扇在刚开始转动的时候会发出较大的声音。而转速稳定以后声音就减小了。
楼主可以打开机箱,将CPU风扇拆下,用手测试一下转动风扇,如果不能很灵活的转动起来,就需要清洁或者买一个新风扇了。顺便也可以将显卡风扇清洁一下。可以给轴承加点润滑油。如果要买新风扇,就要注意自己CPU的型号,AMD和Intel的风扇是不一样的,不同型号的CPU都可能有差别。如果实在不懂就带着自己的旧风扇去比较。现在好一点的风扇也才30-50,不算贵。
最后要注意的是,如果取下了风扇清洁,重新装上去之前要注意风扇和CPU之间的散热硅胶是否还在,如果被抹掉了就要均匀地涂一薄层,否则会造成CPU无法正常散热,危害更大。