在量子霍尔效应的启示下,科学家们预言自然界可能存在一类新的无自发对称破缺的拓扑物质状态。近年来发现的拓扑绝缘体就是一类新型的量子拓扑态材料。由于自旋轨道耦合作用,在体能隙中存在拓扑保护的边缘态(二维情况)或表面态(三维情况),且非常稳定,不受到杂质和表面无序的影响。自旋轨道耦合与量子霍尔效应中的外磁场起着类似的作用,但自旋轨道耦合作用不破坏系统的时间反演对称性。石墨烯是第一个被预测存在时间反演对称不变的量子自旋霍尔态的系统,它具有两个自旋简并的不等价狄拉克锥,在狄拉克点附近的电子波函数用狄拉克方程来描述。最近实验上证实了在二维的HgTe/CdTe量子阱中存在这种时间反演对称不变的量子自旋霍尔态。随后,实验上又发现了一些三维拓扑绝缘体材料,它们的体能隙中存在无能隙的表面态,对于强拓扑绝缘体只有奇数个狄拉克锥,在任何方向都是拓扑非平庸的。三维拓扑绝缘体薄膜也具有奇特的物理性质,从而提供了更多可能的拓扑应用。拓扑绝缘体和其他材料的邻近效应,可以产生拓扑磁电效应以及Majorana束缚态等,这在自旋电子学和量子计算方面可能有重要的应用前景。因为拓扑绝缘体的边缘态或表面态不依赖于样品边缘和表面的状况,而取决于体能带的拓扑性质,可以用非平庸的拓扑不变量来和一般绝缘体区分。例如,二维拓扑绝缘体(量子自旋霍尔态)系统通常用Z2拓扑数或者自旋陈数来刻画。为了更加深刻的理解拓扑绝缘体的拓扑性质,建立拓扑不变量的解析公式和发展一个有效的计算方法也是非常有必要的。这篇博士论文主要包括以下内容：在第一章中,我们简要的介绍了近年来二维和三维拓扑绝缘体领域的理论和实验研究,主要包括二维石墨烯系统的Kane-Mele模型,二维HgTe/CdTe量子阱,三维拓扑绝缘体和三维拓扑绝缘体薄膜,以及一些拓扑不变量。同时,也简单的介绍了一些表征拓扑绝缘体系统的拓扑不变量的理论方法。在第二章中,我们建立了计算三维拓扑绝缘体(Bi2Se3)薄膜系统的拓扑不变量一赝自旋陈数的解析方法。在破坏结构反演对称性的情况下,拓扑绝缘体薄膜的表面态产生了Rashba型的分裂能谱,由于表面态的(赝)自旋不守恒,因此可以用(赝)自旋陈数来描述系统的拓扑平庸或者非平庸态。通过计算(赝)自旋陈数,得到了拓扑绝缘体薄膜在破坏结构反演对称性情况下的相图,结果表明较强的结构反演不对称会破坏量子自旋霍尔态,也就是在一个临界点会发生拓扑平庸和非平庸态的量子相变。而在时间反演对称不变的系统,用自旋陈数和汤拓扑数来描述拓扑态是等效的。进而,我们研究了存在静电势和：Zeeman交换场的三维拓扑绝缘体薄膜系统的拓扑量子相变,前者破坏结构反演对称性,后者破坏时间反演对称性。结果发现系统存在着量子(赝)自旋霍尔态,量子反常霍尔态和普通的绝缘态,每个相可以由(赝)自旋陈数来表征。通过调节静电势和Zeeman交换场,这些拓扑量子相变都伴随着体能隙的闭合。非常有意思的是在一定范围的Zeeman交换场的情况下,破坏了时间反演对称性,量子(赝)自旋霍尔态仍然存在。同时,我们也构建了一个扶手椅形的六角晶格紧束缚模型,用来研究拓扑绝缘体薄膜系统的不同的量子拓扑态,得到的结果和各类量子拓扑态的边缘态图像是一致的。在第三章中,我们发现存在Zeeman交换场的三维拓扑绝缘体薄膜中可以实现Haldane模型,即存在无朗道能级的反常霍尔效应。其中Zeeman交换场等效于Haldane模型中六角晶格的交错磁通,表面态的杂化能隙等效于AB子格的交错晶格势。因此,这样的三维拓扑绝缘体薄膜系统和Haldane模型是拓扑等价的。我们利用Kubo公式数值计算了三维拓扑绝缘体薄膜的量子霍尔电导,给出了磁场中拓扑绝缘体薄膜的一个有意义的相图,该量子霍尔电导相图既不同于传统的量子霍尔效应系统,也不同于石墨烯。在第四章中,基于一般的拓扑讨论,我们给出了关于量子自旋霍尔效应的拓扑性理解,即在量子自旋霍尔系统中,不依赖于时间反演对称性和其它对称性,非平庸的自旋陈数和规范不变性要求,边缘态必然出现在样品的边缘,并且边缘态的能谱或者自旋谱隙(投影算符PszP的能谱)必须闭合,分别对应无能隙和有能隙两类边缘态。为了更好的阐述这个基本的讨论,我们以Kane-Mele模型的六角晶格纳米带作为研究的对象,考虑一个均匀的Zeeman交换场,以及纳米带的边缘存在不同的限制势构型,在时间反演对称性破缺的情形下,用数值计算的方法分析了边缘态能谱和自旋谱隙的演化,发现存在有能隙或者无能隙的边缘态,取决于陡峭的或者缓变的边缘势构型。最显著的是对于缓变的边缘势,无能隙的边缘态对空间缓变的杂质势的微扰是非常稳定的,因此无能隙的边缘态是只受体能态的拓扑性保护的,与具体对称性无关,这些结果与前述的规范讨论完全吻合。实验上检测无耗散的边缘态的困难在于样品边缘两支相向运动的载流子有相同的空间几率分布,因而破坏时间反演对称性的微扰,很容易让一对时间反演的手征边缘态在空间上发生背散射。通常破坏时间反演对称性的微扰不可避免,这使量子自旋霍尔效应在实际环境中很难观测到。为了能在实验上提高量子自旋霍尔效应的输运性质的可观测性,在第五章中,我们提出一个在样品边缘进行磁性的操控来破坏时间反演对称性,从而产生稳定的量子自旋霍尔效应的理论方案。可以通过磁性掺杂或者铁磁体的临近效应,在量子自旋霍尔系统样品的边缘产生一个窄的铁磁区域。在此铁磁边缘区量子自旋霍尔效应的一个边缘态推到磁化区的内边界,而另一个边缘态仍然留在磁化区的外边界,并且它们的自旋极化方向和运动方向均没有改变。因为这样两个相向运动的自旋极化相反的边缘态在空间上被分成了两个通道,所以即使存在破坏时间反演对称性的微扰,这个量子自旋霍尔效应也是稳定的。在本文的最后一章,我们做了一个简单的总结和展望。