中文摘要：

自2005年时间反演不变的拓扑绝缘体这一新的物质形态被发现以来，其表面态的各种奇异性质，特别是半整数的反常量子霍尔态和拓扑磁光效应，受到了广泛关注。迄今，这两种效应都还没有被实验观测到，这是因为，表面反常量子霍尔态和拓扑磁光效应都要求拓扑绝缘体表面上铁磁序的形成。实验上，生长本征拓扑绝缘体及其表面磁性材料的技术还不完善；理论上，拓扑绝缘体表面由狄拉克巡游电子所调制的磁矩间的相互作用是铁磁还是反铁磁，至今尚存争议。2009年底，一种用分子束外延生长薄膜拓扑绝缘体的技术被发展起来了，它在解决实验困难的同时，又为我们提出了新的课题(1)薄膜拓扑绝缘体这种新材料的表面特性如何，与已知的三维块体材料的表面性质有什么不同？(2)其表面上磁矩间的交换相互作用是铁磁、反铁磁，亦或其它？如何给出唯一判据？(3)如何利用这种新材料的性质设计实验？本项目旨在解决上述三个问题，并已经有了初步结果。

结论摘要：

我们首先建立了一个描述强拓扑绝缘体表面态的普适模型，并用稳定相的方法，系统地研究了拓扑绝缘体表面态的准粒子相干现象，并发展出了一套普适的理论。紧接着，我们转向更为“真实的”拓扑绝缘体体系，研究了在存在无序和强关联下拓扑态的稳定性问题。我们发现，不论是通过无序参杂还是引入强关联的相互作用，都可以引起体系的拓扑相变，使体系由一般绝缘体态进入拓扑绝缘体态。在此研究中，我们还发展出了一种在高维无序开放体系中计算波函数的转移矩阵的有效方法。由于无序和强关联都不是实验室易控的参数，我们进而将目光投入了易调控的光学体系，发现通过外加旋光的方法，同样可以实现一般绝缘体中的拓扑相变。不仅如此，我们还研究了存在拓扑缺陷态的体系的奇异光学性质。