fpu_traps.S 8.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384
  1. /* SPDX-License-Identifier: GPL-2.0 */
  2. /* This is trivial with the new code... */
  3. .globl do_fpdis
  4. .type do_fpdis,#function
  5. do_fpdis:
  6. sethi %hi(TSTATE_PEF), %g4
  7. rdpr %tstate, %g5
  8. andcc %g5, %g4, %g0
  9. be,pt %xcc, 1f
  10. nop
  11. rd %fprs, %g5
  12. andcc %g5, FPRS_FEF, %g0
  13. be,pt %xcc, 1f
  14. nop
  15. /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
  16. sethi %hi(109f), %g7
  17. ba,pt %xcc, etrap
  18. 109: or %g7, %lo(109b), %g7
  19. add %g0, %g0, %g0
  20. ba,a,pt %xcc, rtrap
  21. 1: TRAP_LOAD_THREAD_REG(%g6, %g1)
  22. ldub [%g6 + TI_FPSAVED], %g5
  23. wr %g0, FPRS_FEF, %fprs
  24. andcc %g5, FPRS_FEF, %g0
  25. be,a,pt %icc, 1f
  26. clr %g7
  27. ldx [%g6 + TI_GSR], %g7
  28. 1: andcc %g5, FPRS_DL, %g0
  29. bne,pn %icc, 2f
  30. fzero %f0
  31. andcc %g5, FPRS_DU, %g0
  32. bne,pn %icc, 1f
  33. fzero %f2
  34. faddd %f0, %f2, %f4
  35. fmuld %f0, %f2, %f6
  36. faddd %f0, %f2, %f8
  37. fmuld %f0, %f2, %f10
  38. faddd %f0, %f2, %f12
  39. fmuld %f0, %f2, %f14
  40. faddd %f0, %f2, %f16
  41. fmuld %f0, %f2, %f18
  42. faddd %f0, %f2, %f20
  43. fmuld %f0, %f2, %f22
  44. faddd %f0, %f2, %f24
  45. fmuld %f0, %f2, %f26
  46. faddd %f0, %f2, %f28
  47. fmuld %f0, %f2, %f30
  48. faddd %f0, %f2, %f32
  49. fmuld %f0, %f2, %f34
  50. faddd %f0, %f2, %f36
  51. fmuld %f0, %f2, %f38
  52. faddd %f0, %f2, %f40
  53. fmuld %f0, %f2, %f42
  54. faddd %f0, %f2, %f44
  55. fmuld %f0, %f2, %f46
  56. faddd %f0, %f2, %f48
  57. fmuld %f0, %f2, %f50
  58. faddd %f0, %f2, %f52
  59. fmuld %f0, %f2, %f54
  60. faddd %f0, %f2, %f56
  61. fmuld %f0, %f2, %f58
  62. b,pt %xcc, fpdis_exit2
  63. faddd %f0, %f2, %f60
  64. 1: mov SECONDARY_CONTEXT, %g3
  65. add %g6, TI_FPREGS + 0x80, %g1
  66. faddd %f0, %f2, %f4
  67. fmuld %f0, %f2, %f6
  68. 661: ldxa [%g3] ASI_DMMU, %g5
  69. .section .sun4v_1insn_patch, "ax"
  70. .word 661b
  71. ldxa [%g3] ASI_MMU, %g5
  72. .previous
  73. sethi %hi(sparc64_kern_sec_context), %g2
  74. ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
  75. 661: stxa %g2, [%g3] ASI_DMMU
  76. .section .sun4v_1insn_patch, "ax"
  77. .word 661b
  78. stxa %g2, [%g3] ASI_MMU
  79. .previous
  80. membar #Sync
  81. add %g6, TI_FPREGS + 0xc0, %g2
  82. faddd %f0, %f2, %f8
  83. fmuld %f0, %f2, %f10
  84. membar #Sync
  85. ldda [%g1] ASI_BLK_S, %f32
  86. ldda [%g2] ASI_BLK_S, %f48
  87. membar #Sync
  88. faddd %f0, %f2, %f12
  89. fmuld %f0, %f2, %f14
  90. faddd %f0, %f2, %f16
  91. fmuld %f0, %f2, %f18
  92. faddd %f0, %f2, %f20
  93. fmuld %f0, %f2, %f22
  94. faddd %f0, %f2, %f24
  95. fmuld %f0, %f2, %f26
  96. faddd %f0, %f2, %f28
  97. fmuld %f0, %f2, %f30
  98. ba,a,pt %xcc, fpdis_exit
  99. 2: andcc %g5, FPRS_DU, %g0
  100. bne,pt %icc, 3f
  101. fzero %f32
  102. mov SECONDARY_CONTEXT, %g3
  103. fzero %f34
  104. 661: ldxa [%g3] ASI_DMMU, %g5
  105. .section .sun4v_1insn_patch, "ax"
  106. .word 661b
  107. ldxa [%g3] ASI_MMU, %g5
  108. .previous
  109. add %g6, TI_FPREGS, %g1
  110. sethi %hi(sparc64_kern_sec_context), %g2
  111. ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
  112. 661: stxa %g2, [%g3] ASI_DMMU
  113. .section .sun4v_1insn_patch, "ax"
  114. .word 661b
  115. stxa %g2, [%g3] ASI_MMU
  116. .previous
  117. membar #Sync
  118. add %g6, TI_FPREGS + 0x40, %g2
  119. faddd %f32, %f34, %f36
  120. fmuld %f32, %f34, %f38
  121. membar #Sync
  122. ldda [%g1] ASI_BLK_S, %f0
  123. ldda [%g2] ASI_BLK_S, %f16
  124. membar #Sync
  125. faddd %f32, %f34, %f40
  126. fmuld %f32, %f34, %f42
  127. faddd %f32, %f34, %f44
  128. fmuld %f32, %f34, %f46
  129. faddd %f32, %f34, %f48
  130. fmuld %f32, %f34, %f50
  131. faddd %f32, %f34, %f52
  132. fmuld %f32, %f34, %f54
  133. faddd %f32, %f34, %f56
  134. fmuld %f32, %f34, %f58
  135. faddd %f32, %f34, %f60
  136. fmuld %f32, %f34, %f62
  137. ba,a,pt %xcc, fpdis_exit
  138. 3: mov SECONDARY_CONTEXT, %g3
  139. add %g6, TI_FPREGS, %g1
  140. 661: ldxa [%g3] ASI_DMMU, %g5
  141. .section .sun4v_1insn_patch, "ax"
  142. .word 661b
  143. ldxa [%g3] ASI_MMU, %g5
  144. .previous
  145. sethi %hi(sparc64_kern_sec_context), %g2
  146. ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
  147. 661: stxa %g2, [%g3] ASI_DMMU
  148. .section .sun4v_1insn_patch, "ax"
  149. .word 661b
  150. stxa %g2, [%g3] ASI_MMU
  151. .previous
  152. membar #Sync
  153. mov 0x40, %g2
  154. membar #Sync
  155. ldda [%g1] ASI_BLK_S, %f0
  156. ldda [%g1 + %g2] ASI_BLK_S, %f16
  157. add %g1, 0x80, %g1
  158. ldda [%g1] ASI_BLK_S, %f32
  159. ldda [%g1 + %g2] ASI_BLK_S, %f48
  160. membar #Sync
  161. fpdis_exit:
  162. 661: stxa %g5, [%g3] ASI_DMMU
  163. .section .sun4v_1insn_patch, "ax"
  164. .word 661b
  165. stxa %g5, [%g3] ASI_MMU
  166. .previous
  167. membar #Sync
  168. fpdis_exit2:
  169. wr %g7, 0, %gsr
  170. ldx [%g6 + TI_XFSR], %fsr
  171. rdpr %tstate, %g3
  172. or %g3, %g4, %g3 ! anal...
  173. wrpr %g3, %tstate
  174. wr %g0, FPRS_FEF, %fprs ! clean DU/DL bits
  175. retry
  176. .size do_fpdis,.-do_fpdis
  177. .align 32
  178. .type fp_other_bounce,#function
  179. fp_other_bounce:
  180. call do_fpother
  181. add %sp, PTREGS_OFF, %o0
  182. ba,a,pt %xcc, rtrap
  183. .size fp_other_bounce,.-fp_other_bounce
  184. .align 32
  185. .globl do_fpother_check_fitos
  186. .type do_fpother_check_fitos,#function
  187. do_fpother_check_fitos:
  188. TRAP_LOAD_THREAD_REG(%g6, %g1)
  189. sethi %hi(fp_other_bounce - 4), %g7
  190. or %g7, %lo(fp_other_bounce - 4), %g7
  191. /* NOTE: Need to preserve %g7 until we fully commit
  192. * to the fitos fixup.
  193. */
  194. stx %fsr, [%g6 + TI_XFSR]
  195. rdpr %tstate, %g3
  196. andcc %g3, TSTATE_PRIV, %g0
  197. bne,pn %xcc, do_fptrap_after_fsr
  198. nop
  199. ldx [%g6 + TI_XFSR], %g3
  200. srlx %g3, 14, %g1
  201. and %g1, 7, %g1
  202. cmp %g1, 2 ! Unfinished FP-OP
  203. bne,pn %xcc, do_fptrap_after_fsr
  204. sethi %hi(1 << 23), %g1 ! Inexact
  205. andcc %g3, %g1, %g0
  206. bne,pn %xcc, do_fptrap_after_fsr
  207. rdpr %tpc, %g1
  208. lduwa [%g1] ASI_AIUP, %g3 ! This cannot ever fail
  209. #define FITOS_MASK 0xc1f83fe0
  210. #define FITOS_COMPARE 0x81a01880
  211. sethi %hi(FITOS_MASK), %g1
  212. or %g1, %lo(FITOS_MASK), %g1
  213. and %g3, %g1, %g1
  214. sethi %hi(FITOS_COMPARE), %g2
  215. or %g2, %lo(FITOS_COMPARE), %g2
  216. cmp %g1, %g2
  217. bne,pn %xcc, do_fptrap_after_fsr
  218. nop
  219. std %f62, [%g6 + TI_FPREGS + (62 * 4)]
  220. sethi %hi(fitos_table_1), %g1
  221. and %g3, 0x1f, %g2
  222. or %g1, %lo(fitos_table_1), %g1
  223. sllx %g2, 2, %g2
  224. jmpl %g1 + %g2, %g0
  225. ba,pt %xcc, fitos_emul_continue
  226. fitos_table_1:
  227. fitod %f0, %f62
  228. fitod %f1, %f62
  229. fitod %f2, %f62
  230. fitod %f3, %f62
  231. fitod %f4, %f62
  232. fitod %f5, %f62
  233. fitod %f6, %f62
  234. fitod %f7, %f62
  235. fitod %f8, %f62
  236. fitod %f9, %f62
  237. fitod %f10, %f62
  238. fitod %f11, %f62
  239. fitod %f12, %f62
  240. fitod %f13, %f62
  241. fitod %f14, %f62
  242. fitod %f15, %f62
  243. fitod %f16, %f62
  244. fitod %f17, %f62
  245. fitod %f18, %f62
  246. fitod %f19, %f62
  247. fitod %f20, %f62
  248. fitod %f21, %f62
  249. fitod %f22, %f62
  250. fitod %f23, %f62
  251. fitod %f24, %f62
  252. fitod %f25, %f62
  253. fitod %f26, %f62
  254. fitod %f27, %f62
  255. fitod %f28, %f62
  256. fitod %f29, %f62
  257. fitod %f30, %f62
  258. fitod %f31, %f62
  259. fitos_emul_continue:
  260. sethi %hi(fitos_table_2), %g1
  261. srl %g3, 25, %g2
  262. or %g1, %lo(fitos_table_2), %g1
  263. and %g2, 0x1f, %g2
  264. sllx %g2, 2, %g2
  265. jmpl %g1 + %g2, %g0
  266. ba,pt %xcc, fitos_emul_fini
  267. fitos_table_2:
  268. fdtos %f62, %f0
  269. fdtos %f62, %f1
  270. fdtos %f62, %f2
  271. fdtos %f62, %f3
  272. fdtos %f62, %f4
  273. fdtos %f62, %f5
  274. fdtos %f62, %f6
  275. fdtos %f62, %f7
  276. fdtos %f62, %f8
  277. fdtos %f62, %f9
  278. fdtos %f62, %f10
  279. fdtos %f62, %f11
  280. fdtos %f62, %f12
  281. fdtos %f62, %f13
  282. fdtos %f62, %f14
  283. fdtos %f62, %f15
  284. fdtos %f62, %f16
  285. fdtos %f62, %f17
  286. fdtos %f62, %f18
  287. fdtos %f62, %f19
  288. fdtos %f62, %f20
  289. fdtos %f62, %f21
  290. fdtos %f62, %f22
  291. fdtos %f62, %f23
  292. fdtos %f62, %f24
  293. fdtos %f62, %f25
  294. fdtos %f62, %f26
  295. fdtos %f62, %f27
  296. fdtos %f62, %f28
  297. fdtos %f62, %f29
  298. fdtos %f62, %f30
  299. fdtos %f62, %f31
  300. fitos_emul_fini:
  301. ldd [%g6 + TI_FPREGS + (62 * 4)], %f62
  302. done
  303. .size do_fpother_check_fitos,.-do_fpother_check_fitos
  304. .align 32
  305. .globl do_fptrap
  306. .type do_fptrap,#function
  307. do_fptrap:
  308. TRAP_LOAD_THREAD_REG(%g6, %g1)
  309. stx %fsr, [%g6 + TI_XFSR]
  310. do_fptrap_after_fsr:
  311. ldub [%g6 + TI_FPSAVED], %g3
  312. rd %fprs, %g1
  313. or %g3, %g1, %g3
  314. stb %g3, [%g6 + TI_FPSAVED]
  315. rd %gsr, %g3
  316. stx %g3, [%g6 + TI_GSR]
  317. mov SECONDARY_CONTEXT, %g3
  318. 661: ldxa [%g3] ASI_DMMU, %g5
  319. .section .sun4v_1insn_patch, "ax"
  320. .word 661b
  321. ldxa [%g3] ASI_MMU, %g5
  322. .previous
  323. sethi %hi(sparc64_kern_sec_context), %g2
  324. ldx [%g2 + %lo(sparc64_kern_sec_context)], %g2
  325. 661: stxa %g2, [%g3] ASI_DMMU
  326. .section .sun4v_1insn_patch, "ax"
  327. .word 661b
  328. stxa %g2, [%g3] ASI_MMU
  329. .previous
  330. membar #Sync
  331. add %g6, TI_FPREGS, %g2
  332. andcc %g1, FPRS_DL, %g0
  333. be,pn %icc, 4f
  334. mov 0x40, %g3
  335. stda %f0, [%g2] ASI_BLK_S
  336. stda %f16, [%g2 + %g3] ASI_BLK_S
  337. andcc %g1, FPRS_DU, %g0
  338. be,pn %icc, 5f
  339. 4: add %g2, 128, %g2
  340. stda %f32, [%g2] ASI_BLK_S
  341. stda %f48, [%g2 + %g3] ASI_BLK_S
  342. 5: mov SECONDARY_CONTEXT, %g1
  343. membar #Sync
  344. 661: stxa %g5, [%g1] ASI_DMMU
  345. .section .sun4v_1insn_patch, "ax"
  346. .word 661b
  347. stxa %g5, [%g1] ASI_MMU
  348. .previous
  349. membar #Sync
  350. ba,pt %xcc, etrap
  351. wr %g0, 0, %fprs
  352. .size do_fptrap,.-do_fptrap