NG4memcpy.S 10 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386
  1. /* SPDX-License-Identifier: GPL-2.0 */
  2. /* NG4memcpy.S: Niagara-4 optimized memcpy.
  3. *
  4. * Copyright (C) 2012 David S. Miller (davem@davemloft.net)
  5. */
  6. #ifdef __KERNEL__
  7. #include <linux/linkage.h>
  8. #include <asm/visasm.h>
  9. #include <asm/asi.h>
  10. #define GLOBAL_SPARE %g7
  11. #else
  12. #define ASI_BLK_INIT_QUAD_LDD_P 0xe2
  13. #define FPRS_FEF 0x04
  14. /* On T4 it is very expensive to access ASRs like %fprs and
  15. * %asi, avoiding a read or a write can save ~50 cycles.
  16. */
  17. #define FPU_ENTER \
  18. rd %fprs, %o5; \
  19. andcc %o5, FPRS_FEF, %g0; \
  20. be,a,pn %icc, 999f; \
  21. wr %g0, FPRS_FEF, %fprs; \
  22. 999:
  23. #ifdef MEMCPY_DEBUG
  24. #define VISEntryHalf FPU_ENTER; \
  25. clr %g1; clr %g2; clr %g3; clr %g5; subcc %g0, %g0, %g0;
  26. #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  27. #else
  28. #define VISEntryHalf FPU_ENTER
  29. #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  30. #endif
  31. #define GLOBAL_SPARE %g5
  32. #endif
  33. #ifndef STORE_ASI
  34. #ifndef SIMULATE_NIAGARA_ON_NON_NIAGARA
  35. #define STORE_ASI ASI_BLK_INIT_QUAD_LDD_P
  36. #else
  37. #define STORE_ASI 0x80 /* ASI_P */
  38. #endif
  39. #endif
  40. #if !defined(EX_LD) && !defined(EX_ST)
  41. #define NON_USER_COPY
  42. #endif
  43. #ifndef EX_LD
  44. #define EX_LD(x,y) x
  45. #endif
  46. #ifndef EX_LD_FP
  47. #define EX_LD_FP(x,y) x
  48. #endif
  49. #ifndef EX_ST
  50. #define EX_ST(x,y) x
  51. #endif
  52. #ifndef EX_ST_FP
  53. #define EX_ST_FP(x,y) x
  54. #endif
  55. #ifndef LOAD
  56. #define LOAD(type,addr,dest) type [addr], dest
  57. #endif
  58. #ifndef STORE
  59. #ifndef MEMCPY_DEBUG
  60. #define STORE(type,src,addr) type src, [addr]
  61. #else
  62. #define STORE(type,src,addr) type##a src, [addr] %asi
  63. #endif
  64. #endif
  65. #ifndef STORE_INIT
  66. #define STORE_INIT(src,addr) stxa src, [addr] STORE_ASI
  67. #endif
  68. #ifndef FUNC_NAME
  69. #define FUNC_NAME NG4memcpy
  70. #endif
  71. #ifndef PREAMBLE
  72. #define PREAMBLE
  73. #endif
  74. #ifndef XCC
  75. #define XCC xcc
  76. #endif
  77. .register %g2,#scratch
  78. .register %g3,#scratch
  79. .text
  80. #ifndef EX_RETVAL
  81. #define EX_RETVAL(x) x
  82. #endif
  83. .align 64
  84. .globl FUNC_NAME
  85. .type FUNC_NAME,#function
  86. FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */
  87. #ifdef MEMCPY_DEBUG
  88. wr %g0, 0x80, %asi
  89. #endif
  90. srlx %o2, 31, %g2
  91. cmp %g2, 0
  92. tne %XCC, 5
  93. PREAMBLE
  94. mov %o0, %o3
  95. brz,pn %o2, .Lexit
  96. cmp %o2, 3
  97. ble,pn %icc, .Ltiny
  98. cmp %o2, 19
  99. ble,pn %icc, .Lsmall
  100. or %o0, %o1, %g2
  101. cmp %o2, 128
  102. bl,pn %icc, .Lmedium
  103. nop
  104. .Llarge:/* len >= 0x80 */
  105. /* First get dest 8 byte aligned. */
  106. sub %g0, %o0, %g1
  107. and %g1, 0x7, %g1
  108. brz,pt %g1, 51f
  109. sub %o2, %g1, %o2
  110. 1: EX_LD(LOAD(ldub, %o1 + 0x00, %g2), memcpy_retl_o2_plus_g1)
  111. add %o1, 1, %o1
  112. subcc %g1, 1, %g1
  113. add %o0, 1, %o0
  114. bne,pt %icc, 1b
  115. EX_ST(STORE(stb, %g2, %o0 - 0x01), memcpy_retl_o2_plus_g1_plus_1)
  116. 51: LOAD(prefetch, %o1 + 0x040, #n_reads_strong)
  117. LOAD(prefetch, %o1 + 0x080, #n_reads_strong)
  118. LOAD(prefetch, %o1 + 0x0c0, #n_reads_strong)
  119. LOAD(prefetch, %o1 + 0x100, #n_reads_strong)
  120. LOAD(prefetch, %o1 + 0x140, #n_reads_strong)
  121. LOAD(prefetch, %o1 + 0x180, #n_reads_strong)
  122. LOAD(prefetch, %o1 + 0x1c0, #n_reads_strong)
  123. LOAD(prefetch, %o1 + 0x200, #n_reads_strong)
  124. /* Check if we can use the straight fully aligned
  125. * loop, or we require the alignaddr/faligndata variant.
  126. */
  127. andcc %o1, 0x7, %o5
  128. bne,pn %icc, .Llarge_src_unaligned
  129. sub %g0, %o0, %g1
  130. /* Legitimize the use of initializing stores by getting dest
  131. * to be 64-byte aligned.
  132. */
  133. and %g1, 0x3f, %g1
  134. brz,pt %g1, .Llarge_aligned
  135. sub %o2, %g1, %o2
  136. 1: EX_LD(LOAD(ldx, %o1 + 0x00, %g2), memcpy_retl_o2_plus_g1)
  137. add %o1, 8, %o1
  138. subcc %g1, 8, %g1
  139. add %o0, 8, %o0
  140. bne,pt %icc, 1b
  141. EX_ST(STORE(stx, %g2, %o0 - 0x08), memcpy_retl_o2_plus_g1_plus_8)
  142. .Llarge_aligned:
  143. /* len >= 0x80 && src 8-byte aligned && dest 8-byte aligned */
  144. andn %o2, 0x3f, %o4
  145. sub %o2, %o4, %o2
  146. 1: EX_LD(LOAD(ldx, %o1 + 0x00, %g1), memcpy_retl_o2_plus_o4)
  147. add %o1, 0x40, %o1
  148. EX_LD(LOAD(ldx, %o1 - 0x38, %g2), memcpy_retl_o2_plus_o4)
  149. subcc %o4, 0x40, %o4
  150. EX_LD(LOAD(ldx, %o1 - 0x30, %g3), memcpy_retl_o2_plus_o4_plus_64)
  151. EX_LD(LOAD(ldx, %o1 - 0x28, GLOBAL_SPARE), memcpy_retl_o2_plus_o4_plus_64)
  152. EX_LD(LOAD(ldx, %o1 - 0x20, %o5), memcpy_retl_o2_plus_o4_plus_64)
  153. EX_ST(STORE_INIT(%g1, %o0), memcpy_retl_o2_plus_o4_plus_64)
  154. add %o0, 0x08, %o0
  155. EX_ST(STORE_INIT(%g2, %o0), memcpy_retl_o2_plus_o4_plus_56)
  156. add %o0, 0x08, %o0
  157. EX_LD(LOAD(ldx, %o1 - 0x18, %g2), memcpy_retl_o2_plus_o4_plus_48)
  158. EX_ST(STORE_INIT(%g3, %o0), memcpy_retl_o2_plus_o4_plus_48)
  159. add %o0, 0x08, %o0
  160. EX_LD(LOAD(ldx, %o1 - 0x10, %g3), memcpy_retl_o2_plus_o4_plus_40)
  161. EX_ST(STORE_INIT(GLOBAL_SPARE, %o0), memcpy_retl_o2_plus_o4_plus_40)
  162. add %o0, 0x08, %o0
  163. EX_LD(LOAD(ldx, %o1 - 0x08, GLOBAL_SPARE), memcpy_retl_o2_plus_o4_plus_32)
  164. EX_ST(STORE_INIT(%o5, %o0), memcpy_retl_o2_plus_o4_plus_32)
  165. add %o0, 0x08, %o0
  166. EX_ST(STORE_INIT(%g2, %o0), memcpy_retl_o2_plus_o4_plus_24)
  167. add %o0, 0x08, %o0
  168. EX_ST(STORE_INIT(%g3, %o0), memcpy_retl_o2_plus_o4_plus_16)
  169. add %o0, 0x08, %o0
  170. EX_ST(STORE_INIT(GLOBAL_SPARE, %o0), memcpy_retl_o2_plus_o4_plus_8)
  171. add %o0, 0x08, %o0
  172. bne,pt %icc, 1b
  173. LOAD(prefetch, %o1 + 0x200, #n_reads_strong)
  174. membar #StoreLoad | #StoreStore
  175. brz,pn %o2, .Lexit
  176. cmp %o2, 19
  177. ble,pn %icc, .Lsmall_unaligned
  178. nop
  179. ba,a,pt %icc, .Lmedium_noprefetch
  180. .Lexit: retl
  181. mov EX_RETVAL(%o3), %o0
  182. .Llarge_src_unaligned:
  183. #ifdef NON_USER_COPY
  184. VISEntryHalfFast(.Lmedium_vis_entry_fail)
  185. #else
  186. VISEntryHalf
  187. #endif
  188. andn %o2, 0x3f, %o4
  189. sub %o2, %o4, %o2
  190. alignaddr %o1, %g0, %g1
  191. add %o1, %o4, %o1
  192. EX_LD_FP(LOAD(ldd, %g1 + 0x00, %f0), memcpy_retl_o2_plus_o4)
  193. 1: EX_LD_FP(LOAD(ldd, %g1 + 0x08, %f2), memcpy_retl_o2_plus_o4)
  194. subcc %o4, 0x40, %o4
  195. EX_LD_FP(LOAD(ldd, %g1 + 0x10, %f4), memcpy_retl_o2_plus_o4_plus_64)
  196. EX_LD_FP(LOAD(ldd, %g1 + 0x18, %f6), memcpy_retl_o2_plus_o4_plus_64)
  197. EX_LD_FP(LOAD(ldd, %g1 + 0x20, %f8), memcpy_retl_o2_plus_o4_plus_64)
  198. EX_LD_FP(LOAD(ldd, %g1 + 0x28, %f10), memcpy_retl_o2_plus_o4_plus_64)
  199. EX_LD_FP(LOAD(ldd, %g1 + 0x30, %f12), memcpy_retl_o2_plus_o4_plus_64)
  200. EX_LD_FP(LOAD(ldd, %g1 + 0x38, %f14), memcpy_retl_o2_plus_o4_plus_64)
  201. faligndata %f0, %f2, %f16
  202. EX_LD_FP(LOAD(ldd, %g1 + 0x40, %f0), memcpy_retl_o2_plus_o4_plus_64)
  203. faligndata %f2, %f4, %f18
  204. add %g1, 0x40, %g1
  205. faligndata %f4, %f6, %f20
  206. faligndata %f6, %f8, %f22
  207. faligndata %f8, %f10, %f24
  208. faligndata %f10, %f12, %f26
  209. faligndata %f12, %f14, %f28
  210. faligndata %f14, %f0, %f30
  211. EX_ST_FP(STORE(std, %f16, %o0 + 0x00), memcpy_retl_o2_plus_o4_plus_64)
  212. EX_ST_FP(STORE(std, %f18, %o0 + 0x08), memcpy_retl_o2_plus_o4_plus_56)
  213. EX_ST_FP(STORE(std, %f20, %o0 + 0x10), memcpy_retl_o2_plus_o4_plus_48)
  214. EX_ST_FP(STORE(std, %f22, %o0 + 0x18), memcpy_retl_o2_plus_o4_plus_40)
  215. EX_ST_FP(STORE(std, %f24, %o0 + 0x20), memcpy_retl_o2_plus_o4_plus_32)
  216. EX_ST_FP(STORE(std, %f26, %o0 + 0x28), memcpy_retl_o2_plus_o4_plus_24)
  217. EX_ST_FP(STORE(std, %f28, %o0 + 0x30), memcpy_retl_o2_plus_o4_plus_16)
  218. EX_ST_FP(STORE(std, %f30, %o0 + 0x38), memcpy_retl_o2_plus_o4_plus_8)
  219. add %o0, 0x40, %o0
  220. bne,pt %icc, 1b
  221. LOAD(prefetch, %g1 + 0x200, #n_reads_strong)
  222. #ifdef NON_USER_COPY
  223. VISExitHalfFast
  224. #else
  225. VISExitHalf
  226. #endif
  227. brz,pn %o2, .Lexit
  228. cmp %o2, 19
  229. ble,pn %icc, .Lsmall_unaligned
  230. nop
  231. ba,a,pt %icc, .Lmedium_unaligned
  232. #ifdef NON_USER_COPY
  233. .Lmedium_vis_entry_fail:
  234. or %o0, %o1, %g2
  235. #endif
  236. .Lmedium:
  237. LOAD(prefetch, %o1 + 0x40, #n_reads_strong)
  238. andcc %g2, 0x7, %g0
  239. bne,pn %icc, .Lmedium_unaligned
  240. nop
  241. .Lmedium_noprefetch:
  242. andncc %o2, 0x20 - 1, %o5
  243. be,pn %icc, 2f
  244. sub %o2, %o5, %o2
  245. 1: EX_LD(LOAD(ldx, %o1 + 0x00, %g1), memcpy_retl_o2_plus_o5)
  246. EX_LD(LOAD(ldx, %o1 + 0x08, %g2), memcpy_retl_o2_plus_o5)
  247. EX_LD(LOAD(ldx, %o1 + 0x10, GLOBAL_SPARE), memcpy_retl_o2_plus_o5)
  248. EX_LD(LOAD(ldx, %o1 + 0x18, %o4), memcpy_retl_o2_plus_o5)
  249. add %o1, 0x20, %o1
  250. subcc %o5, 0x20, %o5
  251. EX_ST(STORE(stx, %g1, %o0 + 0x00), memcpy_retl_o2_plus_o5_plus_32)
  252. EX_ST(STORE(stx, %g2, %o0 + 0x08), memcpy_retl_o2_plus_o5_plus_24)
  253. EX_ST(STORE(stx, GLOBAL_SPARE, %o0 + 0x10), memcpy_retl_o2_plus_o5_plus_24)
  254. EX_ST(STORE(stx, %o4, %o0 + 0x18), memcpy_retl_o2_plus_o5_plus_8)
  255. bne,pt %icc, 1b
  256. add %o0, 0x20, %o0
  257. 2: andcc %o2, 0x18, %o5
  258. be,pt %icc, 3f
  259. sub %o2, %o5, %o2
  260. 1: EX_LD(LOAD(ldx, %o1 + 0x00, %g1), memcpy_retl_o2_plus_o5)
  261. add %o1, 0x08, %o1
  262. add %o0, 0x08, %o0
  263. subcc %o5, 0x08, %o5
  264. bne,pt %icc, 1b
  265. EX_ST(STORE(stx, %g1, %o0 - 0x08), memcpy_retl_o2_plus_o5_plus_8)
  266. 3: brz,pt %o2, .Lexit
  267. cmp %o2, 0x04
  268. bl,pn %icc, .Ltiny
  269. nop
  270. EX_LD(LOAD(lduw, %o1 + 0x00, %g1), memcpy_retl_o2)
  271. add %o1, 0x04, %o1
  272. add %o0, 0x04, %o0
  273. subcc %o2, 0x04, %o2
  274. bne,pn %icc, .Ltiny
  275. EX_ST(STORE(stw, %g1, %o0 - 0x04), memcpy_retl_o2_plus_4)
  276. ba,a,pt %icc, .Lexit
  277. .Lmedium_unaligned:
  278. /* First get dest 8 byte aligned. */
  279. sub %g0, %o0, %g1
  280. and %g1, 0x7, %g1
  281. brz,pt %g1, 2f
  282. sub %o2, %g1, %o2
  283. 1: EX_LD(LOAD(ldub, %o1 + 0x00, %g2), memcpy_retl_o2_plus_g1)
  284. add %o1, 1, %o1
  285. subcc %g1, 1, %g1
  286. add %o0, 1, %o0
  287. bne,pt %icc, 1b
  288. EX_ST(STORE(stb, %g2, %o0 - 0x01), memcpy_retl_o2_plus_g1_plus_1)
  289. 2:
  290. and %o1, 0x7, %g1
  291. brz,pn %g1, .Lmedium_noprefetch
  292. sll %g1, 3, %g1
  293. mov 64, %g2
  294. sub %g2, %g1, %g2
  295. andn %o1, 0x7, %o1
  296. EX_LD(LOAD(ldx, %o1 + 0x00, %o4), memcpy_retl_o2)
  297. sllx %o4, %g1, %o4
  298. andn %o2, 0x08 - 1, %o5
  299. sub %o2, %o5, %o2
  300. 1: EX_LD(LOAD(ldx, %o1 + 0x08, %g3), memcpy_retl_o2_plus_o5)
  301. add %o1, 0x08, %o1
  302. subcc %o5, 0x08, %o5
  303. srlx %g3, %g2, GLOBAL_SPARE
  304. or GLOBAL_SPARE, %o4, GLOBAL_SPARE
  305. EX_ST(STORE(stx, GLOBAL_SPARE, %o0 + 0x00), memcpy_retl_o2_plus_o5_plus_8)
  306. add %o0, 0x08, %o0
  307. bne,pt %icc, 1b
  308. sllx %g3, %g1, %o4
  309. srl %g1, 3, %g1
  310. add %o1, %g1, %o1
  311. brz,pn %o2, .Lexit
  312. nop
  313. ba,pt %icc, .Lsmall_unaligned
  314. .Ltiny:
  315. EX_LD(LOAD(ldub, %o1 + 0x00, %g1), memcpy_retl_o2)
  316. subcc %o2, 1, %o2
  317. be,pn %icc, .Lexit
  318. EX_ST(STORE(stb, %g1, %o0 + 0x00), memcpy_retl_o2_plus_1)
  319. EX_LD(LOAD(ldub, %o1 + 0x01, %g1), memcpy_retl_o2)
  320. subcc %o2, 1, %o2
  321. be,pn %icc, .Lexit
  322. EX_ST(STORE(stb, %g1, %o0 + 0x01), memcpy_retl_o2_plus_1)
  323. EX_LD(LOAD(ldub, %o1 + 0x02, %g1), memcpy_retl_o2)
  324. ba,pt %icc, .Lexit
  325. EX_ST(STORE(stb, %g1, %o0 + 0x02), memcpy_retl_o2)
  326. .Lsmall:
  327. andcc %g2, 0x3, %g0
  328. bne,pn %icc, .Lsmall_unaligned
  329. andn %o2, 0x4 - 1, %o5
  330. sub %o2, %o5, %o2
  331. 1:
  332. EX_LD(LOAD(lduw, %o1 + 0x00, %g1), memcpy_retl_o2_plus_o5)
  333. add %o1, 0x04, %o1
  334. subcc %o5, 0x04, %o5
  335. add %o0, 0x04, %o0
  336. bne,pt %icc, 1b
  337. EX_ST(STORE(stw, %g1, %o0 - 0x04), memcpy_retl_o2_plus_o5_plus_4)
  338. brz,pt %o2, .Lexit
  339. nop
  340. ba,a,pt %icc, .Ltiny
  341. .Lsmall_unaligned:
  342. 1: EX_LD(LOAD(ldub, %o1 + 0x00, %g1), memcpy_retl_o2)
  343. add %o1, 1, %o1
  344. add %o0, 1, %o0
  345. subcc %o2, 1, %o2
  346. bne,pt %icc, 1b
  347. EX_ST(STORE(stb, %g1, %o0 - 0x01), memcpy_retl_o2_plus_1)
  348. ba,a,pt %icc, .Lexit
  349. nop
  350. .size FUNC_NAME, .-FUNC_NAME