GENmemcpy.S 2.4 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142
  1. /* SPDX-License-Identifier: GPL-2.0 */
  2. /* GENmemcpy.S: Generic sparc64 memcpy.
  3. *
  4. * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
  5. */
  6. #ifdef __KERNEL__
  7. #include <linux/linkage.h>
  8. #define GLOBAL_SPARE %g7
  9. #else
  10. #define GLOBAL_SPARE %g5
  11. #endif
  12. #ifndef EX_LD
  13. #define EX_LD(x,y) x
  14. #endif
  15. #ifndef EX_ST
  16. #define EX_ST(x,y) x
  17. #endif
  18. #ifndef LOAD
  19. #define LOAD(type,addr,dest) type [addr], dest
  20. #endif
  21. #ifndef STORE
  22. #define STORE(type,src,addr) type src, [addr]
  23. #endif
  24. #ifndef FUNC_NAME
  25. #define FUNC_NAME GENmemcpy
  26. #endif
  27. #ifndef PREAMBLE
  28. #define PREAMBLE
  29. #endif
  30. #ifndef XCC
  31. #define XCC xcc
  32. #endif
  33. .register %g2,#scratch
  34. .register %g3,#scratch
  35. .text
  36. #ifndef EX_RETVAL
  37. #define EX_RETVAL(x) x
  38. ENTRY(GEN_retl_o4_1)
  39. add %o4, %o2, %o4
  40. retl
  41. add %o4, 1, %o0
  42. ENDPROC(GEN_retl_o4_1)
  43. ENTRY(GEN_retl_g1_8)
  44. add %g1, %o2, %g1
  45. retl
  46. add %g1, 8, %o0
  47. ENDPROC(GEN_retl_g1_8)
  48. ENTRY(GEN_retl_o2_4)
  49. retl
  50. add %o2, 4, %o0
  51. ENDPROC(GEN_retl_o2_4)
  52. ENTRY(GEN_retl_o2_1)
  53. retl
  54. add %o2, 1, %o0
  55. ENDPROC(GEN_retl_o2_1)
  56. #endif
  57. .align 64
  58. .globl FUNC_NAME
  59. .type FUNC_NAME,#function
  60. FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */
  61. srlx %o2, 31, %g2
  62. cmp %g2, 0
  63. tne %XCC, 5
  64. PREAMBLE
  65. mov %o0, GLOBAL_SPARE
  66. cmp %o2, 0
  67. be,pn %XCC, 85f
  68. or %o0, %o1, %o3
  69. cmp %o2, 16
  70. blu,a,pn %XCC, 80f
  71. or %o3, %o2, %o3
  72. xor %o0, %o1, %o4
  73. andcc %o4, 0x7, %g0
  74. bne,a,pn %XCC, 90f
  75. sub %o0, %o1, %o3
  76. and %o0, 0x7, %o4
  77. sub %o4, 0x8, %o4
  78. sub %g0, %o4, %o4
  79. sub %o2, %o4, %o2
  80. 1: subcc %o4, 1, %o4
  81. EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)
  82. EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)
  83. add %o1, 1, %o1
  84. bne,pt %XCC, 1b
  85. add %o0, 1, %o0
  86. andn %o2, 0x7, %g1
  87. sub %o2, %g1, %o2
  88. 1: subcc %g1, 0x8, %g1
  89. EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)
  90. EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)
  91. add %o1, 0x8, %o1
  92. bne,pt %XCC, 1b
  93. add %o0, 0x8, %o0
  94. brz,pt %o2, 85f
  95. sub %o0, %o1, %o3
  96. ba,a,pt %XCC, 90f
  97. .align 64
  98. 80: /* 0 < len <= 16 */
  99. andcc %o3, 0x3, %g0
  100. bne,pn %XCC, 90f
  101. sub %o0, %o1, %o3
  102. 1:
  103. subcc %o2, 4, %o2
  104. EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)
  105. EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)
  106. bgu,pt %XCC, 1b
  107. add %o1, 4, %o1
  108. 85: retl
  109. mov EX_RETVAL(GLOBAL_SPARE), %o0
  110. .align 32
  111. 90:
  112. subcc %o2, 1, %o2
  113. EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)
  114. EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)
  115. bgu,pt %XCC, 90b
  116. add %o1, 1, %o1
  117. retl
  118. mov EX_RETVAL(GLOBAL_SPARE), %o0
  119. .size FUNC_NAME, .-FUNC_NAME