LBRYCommunity/cpuminer
1
0
Fork 0
Code Issues 3 Pull requests Projects Releases Packages Wiki Activity

Reorder SSE2 instructions for better performance

Browse source
This commit is contained in:
pooler 2012-05-26 17:04:49 +02:00
parent 9ea6df402e
commit ee7630edfd
4 changed files with 146 additions and 246 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

332
scrypt-x64.S
View file

@ -520,8 +520,8 @@ scrypt_core_gen_loop2:
pslld $7, %xmm4 pslld $7, %xmm4
psrld $25, %xmm5 psrld $25, %xmm5
pxor %xmm4, %xmm3 pxor %xmm4, %xmm3
pxor %xmm5, %xmm3
movdqa %xmm0, %xmm4 movdqa %xmm0, %xmm4
pxor %xmm5, %xmm3
paddd %xmm3, %xmm4 paddd %xmm3, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -529,8 +529,8 @@ scrypt_core_gen_loop2:
psrld $23, %xmm5 psrld $23, %xmm5
pxor %xmm4, %xmm2 pxor %xmm4, %xmm2
movdqa %xmm3, %xmm4 movdqa %xmm3, %xmm4
pshufd $0x93, %xmm3, %xmm3
pxor %xmm5, %xmm2 pxor %xmm5, %xmm2
pshufd $0x93, %xmm3, %xmm3
paddd %xmm2, %xmm4 paddd %xmm2, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -538,25 +538,25 @@ scrypt_core_gen_loop2:
psrld $19, %xmm5 psrld $19, %xmm5
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
movdqa %xmm2, %xmm4 movdqa %xmm2, %xmm4
pshufd $0x4e, %xmm2, %xmm2
pxor %xmm5, %xmm1 pxor %xmm5, %xmm1
pshufd $0x4e, %xmm2, %xmm2
paddd %xmm1, %xmm4 paddd %xmm1, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
pslld $18, %xmm4 pslld $18, %xmm4
psrld $14, %xmm5 psrld $14, %xmm5
pxor %xmm4, %xmm0 pxor %xmm4, %xmm0
pshufd $0x39, %xmm1, %xmm1
pxor %xmm5, %xmm0
movdqa %xmm3, %xmm4 movdqa %xmm3, %xmm4
pxor %xmm5, %xmm0
pshufd $0x39, %xmm1, %xmm1
paddd %xmm0, %xmm4 paddd %xmm0, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
pslld $7, %xmm4 pslld $7, %xmm4
psrld $25, %xmm5 psrld $25, %xmm5
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
pxor %xmm5, %xmm1
movdqa %xmm0, %xmm4 movdqa %xmm0, %xmm4
pxor %xmm5, %xmm1
paddd %xmm1, %xmm4 paddd %xmm1, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -564,8 +564,8 @@ scrypt_core_gen_loop2:
psrld $23, %xmm5 psrld $23, %xmm5
pxor %xmm4, %xmm2 pxor %xmm4, %xmm2
movdqa %xmm1, %xmm4 movdqa %xmm1, %xmm4
pshufd $0x93, %xmm1, %xmm1
pxor %xmm5, %xmm2 pxor %xmm5, %xmm2
pshufd $0x93, %xmm1, %xmm1
paddd %xmm2, %xmm4 paddd %xmm2, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -573,8 +573,8 @@ scrypt_core_gen_loop2:
psrld $19, %xmm5 psrld $19, %xmm5
pxor %xmm4, %xmm3 pxor %xmm4, %xmm3
movdqa %xmm2, %xmm4 movdqa %xmm2, %xmm4
pshufd $0x4e, %xmm2, %xmm2
pxor %xmm5, %xmm3 pxor %xmm5, %xmm3
pshufd $0x4e, %xmm2, %xmm2
paddd %xmm3, %xmm4 paddd %xmm3, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -594,121 +594,60 @@ scrypt_core_gen_loop2:
.p2align 6 .p2align 6
scrypt_core_xmm: scrypt_core_xmm:
/* shuffle 1st block into %xmm8-%xmm11 */ pcmpeqw %xmm1, %xmm1
movl 60(%rdi), %edx psrlq $32, %xmm1
movl 44(%rdi), %ecx
movl 28(%rdi), %ebx
movl 12(%rdi), %eax
movd %edx, %xmm0
movd %ecx, %xmm1
movd %ebx, %xmm2
movd %eax, %xmm3
movl 40(%rdi), %ecx
movl 24(%rdi), %ebx
movl 8(%rdi), %eax
movl 56(%rdi), %edx
pshufd $0x93, %xmm0, %xmm0
pshufd $0x93, %xmm1, %xmm1
pshufd $0x93, %xmm2, %xmm2
pshufd $0x93, %xmm3, %xmm3
movd %ecx, %xmm4
movd %ebx, %xmm5
movd %eax, %xmm6
movd %edx, %xmm7
paddd %xmm4, %xmm0
paddd %xmm5, %xmm1
paddd %xmm6, %xmm2
paddd %xmm7, %xmm3
movl 20(%rdi), %ebx
movl 4(%rdi), %eax
movl 52(%rdi), %edx
movl 36(%rdi), %ecx
pshufd $0x93, %xmm0, %xmm0
pshufd $0x93, %xmm1, %xmm1
pshufd $0x93, %xmm2, %xmm2
pshufd $0x93, %xmm3, %xmm3
movd %ebx, %xmm4
movd %eax, %xmm5
movd %edx, %xmm6
movd %ecx, %xmm7
paddd %xmm4, %xmm0
paddd %xmm5, %xmm1
paddd %xmm6, %xmm2
paddd %xmm7, %xmm3
movl 0(%rdi), %eax
movl 48(%rdi), %edx
movl 32(%rdi), %ecx
movl 16(%rdi), %ebx
pshufd $0x93, %xmm0, %xmm0
pshufd $0x93, %xmm1, %xmm1
pshufd $0x93, %xmm2, %xmm2
pshufd $0x93, %xmm3, %xmm3
movd %eax, %xmm8
movd %edx, %xmm9
movd %ecx, %xmm10
movd %ebx, %xmm11
paddd %xmm0, %xmm8
paddd %xmm1, %xmm9
paddd %xmm2, %xmm10
paddd %xmm3, %xmm11
/* shuffle 2nd block into %xmm12-%xmm15 */ movdqa 0(%rdi), %xmm8
movl 124(%rdi), %edx movdqa 16(%rdi), %xmm11
movl 108(%rdi), %ecx movdqa 32(%rdi), %xmm10
movl 92(%rdi), %ebx movdqa 48(%rdi), %xmm9
movl 76(%rdi), %eax movdqa %xmm8, %xmm0
movd %edx, %xmm0 pxor %xmm11, %xmm8
movd %ecx, %xmm1 pand %xmm1, %xmm8
movd %ebx, %xmm2 pxor %xmm11, %xmm8
movd %eax, %xmm3 pxor %xmm10, %xmm11
movl 104(%rdi), %ecx pand %xmm1, %xmm11
movl 88(%rdi), %ebx pxor %xmm10, %xmm11
movl 72(%rdi), %eax pxor %xmm9, %xmm10
movl 120(%rdi), %edx pand %xmm1, %xmm10
pshufd $0x93, %xmm0, %xmm0 pxor %xmm9, %xmm10
pshufd $0x93, %xmm1, %xmm1 pxor %xmm0, %xmm9
pshufd $0x93, %xmm2, %xmm2 pand %xmm1, %xmm9
pshufd $0x93, %xmm3, %xmm3 pxor %xmm0, %xmm9
movd %ecx, %xmm4 movdqa %xmm8, %xmm0
movd %ebx, %xmm5 pshufd $0x4e, %xmm10, %xmm10
movd %eax, %xmm6 punpcklqdq %xmm10, %xmm8
movd %edx, %xmm7 punpckhqdq %xmm0, %xmm10
paddd %xmm4, %xmm0 movdqa %xmm11, %xmm0
paddd %xmm5, %xmm1 pshufd $0x4e, %xmm9, %xmm9
paddd %xmm6, %xmm2 punpcklqdq %xmm9, %xmm11
paddd %xmm7, %xmm3 punpckhqdq %xmm0, %xmm9
movl 84(%rdi), %ebx
movl 68(%rdi), %eax movdqa 64(%rdi), %xmm12
movl 116(%rdi), %edx movdqa 80(%rdi), %xmm15
movl 100(%rdi), %ecx movdqa 96(%rdi), %xmm14
pshufd $0x93, %xmm0, %xmm0 movdqa 112(%rdi), %xmm13
pshufd $0x93, %xmm1, %xmm1 movdqa %xmm12, %xmm0
pshufd $0x93, %xmm2, %xmm2 pxor %xmm15, %xmm12
pshufd $0x93, %xmm3, %xmm3 pand %xmm1, %xmm12
movd %ebx, %xmm4 pxor %xmm15, %xmm12
movd %eax, %xmm5 pxor %xmm14, %xmm15
movd %edx, %xmm6 pand %xmm1, %xmm15
movd %ecx, %xmm7 pxor %xmm14, %xmm15
paddd %xmm4, %xmm0 pxor %xmm13, %xmm14
paddd %xmm5, %xmm1 pand %xmm1, %xmm14
paddd %xmm6, %xmm2 pxor %xmm13, %xmm14
paddd %xmm7, %xmm3 pxor %xmm0, %xmm13
movl 64(%rdi), %eax pand %xmm1, %xmm13
movl 112(%rdi), %edx pxor %xmm0, %xmm13
movl 96(%rdi), %ecx movdqa %xmm12, %xmm0
movl 80(%rdi), %ebx pshufd $0x4e, %xmm14, %xmm14
pshufd $0x93, %xmm0, %xmm0 punpcklqdq %xmm14, %xmm12
pshufd $0x93, %xmm1, %xmm1 punpckhqdq %xmm0, %xmm14
pshufd $0x93, %xmm2, %xmm2 movdqa %xmm15, %xmm0
pshufd $0x93, %xmm3, %xmm3 pshufd $0x4e, %xmm13, %xmm13
movd %eax, %xmm12 punpcklqdq %xmm13, %xmm15
movd %edx, %xmm13 punpckhqdq %xmm0, %xmm13
movd %ecx, %xmm14
movd %ebx, %xmm15
paddd %xmm0, %xmm12
paddd %xmm1, %xmm13
paddd %xmm2, %xmm14
paddd %xmm3, %xmm15
movq %rsi, %rdx movq %rsi, %rdx
leaq 131072(%rsi), %rcx leaq 131072(%rsi), %rcx
@ -807,97 +746,60 @@ scrypt_core_xmm_loop2:
subq $1, %rcx subq $1, %rcx
ja scrypt_core_xmm_loop2 ja scrypt_core_xmm_loop2
/* re-shuffle 1st block back */ pcmpeqw %xmm1, %xmm1
movd %xmm8, %eax psrlq $32, %xmm1
movd %xmm9, %edx
movd %xmm10, %ecx
movd %xmm11, %ebx
pshufd $0x39, %xmm8, %xmm8
pshufd $0x39, %xmm9, %xmm9
pshufd $0x39, %xmm10, %xmm10
pshufd $0x39, %xmm11, %xmm11
movl %eax, 0(%rdi)
movl %edx, 48(%rdi)
movl %ecx, 32(%rdi)
movl %ebx, 16(%rdi)
movd %xmm8, %ebx
movd %xmm9, %eax
movd %xmm10, %edx
movd %xmm11, %ecx
pshufd $0x39, %xmm8, %xmm8
pshufd $0x39, %xmm9, %xmm9
pshufd $0x39, %xmm10, %xmm10
pshufd $0x39, %xmm11, %xmm11
movl %ebx, 20(%rdi)
movl %eax, 4(%rdi)
movl %edx, 52(%rdi)
movl %ecx, 36(%rdi)
movd %xmm8, %ecx
movd %xmm9, %ebx
movd %xmm10, %eax
movd %xmm11, %edx
pshufd $0x39, %xmm8, %xmm8
pshufd $0x39, %xmm9, %xmm9
pshufd $0x39, %xmm10, %xmm10
pshufd $0x39, %xmm11, %xmm11
movl %ecx, 40(%rdi)
movl %ebx, 24(%rdi)
movl %eax, 8(%rdi)
movl %edx, 56(%rdi)
movd %xmm8, %edx
movd %xmm9, %ecx
movd %xmm10, %ebx
movd %xmm11, %eax
movl %edx, 60(%rdi)
movl %ecx, 44(%rdi)
movl %ebx, 28(%rdi)
movl %eax, 12(%rdi)
/* re-shuffle 2nd block back */ movdqa %xmm8, %xmm0
movd %xmm12, %eax pxor %xmm9, %xmm8
movd %xmm13, %edx pand %xmm1, %xmm8
movd %xmm14, %ecx pxor %xmm9, %xmm8
movd %xmm15, %ebx pxor %xmm10, %xmm9
pshufd $0x39, %xmm12, %xmm12 pand %xmm1, %xmm9
pshufd $0x39, %xmm13, %xmm13 pxor %xmm10, %xmm9
pshufd $0x39, %xmm14, %xmm14 pxor %xmm11, %xmm10
pshufd $0x39, %xmm15, %xmm15 pand %xmm1, %xmm10
movl %eax, 64(%rdi) pxor %xmm11, %xmm10
movl %edx, 112(%rdi) pxor %xmm0, %xmm11
movl %ecx, 96(%rdi) pand %xmm1, %xmm11
movl %ebx, 80(%rdi) pxor %xmm0, %xmm11
movd %xmm12, %ebx movdqa %xmm8, %xmm0
movd %xmm13, %eax pshufd $0x4e, %xmm10, %xmm10
movd %xmm14, %edx punpcklqdq %xmm10, %xmm8
movd %xmm15, %ecx punpckhqdq %xmm0, %xmm10
pshufd $0x39, %xmm12, %xmm12 movdqa %xmm9, %xmm0
pshufd $0x39, %xmm13, %xmm13 pshufd $0x4e, %xmm11, %xmm11
pshufd $0x39, %xmm14, %xmm14 punpcklqdq %xmm11, %xmm9
pshufd $0x39, %xmm15, %xmm15 punpckhqdq %xmm0, %xmm11
movl %ebx, 84(%rdi) movdqa %xmm8, 0(%rdi)
movl %eax, 68(%rdi) movdqa %xmm11, 16(%rdi)
movl %edx, 116(%rdi) movdqa %xmm10, 32(%rdi)
movl %ecx, 100(%rdi) movdqa %xmm9, 48(%rdi)
movd %xmm12, %ecx
movd %xmm13, %ebx movdqa %xmm12, %xmm0
movd %xmm14, %eax pxor %xmm13, %xmm12
movd %xmm15, %edx pand %xmm1, %xmm12
pshufd $0x39, %xmm12, %xmm12 pxor %xmm13, %xmm12
pshufd $0x39, %xmm13, %xmm13 pxor %xmm14, %xmm13
pshufd $0x39, %xmm14, %xmm14 pand %xmm1, %xmm13
pshufd $0x39, %xmm15, %xmm15 pxor %xmm14, %xmm13
movl %ecx, 104(%rdi) pxor %xmm15, %xmm14
movl %ebx, 88(%rdi) pand %xmm1, %xmm14
movl %eax, 72(%rdi) pxor %xmm15, %xmm14
movl %edx, 120(%rdi) pxor %xmm0, %xmm15
movd %xmm12, %edx pand %xmm1, %xmm15
movd %xmm13, %ecx pxor %xmm0, %xmm15
movd %xmm14, %ebx movdqa %xmm12, %xmm0
movd %xmm15, %eax pshufd $0x4e, %xmm14, %xmm14
movl %edx, 124(%rdi) punpcklqdq %xmm14, %xmm12
movl %ecx, 108(%rdi) punpckhqdq %xmm0, %xmm14
movl %ebx, 92(%rdi) movdqa %xmm13, %xmm0
movl %eax, 76(%rdi) pshufd $0x4e, %xmm15, %xmm15
punpcklqdq %xmm15, %xmm13
punpckhqdq %xmm0, %xmm15
movdqa %xmm12, 64(%rdi)
movdqa %xmm15, 80(%rdi)
movdqa %xmm14, 96(%rdi)
movdqa %xmm13, 112(%rdi)
scrypt_core_cleanup scrypt_core_cleanup
ret ret
@ -1915,8 +1817,8 @@ scrypt_core_3way_xop_loop2:
psrld $23, %xmm5 psrld $23, %xmm5
pxor %xmm7, %xmm14 pxor %xmm7, %xmm14
movdqa %xmm15, %xmm7 movdqa %xmm15, %xmm7
pshufd $0x93, %xmm15, %xmm15
pxor %xmm5, %xmm14 pxor %xmm5, %xmm14
pshufd $0x93, %xmm15, %xmm15
paddd %xmm2, %xmm4 paddd %xmm2, %xmm4
paddd %xmm10, %xmm6 paddd %xmm10, %xmm6
@ -1964,9 +1866,9 @@ scrypt_core_3way_xop_loop2:
pslld $18, %xmm7 pslld $18, %xmm7
psrld $14, %xmm5 psrld $14, %xmm5
pxor %xmm7, %xmm12 pxor %xmm7, %xmm12
pshufd $0x39, %xmm13, %xmm13
pxor %xmm5, %xmm12
movdqa %xmm15, %xmm7 movdqa %xmm15, %xmm7
pxor %xmm5, %xmm12
pshufd $0x39, %xmm13, %xmm13
paddd %xmm0, %xmm4 paddd %xmm0, %xmm4
paddd %xmm8, %xmm6 paddd %xmm8, %xmm6

26
scrypt-x86.S
View file

@ -607,8 +607,8 @@ scrypt_core_gen_loop2:
pslld $7, %xmm4 pslld $7, %xmm4
psrld $25, %xmm5 psrld $25, %xmm5
pxor %xmm4, %xmm3 pxor %xmm4, %xmm3
pxor %xmm5, %xmm3
movdqa %xmm0, %xmm4 movdqa %xmm0, %xmm4
pxor %xmm5, %xmm3
paddd %xmm3, %xmm4 paddd %xmm3, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -616,8 +616,8 @@ scrypt_core_gen_loop2:
psrld $23, %xmm5 psrld $23, %xmm5
pxor %xmm4, %xmm2 pxor %xmm4, %xmm2
movdqa %xmm3, %xmm4 movdqa %xmm3, %xmm4
pshufd $0x93, %xmm3, %xmm3
pxor %xmm5, %xmm2 pxor %xmm5, %xmm2
pshufd $0x93, %xmm3, %xmm3
paddd %xmm2, %xmm4 paddd %xmm2, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -625,25 +625,25 @@ scrypt_core_gen_loop2:
psrld $19, %xmm5 psrld $19, %xmm5
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
movdqa %xmm2, %xmm4 movdqa %xmm2, %xmm4
pshufd $0x4e, %xmm2, %xmm2
pxor %xmm5, %xmm1 pxor %xmm5, %xmm1
pshufd $0x4e, %xmm2, %xmm2
paddd %xmm1, %xmm4 paddd %xmm1, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
pslld $18, %xmm4 pslld $18, %xmm4
psrld $14, %xmm5 psrld $14, %xmm5
pxor %xmm4, %xmm0 pxor %xmm4, %xmm0
pshufd $0x39, %xmm1, %xmm1
pxor %xmm5, %xmm0
movdqa %xmm3, %xmm4 movdqa %xmm3, %xmm4
pxor %xmm5, %xmm0
pshufd $0x39, %xmm1, %xmm1
paddd %xmm0, %xmm4 paddd %xmm0, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
pslld $7, %xmm4 pslld $7, %xmm4
psrld $25, %xmm5 psrld $25, %xmm5
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
pxor %xmm5, %xmm1
movdqa %xmm0, %xmm4 movdqa %xmm0, %xmm4
pxor %xmm5, %xmm1
paddd %xmm1, %xmm4 paddd %xmm1, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -651,8 +651,8 @@ scrypt_core_gen_loop2:
psrld $23, %xmm5 psrld $23, %xmm5
pxor %xmm4, %xmm2 pxor %xmm4, %xmm2
movdqa %xmm1, %xmm4 movdqa %xmm1, %xmm4
pshufd $0x93, %xmm1, %xmm1
pxor %xmm5, %xmm2 pxor %xmm5, %xmm2
pshufd $0x93, %xmm1, %xmm1
paddd %xmm2, %xmm4 paddd %xmm2, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -660,8 +660,8 @@ scrypt_core_gen_loop2:
psrld $19, %xmm5 psrld $19, %xmm5
pxor %xmm4, %xmm3 pxor %xmm4, %xmm3
movdqa %xmm2, %xmm4 movdqa %xmm2, %xmm4
pshufd $0x4e, %xmm2, %xmm2
pxor %xmm5, %xmm3 pxor %xmm5, %xmm3
pshufd $0x4e, %xmm2, %xmm2
paddd %xmm3, %xmm4 paddd %xmm3, %xmm4
movdqa %xmm4, %xmm5 movdqa %xmm4, %xmm5
@ -704,10 +704,10 @@ scrypt_core_sse2_loop1:
movdqa 80(%esp), %xmm5 movdqa 80(%esp), %xmm5
pxor %xmm4, %xmm0 pxor %xmm4, %xmm0
pxor %xmm5, %xmm1 pxor %xmm5, %xmm1
pxor %xmm6, %xmm2
pxor %xmm7, %xmm3
movdqa %xmm0, 0(%edx) movdqa %xmm0, 0(%edx)
movdqa %xmm1, 16(%edx) movdqa %xmm1, 16(%edx)
pxor %xmm6, %xmm2
pxor %xmm7, %xmm3
movdqa %xmm2, 32(%edx) movdqa %xmm2, 32(%edx)
movdqa %xmm3, 48(%edx) movdqa %xmm3, 48(%edx)
movdqa %xmm4, 64(%edx) movdqa %xmm4, 64(%edx)
@ -750,11 +750,11 @@ scrypt_core_sse2_loop1:
movl $1024, %ecx movl $1024, %ecx
scrypt_core_sse2_loop2: scrypt_core_sse2_loop2:
movd %xmm4, %edx
movdqa 0(%esp), %xmm0 movdqa 0(%esp), %xmm0
movdqa 16(%esp), %xmm1 movdqa 16(%esp), %xmm1
movdqa 32(%esp), %xmm2 movdqa 32(%esp), %xmm2
movdqa 48(%esp), %xmm3 movdqa 48(%esp), %xmm3
movd %xmm4, %edx
andl $1023, %edx andl $1023, %edx
shll $7, %edx shll $7, %edx
pxor 0(%esi, %edx), %xmm0 pxor 0(%esi, %edx), %xmm0
@ -764,10 +764,10 @@ scrypt_core_sse2_loop2:
pxor %xmm4, %xmm0 pxor %xmm4, %xmm0
pxor %xmm5, %xmm1 pxor %xmm5, %xmm1
pxor %xmm6, %xmm2
pxor %xmm7, %xmm3
movdqa %xmm0, 0(%esp) movdqa %xmm0, 0(%esp)
movdqa %xmm1, 16(%esp) movdqa %xmm1, 16(%esp)
pxor %xmm6, %xmm2
pxor %xmm7, %xmm3
movdqa %xmm2, 32(%esp) movdqa %xmm2, 32(%esp)
movdqa %xmm3, 48(%esp) movdqa %xmm3, 48(%esp)
salsa8_core_sse2 salsa8_core_sse2

17
sha2-x64.S
View file

@ -234,12 +234,11 @@ _sha256_init_4way:
.macro sha256_sse2_main_round i .macro sha256_sse2_main_round i
movdqa 16*(\i)(%rax), %xmm6 movdqa 16*(\i)(%rax), %xmm6
paddd 16*(\i)(%rcx), %xmm6
paddd 32(%rsp), %xmm6
movdqa %xmm0, %xmm1 movdqa %xmm0, %xmm1
movdqa 16(%rsp), %xmm2 movdqa 16(%rsp), %xmm2
pandn %xmm2, %xmm1 pandn %xmm2, %xmm1
paddd 32(%rsp), %xmm6
movdqa %xmm2, 32(%rsp) movdqa %xmm2, 32(%rsp)
movdqa 0(%rsp), %xmm2 movdqa 0(%rsp), %xmm2
@ -253,6 +252,7 @@ _sha256_init_4way:
movdqa %xmm0, %xmm1 movdqa %xmm0, %xmm1
psrld $6, %xmm0 psrld $6, %xmm0
paddd 16*(\i)(%rcx), %xmm6
movdqa %xmm0, %xmm2 movdqa %xmm0, %xmm2
pslld $7, %xmm1 pslld $7, %xmm1
psrld $5, %xmm2 psrld $5, %xmm2
@ -261,20 +261,19 @@ _sha256_init_4way:
pslld $14, %xmm1 pslld $14, %xmm1
psrld $14, %xmm2 psrld $14, %xmm2
pxor %xmm1, %xmm0 pxor %xmm1, %xmm0
pxor %xmm2, %xmm0
pslld $5, %xmm1 pslld $5, %xmm1
pxor %xmm2, %xmm0
pxor %xmm1, %xmm0 pxor %xmm1, %xmm0
movdqa %xmm5, %xmm1
paddd %xmm0, %xmm6 paddd %xmm0, %xmm6
movdqa %xmm3, %xmm0 movdqa %xmm3, %xmm0
paddd %xmm6, %xmm0
movdqa %xmm5, %xmm1
movdqa %xmm4, %xmm3 movdqa %xmm4, %xmm3
movdqa %xmm4, %xmm2 movdqa %xmm4, %xmm2
paddd %xmm6, %xmm0
pand %xmm5, %xmm2 pand %xmm5, %xmm2
pand %xmm7, %xmm4
pand %xmm7, %xmm1 pand %xmm7, %xmm1
pand %xmm7, %xmm4
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
movdqa %xmm5, %xmm4 movdqa %xmm5, %xmm4
movdqa %xmm7, %xmm5 movdqa %xmm7, %xmm5
@ -287,12 +286,12 @@ _sha256_init_4way:
pslld $10, %xmm2 pslld $10, %xmm2
psrld $11, %xmm1 psrld $11, %xmm1
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
pxor %xmm1, %xmm7
pslld $9, %xmm2 pslld $9, %xmm2
pxor %xmm1, %xmm7
psrld $9, %xmm1 psrld $9, %xmm1
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
pxor %xmm1, %xmm7
pslld $11, %xmm2 pslld $11, %xmm2
pxor %xmm1, %xmm7
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
paddd %xmm6, %xmm7 paddd %xmm6, %xmm7
.endm .endm

17
sha2-x86.S
View file

@ -230,12 +230,11 @@ _sha256_init_4way:
.macro sha256_sse2_main_round i .macro sha256_sse2_main_round i
movdqa 16*(\i)(%eax), %xmm6 movdqa 16*(\i)(%eax), %xmm6
paddd 16*(\i)+sha256_4k, %xmm6
paddd 32(%esp), %xmm6
movdqa %xmm0, %xmm1 movdqa %xmm0, %xmm1
movdqa 16(%esp), %xmm2 movdqa 16(%esp), %xmm2
pandn %xmm2, %xmm1 pandn %xmm2, %xmm1
paddd 32(%esp), %xmm6
movdqa %xmm2, 32(%esp) movdqa %xmm2, 32(%esp)
movdqa 0(%esp), %xmm2 movdqa 0(%esp), %xmm2
@ -249,6 +248,7 @@ _sha256_init_4way:
movdqa %xmm0, %xmm1 movdqa %xmm0, %xmm1
psrld $6, %xmm0 psrld $6, %xmm0
paddd 16*(\i)+sha256_4k, %xmm6
movdqa %xmm0, %xmm2 movdqa %xmm0, %xmm2
pslld $7, %xmm1 pslld $7, %xmm1
psrld $5, %xmm2 psrld $5, %xmm2
@ -257,20 +257,19 @@ _sha256_init_4way:
pslld $14, %xmm1 pslld $14, %xmm1
psrld $14, %xmm2 psrld $14, %xmm2
pxor %xmm1, %xmm0 pxor %xmm1, %xmm0
pxor %xmm2, %xmm0
pslld $5, %xmm1 pslld $5, %xmm1
pxor %xmm2, %xmm0
pxor %xmm1, %xmm0 pxor %xmm1, %xmm0
movdqa %xmm5, %xmm1
paddd %xmm0, %xmm6 paddd %xmm0, %xmm6
movdqa %xmm3, %xmm0 movdqa %xmm3, %xmm0
paddd %xmm6, %xmm0
movdqa %xmm5, %xmm1
movdqa %xmm4, %xmm3 movdqa %xmm4, %xmm3
movdqa %xmm4, %xmm2 movdqa %xmm4, %xmm2
paddd %xmm6, %xmm0
pand %xmm5, %xmm2 pand %xmm5, %xmm2
pand %xmm7, %xmm4
pand %xmm7, %xmm1 pand %xmm7, %xmm1
pand %xmm7, %xmm4
pxor %xmm4, %xmm1 pxor %xmm4, %xmm1
movdqa %xmm5, %xmm4 movdqa %xmm5, %xmm4
movdqa %xmm7, %xmm5 movdqa %xmm7, %xmm5
@ -283,12 +282,12 @@ _sha256_init_4way:
pslld $10, %xmm2 pslld $10, %xmm2
psrld $11, %xmm1 psrld $11, %xmm1
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
pxor %xmm1, %xmm7
pslld $9, %xmm2 pslld $9, %xmm2
pxor %xmm1, %xmm7
psrld $9, %xmm1 psrld $9, %xmm1
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
pxor %xmm1, %xmm7
pslld $11, %xmm2 pslld $11, %xmm2
pxor %xmm1, %xmm7
pxor %xmm2, %xmm7 pxor %xmm2, %xmm7
paddd %xmm6, %xmm7 paddd %xmm6, %xmm7
.endm .endm