Performance tweaks for AMD K8 and Intel Atom

This commit is contained in:
pooler 2012-05-28 23:38:46 +02:00
parent 29d64a8b6f
commit 5b82b834a6

View file

@ -127,120 +127,122 @@ scrypt_best_throughput_exit:
leaq (%r14, %rdx), %rbp leaq (%r14, %rdx), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %r9 xorl %ebp, %r9d
leaq (%rdi, %r15), %rbp leaq (%rdi, %r15), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %r10 xorl %ebp, %r10d
leaq (%rdx, %r9), %rbp leaq (%rdx, %r9), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %r11 xorl %ebp, %r11d
leaq (%r15, %r10), %rbp leaq (%r15, %r10), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %r13 xorl %ebp, %r13d
leaq (%r9, %r11), %rbp leaq (%r9, %r11), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %r14 xorl %ebp, %r14d
leaq (%r10, %r13), %rbp leaq (%r10, %r13), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %rdi xorl %ebp, %edi
leaq (%r11, %r14), %rbp leaq (%r11, %r14), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %rdx xorl %ebp, %edx
leaq (%r13, %rdi), %rbp leaq (%r13, %rdi), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %r15 xorl %ebp, %r15d
movq 48(%rsp), %rbp movq 48(%rsp), %rbp
movq %r15, 72(%rsp) movq %r15, 72(%rsp)
leaq (%rax, %rbp), %r15 leaq (%rax, %rbp), %r15
roll $7, %r15d roll $7, %r15d
xorq %r15, %rbx xorl %r15d, %ebx
leaq (%rbp, %rbx), %r15 leaq (%rbp, %rbx), %r15
roll $9, %r15d roll $9, %r15d
xorq %r15, %rcx xorl %r15d, %ecx
leaq (%rbx, %rcx), %r15 leaq (%rbx, %rcx), %r15
roll $13, %r15d roll $13, %r15d
xorq %r15, %rax xorl %r15d, %eax
leaq (%rcx, %rax), %r15 leaq (%rcx, %rax), %r15
roll $18, %r15d roll $18, %r15d
xorq %r15, %rbp xorl %r15d, %ebp
movq 88(%rsp), %r15 movq 88(%rsp), %r15
movq %rbp, 48(%rsp) movq %rbp, 48(%rsp)
leaq (%r12, %r15), %rbp leaq (%r12, %r15), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %rsi xorl %ebp, %esi
leaq (%r15, %rsi), %rbp leaq (%r15, %rsi), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %r8 xorl %ebp, %r8d
leaq (%rsi, %r8), %rbp leaq (%rsi, %r8), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %r12 xorl %ebp, %r12d
leaq (%r8, %r12), %rbp leaq (%r8, %r12), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %r15 xorl %ebp, %r15d
movq %r15, 88(%rsp) movq %r15, 88(%rsp)
movq 72(%rsp), %r15 movq 72(%rsp), %r15
leaq (%rsi, %rdx), %rbp leaq (%rsi, %rdx), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %rdi xorl %ebp, %edi
leaq (%r9, %r15), %rbp leaq (%r9, %r15), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %rax xorl %ebp, %eax
leaq (%rdx, %rdi), %rbp leaq (%rdx, %rdi), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %rcx xorl %ebp, %ecx
leaq (%r15, %rax), %rbp leaq (%r15, %rax), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %r8 xorl %ebp, %r8d
leaq (%rdi, %rcx), %rbp leaq (%rdi, %rcx), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %rsi xorl %ebp, %esi
leaq (%rax, %r8), %rbp leaq (%rax, %r8), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %r9 xorl %ebp, %r9d
leaq (%rcx, %rsi), %rbp leaq (%rcx, %rsi), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %rdx xorl %ebp, %edx
leaq (%r8, %r9), %rbp leaq (%r8, %r9), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %r15 xorl %ebp, %r15d
movq 48(%rsp), %rbp movq 48(%rsp), %rbp
movq %r15, 72(%rsp) movq %r15, 72(%rsp)
leaq (%r10, %rbp), %r15 leaq (%r10, %rbp), %r15
roll $7, %r15d roll $7, %r15d
xorq %r15, %r12 xorl %r15d, %r12d
leaq (%rbp, %r12), %r15 leaq (%rbp, %r12), %r15
roll $9, %r15d roll $9, %r15d
xorq %r15, %r11 xorl %r15d, %r11d
leaq (%r12, %r11), %r15 leaq (%r12, %r11), %r15
roll $13, %r15d roll $13, %r15d
xorq %r15, %r10 xorl %r15d, %r10d
leaq (%r11, %r10), %r15 leaq (%r11, %r10), %r15
roll $18, %r15d roll $18, %r15d
xorq %r15, %rbp xorl %r15d, %ebp
movq 88(%rsp), %r15 movq 88(%rsp), %r15
movq %rbp, 48(%rsp) movq %rbp, 48(%rsp)
leaq (%rbx, %r15), %rbp leaq (%rbx, %r15), %rbp
roll $7, %ebp roll $7, %ebp
xorq %rbp, %r14 xorl %ebp, %r14d
leaq (%r15, %r14), %rbp leaq (%r15, %r14), %rbp
roll $9, %ebp roll $9, %ebp
xorq %rbp, %r13 xorl %ebp, %r13d
leaq (%r14, %r13), %rbp leaq (%r14, %r13), %rbp
roll $13, %ebp roll $13, %ebp
xorq %rbp, %rbx xorl %ebp, %ebx
leaq (%r13, %rbx), %rbp leaq (%r13, %rbx), %rbp
roll $18, %ebp roll $18, %ebp
xorq %rbp, %r15 xorl %ebp, %r15d
movq %r15, 88(%rsp) movq %r15, 88(%rsp)
.endm .endm
@ -285,61 +287,45 @@ salsa8_core_gen:
salsa8_core_gen_doubleround salsa8_core_gen_doubleround
salsa8_core_gen_doubleround salsa8_core_gen_doubleround
movl %edx, %edx
shlq $32, %rdi shlq $32, %rdi
addq %rdi, %rdx xorq %rdi, %rdx
movd %rdx, %xmm0 movq %rdx, 24(%rsp)
movl %ecx, %ecx
shlq $32, %rsi shlq $32, %rsi
addq %rsi, %rcx xorq %rsi, %rcx
movd %rcx, %xmm4 movq %rcx, 32(%rsp)
movq 72(%rsp), %rdi movl 72(%rsp), %edi
movl %r9d, %r9d
shlq $32, %rdi shlq $32, %rdi
addq %rdi, %r9 xorq %rdi, %r9
movd %r9, %xmm1 movq %r9, 40(%rsp)
movl %eax, %eax movl 48(%rsp), %ebp
shlq $32, %r8 shlq $32, %r8
addq %r8, %rax xorq %r8, %rax
movd %rax, %xmm5 movq %rax, 48(%rsp)
movl %r11d, %r11d
shlq $32, %r10 shlq $32, %r10
addq %r10, %r11 xorq %r10, %r11
movd %r11, %xmm2 movq %r11, 56(%rsp)
movl 48(%rsp), %r8d
shlq $32, %r12 shlq $32, %r12
addq %r12, %r8 xorq %r12, %rbp
movd %r8, %xmm6 movq %rbp, 64(%rsp)
movl %r14d, %r14d
shlq $32, %r13 shlq $32, %r13
addq %r13, %r14 xorq %r13, %r14
movd %r14, %xmm3 movq %r14, 72(%rsp)
movq 88(%rsp), %rdi movdqa 24(%rsp), %xmm0
movl %ebx, %ebx
shlq $32, %rdi
addq %rdi, %rbx
movd %rbx, %xmm7
punpcklqdq %xmm4, %xmm0 shlq $32, %r15
punpcklqdq %xmm5, %xmm1 xorq %r15, %rbx
punpcklqdq %xmm6, %xmm2 movq %rbx, 80(%rsp)
punpcklqdq %xmm7, %xmm3
/* movq %rdx, 8(%rsp) */ movdqa 40(%rsp), %xmm1
/* movq %rcx, 16(%rsp) */ movdqa 56(%rsp), %xmm2
/* movq %r9, 24(%rsp) */ movdqa 72(%rsp), %xmm3
/* movq %rax, 32(%rsp) */
/* movq %r11, 40(%rsp) */
/* movq %r8, 48(%rsp) */
/* movq %r14, 56(%rsp) */
/* movq %rbx, 64(%rsp) */
ret ret
@ -470,19 +456,20 @@ scrypt_core_gen_loop1:
jne scrypt_core_gen_loop1 jne scrypt_core_gen_loop1
movq $1024, %rcx movq $1024, %rcx
movd %xmm12, %edx
scrypt_core_gen_loop2: scrypt_core_gen_loop2:
movq 112(%rsp), %rsi movq 112(%rsp), %rsi
movd %xmm12, %edx
andl $1023, %edx andl $1023, %edx
shll $7, %edx shll $7, %edx
movdqa 0(%rsi, %rdx), %xmm0 addq %rsi, %rdx
movdqa 16(%rsi, %rdx), %xmm1 movdqa 0(%rdx), %xmm0
movdqa 32(%rsi, %rdx), %xmm2 movdqa 16(%rdx), %xmm1
movdqa 48(%rsi, %rdx), %xmm3 movdqa 32(%rdx), %xmm2
movdqa 64(%rsi, %rdx), %xmm4 movdqa 48(%rdx), %xmm3
movdqa 80(%rsi, %rdx), %xmm5 movdqa 64(%rdx), %xmm4
movdqa 96(%rsi, %rdx), %xmm6 movdqa 80(%rdx), %xmm5
movdqa 112(%rsi, %rdx), %xmm7 movdqa 96(%rdx), %xmm6
movdqa 112(%rdx), %xmm7
pxor %xmm0, %xmm8 pxor %xmm0, %xmm8
pxor %xmm1, %xmm9 pxor %xmm1, %xmm9
pxor %xmm2, %xmm10 pxor %xmm2, %xmm10
@ -517,6 +504,7 @@ scrypt_core_gen_loop2:
movdqa %xmm15, 48(%rsp) movdqa %xmm15, 48(%rsp)
call salsa8_core_gen call salsa8_core_gen
movq 128(%rsp), %rcx movq 128(%rsp), %rcx
addl 0(%rsp), %edx
paddd %xmm0, %xmm12 paddd %xmm0, %xmm12
paddd %xmm1, %xmm13 paddd %xmm1, %xmm13
paddd %xmm2, %xmm14 paddd %xmm2, %xmm14
@ -679,6 +667,10 @@ scrypt_core_xmm:
movq %rsi, %rdx movq %rsi, %rdx
leaq 131072(%rsi), %rcx leaq 131072(%rsi), %rcx
scrypt_core_xmm_loop1: scrypt_core_xmm_loop1:
pxor %xmm12, %xmm8
pxor %xmm13, %xmm9
pxor %xmm14, %xmm10
pxor %xmm15, %xmm11
movdqa %xmm8, 0(%rdx) movdqa %xmm8, 0(%rdx)
movdqa %xmm9, 16(%rdx) movdqa %xmm9, 16(%rdx)
movdqa %xmm10, 32(%rdx) movdqa %xmm10, 32(%rdx)
@ -688,10 +680,6 @@ scrypt_core_xmm_loop1:
movdqa %xmm14, 96(%rdx) movdqa %xmm14, 96(%rdx)
movdqa %xmm15, 112(%rdx) movdqa %xmm15, 112(%rdx)
pxor %xmm12, %xmm8
pxor %xmm13, %xmm9
pxor %xmm14, %xmm10
pxor %xmm15, %xmm11
movdqa %xmm8, %xmm0 movdqa %xmm8, %xmm0
movdqa %xmm9, %xmm1 movdqa %xmm9, %xmm1
movdqa %xmm10, %xmm2 movdqa %xmm10, %xmm2
@ -725,22 +713,10 @@ scrypt_core_xmm_loop2:
movd %xmm12, %edx movd %xmm12, %edx
andl $1023, %edx andl $1023, %edx
shll $7, %edx shll $7, %edx
movdqa 0(%rsi, %rdx), %xmm0 pxor 0(%rsi, %rdx), %xmm8
movdqa 16(%rsi, %rdx), %xmm1 pxor 16(%rsi, %rdx), %xmm9
movdqa 32(%rsi, %rdx), %xmm2 pxor 32(%rsi, %rdx), %xmm10
movdqa 48(%rsi, %rdx), %xmm3 pxor 48(%rsi, %rdx), %xmm11
movdqa 64(%rsi, %rdx), %xmm4
movdqa 80(%rsi, %rdx), %xmm5
movdqa 96(%rsi, %rdx), %xmm6
movdqa 112(%rsi, %rdx), %xmm7
pxor %xmm0, %xmm8
pxor %xmm1, %xmm9
pxor %xmm2, %xmm10
pxor %xmm3, %xmm11
pxor %xmm4, %xmm12
pxor %xmm5, %xmm13
pxor %xmm6, %xmm14
pxor %xmm7, %xmm15
pxor %xmm12, %xmm8 pxor %xmm12, %xmm8
pxor %xmm13, %xmm9 pxor %xmm13, %xmm9
@ -756,6 +732,10 @@ scrypt_core_xmm_loop2:
paddd %xmm2, %xmm10 paddd %xmm2, %xmm10
paddd %xmm3, %xmm11 paddd %xmm3, %xmm11
pxor 64(%rsi, %rdx), %xmm12
pxor 80(%rsi, %rdx), %xmm13
pxor 96(%rsi, %rdx), %xmm14
pxor 112(%rsi, %rdx), %xmm15
pxor %xmm8, %xmm12 pxor %xmm8, %xmm12
pxor %xmm9, %xmm13 pxor %xmm9, %xmm13
pxor %xmm10, %xmm14 pxor %xmm10, %xmm14