1// This file is generated from a similarly-named Perl script in the BoringSSL
2// source tree. Do not edit by hand.
3
4#include <ring-core/asm_base.h>
5
6#if !defined(OPENSSL_NO_ASM) && defined(OPENSSL_ARM) && defined(__ELF__)
7#include <ring-core/arm_arch.h>
8
9@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both
10@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions.
11.arch	armv7-a
12
13.text
14#if defined(__thumb2__)
15.syntax	unified
16.thumb
17#else
18.code	32
19#endif
20
21#if __ARM_MAX_ARCH__>=7
22
23.hidden	OPENSSL_armcap_P
24.align	5
25.LOPENSSL_armcap:
26.word	OPENSSL_armcap_P-.Lbn_mul_mont
27#endif
28
29.globl	bn_mul_mont
30.hidden	bn_mul_mont
31.type	bn_mul_mont,%function
32
33.align	5
34bn_mul_mont:
35.Lbn_mul_mont:
36	ldr	ip,[sp,#4]		@ load num
37	stmdb	sp!,{r0,r2}		@ sp points at argument block
38#if __ARM_MAX_ARCH__>=7
39	tst	ip,#7
40	bne	.Lialu
41	adr	r0,.Lbn_mul_mont
42	ldr	r2,.LOPENSSL_armcap
43	ldr	r0,[r0,r2]
44#ifdef	__APPLE__
45	ldr	r0,[r0]
46#endif
47	tst	r0,#ARMV7_NEON		@ NEON available?
48	ldmia	sp, {r0,r2}
49	beq	.Lialu
50	add	sp,sp,#8
51	b	bn_mul8x_mont_neon
52.align	4
53.Lialu:
54#endif
55	cmp	ip,#2
56	mov	r0,ip			@ load num
57#ifdef	__thumb2__
58	ittt	lt
59#endif
60	movlt	r0,#0
61	addlt	sp,sp,#2*4
62	blt	.Labrt
63
64	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ save 10 registers
65
66	mov	r0,r0,lsl#2		@ rescale r0 for byte count
67	sub	sp,sp,r0		@ alloca(4*num)
68	sub	sp,sp,#4		@ +extra dword
69	sub	r0,r0,#4		@ "num=num-1"
70	add	r4,r2,r0		@ &bp[num-1]
71
72	add	r0,sp,r0		@ r0 to point at &tp[num-1]
73	ldr	r8,[r0,#14*4]		@ &n0
74	ldr	r2,[r2]		@ bp[0]
75	ldr	r5,[r1],#4		@ ap[0],ap++
76	ldr	r6,[r3],#4		@ np[0],np++
77	ldr	r8,[r8]		@ *n0
78	str	r4,[r0,#15*4]		@ save &bp[num]
79
80	umull	r10,r11,r5,r2	@ ap[0]*bp[0]
81	str	r8,[r0,#14*4]		@ save n0 value
82	mul	r8,r10,r8		@ "tp[0]"*n0
83	mov	r12,#0
84	umlal	r10,r12,r6,r8	@ np[0]*n0+"t[0]"
85	mov	r4,sp
86
87.L1st:
88	ldr	r5,[r1],#4		@ ap[j],ap++
89	mov	r10,r11
90	ldr	r6,[r3],#4		@ np[j],np++
91	mov	r11,#0
92	umlal	r10,r11,r5,r2	@ ap[j]*bp[0]
93	mov	r14,#0
94	umlal	r12,r14,r6,r8	@ np[j]*n0
95	adds	r12,r12,r10
96	str	r12,[r4],#4		@ tp[j-1]=,tp++
97	adc	r12,r14,#0
98	cmp	r4,r0
99	bne	.L1st
100
101	adds	r12,r12,r11
102	ldr	r4,[r0,#13*4]		@ restore bp
103	mov	r14,#0
104	ldr	r8,[r0,#14*4]		@ restore n0
105	adc	r14,r14,#0
106	str	r12,[r0]		@ tp[num-1]=
107	mov	r7,sp
108	str	r14,[r0,#4]		@ tp[num]=
109
110.Louter:
111	sub	r7,r0,r7		@ "original" r0-1 value
112	sub	r1,r1,r7		@ "rewind" ap to &ap[1]
113	ldr	r2,[r4,#4]!		@ *(++bp)
114	sub	r3,r3,r7		@ "rewind" np to &np[1]
115	ldr	r5,[r1,#-4]		@ ap[0]
116	ldr	r10,[sp]		@ tp[0]
117	ldr	r6,[r3,#-4]		@ np[0]
118	ldr	r7,[sp,#4]		@ tp[1]
119
120	mov	r11,#0
121	umlal	r10,r11,r5,r2	@ ap[0]*bp[i]+tp[0]
122	str	r4,[r0,#13*4]		@ save bp
123	mul	r8,r10,r8
124	mov	r12,#0
125	umlal	r10,r12,r6,r8	@ np[0]*n0+"tp[0]"
126	mov	r4,sp
127
128.Linner:
129	ldr	r5,[r1],#4		@ ap[j],ap++
130	adds	r10,r11,r7		@ +=tp[j]
131	ldr	r6,[r3],#4		@ np[j],np++
132	mov	r11,#0
133	umlal	r10,r11,r5,r2	@ ap[j]*bp[i]
134	mov	r14,#0
135	umlal	r12,r14,r6,r8	@ np[j]*n0
136	adc	r11,r11,#0
137	ldr	r7,[r4,#8]		@ tp[j+1]
138	adds	r12,r12,r10
139	str	r12,[r4],#4		@ tp[j-1]=,tp++
140	adc	r12,r14,#0
141	cmp	r4,r0
142	bne	.Linner
143
144	adds	r12,r12,r11
145	mov	r14,#0
146	ldr	r4,[r0,#13*4]		@ restore bp
147	adc	r14,r14,#0
148	ldr	r8,[r0,#14*4]		@ restore n0
149	adds	r12,r12,r7
150	ldr	r7,[r0,#15*4]		@ restore &bp[num]
151	adc	r14,r14,#0
152	str	r12,[r0]		@ tp[num-1]=
153	str	r14,[r0,#4]		@ tp[num]=
154
155	cmp	r4,r7
156#ifdef	__thumb2__
157	itt	ne
158#endif
159	movne	r7,sp
160	bne	.Louter
161
162	ldr	r2,[r0,#12*4]		@ pull rp
163	mov	r5,sp
164	add	r0,r0,#4		@ r0 to point at &tp[num]
165	sub	r5,r0,r5		@ "original" num value
166	mov	r4,sp			@ "rewind" r4
167	mov	r1,r4			@ "borrow" r1
168	sub	r3,r3,r5		@ "rewind" r3 to &np[0]
169
170	subs	r7,r7,r7		@ "clear" carry flag
171.Lsub:	ldr	r7,[r4],#4
172	ldr	r6,[r3],#4
173	sbcs	r7,r7,r6		@ tp[j]-np[j]
174	str	r7,[r2],#4		@ rp[j]=
175	teq	r4,r0		@ preserve carry
176	bne	.Lsub
177	sbcs	r14,r14,#0		@ upmost carry
178	mov	r4,sp			@ "rewind" r4
179	sub	r2,r2,r5		@ "rewind" r2
180
181.Lcopy:	ldr	r7,[r4]		@ conditional copy
182	ldr	r5,[r2]
183	str	sp,[r4],#4		@ zap tp
184#ifdef	__thumb2__
185	it	cc
186#endif
187	movcc	r5,r7
188	str	r5,[r2],#4
189	teq	r4,r0		@ preserve carry
190	bne	.Lcopy
191
192	mov	sp,r0
193	add	sp,sp,#4		@ skip over tp[num+1]
194	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ restore registers
195	add	sp,sp,#2*4		@ skip over {r0,r2}
196	mov	r0,#1
197.Labrt:
198#if __ARM_ARCH__>=5
199	bx	lr				@ bx lr
200#else
201	tst	lr,#1
202	moveq	pc,lr			@ be binary compatible with V4, yet
203.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
204#endif
205.size	bn_mul_mont,.-bn_mul_mont
206#if __ARM_MAX_ARCH__>=7
207.arch	armv7-a
208.fpu	neon
209
210.type	bn_mul8x_mont_neon,%function
211.align	5
212bn_mul8x_mont_neon:
213	mov	ip,sp
214	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
215	vstmdb	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}		@ ABI specification says so
216	ldmia	ip,{r4,r5}		@ load rest of parameter block
217	mov	ip,sp
218
219	cmp	r5,#8
220	bhi	.LNEON_8n
221
222	@ special case for r5==8, everything is in register bank...
223
224	vld1.32	{d28[0]}, [r2,:32]!
225	veor	d8,d8,d8
226	sub	r7,sp,r5,lsl#4
227	vld1.32	{d0,d1,d2,d3},  [r1]!		@ can't specify :32 :-(
228	and	r7,r7,#-64
229	vld1.32	{d30[0]}, [r4,:32]
230	mov	sp,r7			@ alloca
231	vzip.16	d28,d8
232
233	vmull.u32	q6,d28,d0[0]
234	vmull.u32	q7,d28,d0[1]
235	vmull.u32	q8,d28,d1[0]
236	vshl.i64	d29,d13,#16
237	vmull.u32	q9,d28,d1[1]
238
239	vadd.u64	d29,d29,d12
240	veor	d8,d8,d8
241	vmul.u32	d29,d29,d30
242
243	vmull.u32	q10,d28,d2[0]
244	vld1.32	{d4,d5,d6,d7}, [r3]!
245	vmull.u32	q11,d28,d2[1]
246	vmull.u32	q12,d28,d3[0]
247	vzip.16	d29,d8
248	vmull.u32	q13,d28,d3[1]
249
250	vmlal.u32	q6,d29,d4[0]
251	sub	r9,r5,#1
252	vmlal.u32	q7,d29,d4[1]
253	vmlal.u32	q8,d29,d5[0]
254	vmlal.u32	q9,d29,d5[1]
255
256	vmlal.u32	q10,d29,d6[0]
257	vmov	q5,q6
258	vmlal.u32	q11,d29,d6[1]
259	vmov	q6,q7
260	vmlal.u32	q12,d29,d7[0]
261	vmov	q7,q8
262	vmlal.u32	q13,d29,d7[1]
263	vmov	q8,q9
264	vmov	q9,q10
265	vshr.u64	d10,d10,#16
266	vmov	q10,q11
267	vmov	q11,q12
268	vadd.u64	d10,d10,d11
269	vmov	q12,q13
270	veor	q13,q13
271	vshr.u64	d10,d10,#16
272
273	b	.LNEON_outer8
274
275.align	4
276.LNEON_outer8:
277	vld1.32	{d28[0]}, [r2,:32]!
278	veor	d8,d8,d8
279	vzip.16	d28,d8
280	vadd.u64	d12,d12,d10
281
282	vmlal.u32	q6,d28,d0[0]
283	vmlal.u32	q7,d28,d0[1]
284	vmlal.u32	q8,d28,d1[0]
285	vshl.i64	d29,d13,#16
286	vmlal.u32	q9,d28,d1[1]
287
288	vadd.u64	d29,d29,d12
289	veor	d8,d8,d8
290	subs	r9,r9,#1
291	vmul.u32	d29,d29,d30
292
293	vmlal.u32	q10,d28,d2[0]
294	vmlal.u32	q11,d28,d2[1]
295	vmlal.u32	q12,d28,d3[0]
296	vzip.16	d29,d8
297	vmlal.u32	q13,d28,d3[1]
298
299	vmlal.u32	q6,d29,d4[0]
300	vmlal.u32	q7,d29,d4[1]
301	vmlal.u32	q8,d29,d5[0]
302	vmlal.u32	q9,d29,d5[1]
303
304	vmlal.u32	q10,d29,d6[0]
305	vmov	q5,q6
306	vmlal.u32	q11,d29,d6[1]
307	vmov	q6,q7
308	vmlal.u32	q12,d29,d7[0]
309	vmov	q7,q8
310	vmlal.u32	q13,d29,d7[1]
311	vmov	q8,q9
312	vmov	q9,q10
313	vshr.u64	d10,d10,#16
314	vmov	q10,q11
315	vmov	q11,q12
316	vadd.u64	d10,d10,d11
317	vmov	q12,q13
318	veor	q13,q13
319	vshr.u64	d10,d10,#16
320
321	bne	.LNEON_outer8
322
323	vadd.u64	d12,d12,d10
324	mov	r7,sp
325	vshr.u64	d10,d12,#16
326	mov	r8,r5
327	vadd.u64	d13,d13,d10
328	add	r6,sp,#96
329	vshr.u64	d10,d13,#16
330	vzip.16	d12,d13
331
332	b	.LNEON_tail_entry
333
334.align	4
335.LNEON_8n:
336	veor	q6,q6,q6
337	sub	r7,sp,#128
338	veor	q7,q7,q7
339	sub	r7,r7,r5,lsl#4
340	veor	q8,q8,q8
341	and	r7,r7,#-64
342	veor	q9,q9,q9
343	mov	sp,r7			@ alloca
344	veor	q10,q10,q10
345	add	r7,r7,#256
346	veor	q11,q11,q11
347	sub	r8,r5,#8
348	veor	q12,q12,q12
349	veor	q13,q13,q13
350
351.LNEON_8n_init:
352	vst1.64	{q6,q7},[r7,:256]!
353	subs	r8,r8,#8
354	vst1.64	{q8,q9},[r7,:256]!
355	vst1.64	{q10,q11},[r7,:256]!
356	vst1.64	{q12,q13},[r7,:256]!
357	bne	.LNEON_8n_init
358
359	add	r6,sp,#256
360	vld1.32	{d0,d1,d2,d3},[r1]!
361	add	r10,sp,#8
362	vld1.32	{d30[0]},[r4,:32]
363	mov	r9,r5
364	b	.LNEON_8n_outer
365
366.align	4
367.LNEON_8n_outer:
368	vld1.32	{d28[0]},[r2,:32]!	@ *b++
369	veor	d8,d8,d8
370	vzip.16	d28,d8
371	add	r7,sp,#128
372	vld1.32	{d4,d5,d6,d7},[r3]!
373
374	vmlal.u32	q6,d28,d0[0]
375	vmlal.u32	q7,d28,d0[1]
376	veor	d8,d8,d8
377	vmlal.u32	q8,d28,d1[0]
378	vshl.i64	d29,d13,#16
379	vmlal.u32	q9,d28,d1[1]
380	vadd.u64	d29,d29,d12
381	vmlal.u32	q10,d28,d2[0]
382	vmul.u32	d29,d29,d30
383	vmlal.u32	q11,d28,d2[1]
384	vst1.32	{d28},[sp,:64]		@ put aside smashed b[8*i+0]
385	vmlal.u32	q12,d28,d3[0]
386	vzip.16	d29,d8
387	vmlal.u32	q13,d28,d3[1]
388	vld1.32	{d28[0]},[r2,:32]!	@ *b++
389	vmlal.u32	q6,d29,d4[0]
390	veor	d10,d10,d10
391	vmlal.u32	q7,d29,d4[1]
392	vzip.16	d28,d10
393	vmlal.u32	q8,d29,d5[0]
394	vshr.u64	d12,d12,#16
395	vmlal.u32	q9,d29,d5[1]
396	vmlal.u32	q10,d29,d6[0]
397	vadd.u64	d12,d12,d13
398	vmlal.u32	q11,d29,d6[1]
399	vshr.u64	d12,d12,#16
400	vmlal.u32	q12,d29,d7[0]
401	vmlal.u32	q13,d29,d7[1]
402	vadd.u64	d14,d14,d12
403	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+0]
404	vmlal.u32	q7,d28,d0[0]
405	vld1.64	{q6},[r6,:128]!
406	vmlal.u32	q8,d28,d0[1]
407	veor	d8,d8,d8
408	vmlal.u32	q9,d28,d1[0]
409	vshl.i64	d29,d15,#16
410	vmlal.u32	q10,d28,d1[1]
411	vadd.u64	d29,d29,d14
412	vmlal.u32	q11,d28,d2[0]
413	vmul.u32	d29,d29,d30
414	vmlal.u32	q12,d28,d2[1]
415	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+1]
416	vmlal.u32	q13,d28,d3[0]
417	vzip.16	d29,d8
418	vmlal.u32	q6,d28,d3[1]
419	vld1.32	{d28[0]},[r2,:32]!	@ *b++
420	vmlal.u32	q7,d29,d4[0]
421	veor	d10,d10,d10
422	vmlal.u32	q8,d29,d4[1]
423	vzip.16	d28,d10
424	vmlal.u32	q9,d29,d5[0]
425	vshr.u64	d14,d14,#16
426	vmlal.u32	q10,d29,d5[1]
427	vmlal.u32	q11,d29,d6[0]
428	vadd.u64	d14,d14,d15
429	vmlal.u32	q12,d29,d6[1]
430	vshr.u64	d14,d14,#16
431	vmlal.u32	q13,d29,d7[0]
432	vmlal.u32	q6,d29,d7[1]
433	vadd.u64	d16,d16,d14
434	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+1]
435	vmlal.u32	q8,d28,d0[0]
436	vld1.64	{q7},[r6,:128]!
437	vmlal.u32	q9,d28,d0[1]
438	veor	d8,d8,d8
439	vmlal.u32	q10,d28,d1[0]
440	vshl.i64	d29,d17,#16
441	vmlal.u32	q11,d28,d1[1]
442	vadd.u64	d29,d29,d16
443	vmlal.u32	q12,d28,d2[0]
444	vmul.u32	d29,d29,d30
445	vmlal.u32	q13,d28,d2[1]
446	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+2]
447	vmlal.u32	q6,d28,d3[0]
448	vzip.16	d29,d8
449	vmlal.u32	q7,d28,d3[1]
450	vld1.32	{d28[0]},[r2,:32]!	@ *b++
451	vmlal.u32	q8,d29,d4[0]
452	veor	d10,d10,d10
453	vmlal.u32	q9,d29,d4[1]
454	vzip.16	d28,d10
455	vmlal.u32	q10,d29,d5[0]
456	vshr.u64	d16,d16,#16
457	vmlal.u32	q11,d29,d5[1]
458	vmlal.u32	q12,d29,d6[0]
459	vadd.u64	d16,d16,d17
460	vmlal.u32	q13,d29,d6[1]
461	vshr.u64	d16,d16,#16
462	vmlal.u32	q6,d29,d7[0]
463	vmlal.u32	q7,d29,d7[1]
464	vadd.u64	d18,d18,d16
465	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+2]
466	vmlal.u32	q9,d28,d0[0]
467	vld1.64	{q8},[r6,:128]!
468	vmlal.u32	q10,d28,d0[1]
469	veor	d8,d8,d8
470	vmlal.u32	q11,d28,d1[0]
471	vshl.i64	d29,d19,#16
472	vmlal.u32	q12,d28,d1[1]
473	vadd.u64	d29,d29,d18
474	vmlal.u32	q13,d28,d2[0]
475	vmul.u32	d29,d29,d30
476	vmlal.u32	q6,d28,d2[1]
477	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+3]
478	vmlal.u32	q7,d28,d3[0]
479	vzip.16	d29,d8
480	vmlal.u32	q8,d28,d3[1]
481	vld1.32	{d28[0]},[r2,:32]!	@ *b++
482	vmlal.u32	q9,d29,d4[0]
483	veor	d10,d10,d10
484	vmlal.u32	q10,d29,d4[1]
485	vzip.16	d28,d10
486	vmlal.u32	q11,d29,d5[0]
487	vshr.u64	d18,d18,#16
488	vmlal.u32	q12,d29,d5[1]
489	vmlal.u32	q13,d29,d6[0]
490	vadd.u64	d18,d18,d19
491	vmlal.u32	q6,d29,d6[1]
492	vshr.u64	d18,d18,#16
493	vmlal.u32	q7,d29,d7[0]
494	vmlal.u32	q8,d29,d7[1]
495	vadd.u64	d20,d20,d18
496	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+3]
497	vmlal.u32	q10,d28,d0[0]
498	vld1.64	{q9},[r6,:128]!
499	vmlal.u32	q11,d28,d0[1]
500	veor	d8,d8,d8
501	vmlal.u32	q12,d28,d1[0]
502	vshl.i64	d29,d21,#16
503	vmlal.u32	q13,d28,d1[1]
504	vadd.u64	d29,d29,d20
505	vmlal.u32	q6,d28,d2[0]
506	vmul.u32	d29,d29,d30
507	vmlal.u32	q7,d28,d2[1]
508	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+4]
509	vmlal.u32	q8,d28,d3[0]
510	vzip.16	d29,d8
511	vmlal.u32	q9,d28,d3[1]
512	vld1.32	{d28[0]},[r2,:32]!	@ *b++
513	vmlal.u32	q10,d29,d4[0]
514	veor	d10,d10,d10
515	vmlal.u32	q11,d29,d4[1]
516	vzip.16	d28,d10
517	vmlal.u32	q12,d29,d5[0]
518	vshr.u64	d20,d20,#16
519	vmlal.u32	q13,d29,d5[1]
520	vmlal.u32	q6,d29,d6[0]
521	vadd.u64	d20,d20,d21
522	vmlal.u32	q7,d29,d6[1]
523	vshr.u64	d20,d20,#16
524	vmlal.u32	q8,d29,d7[0]
525	vmlal.u32	q9,d29,d7[1]
526	vadd.u64	d22,d22,d20
527	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+4]
528	vmlal.u32	q11,d28,d0[0]
529	vld1.64	{q10},[r6,:128]!
530	vmlal.u32	q12,d28,d0[1]
531	veor	d8,d8,d8
532	vmlal.u32	q13,d28,d1[0]
533	vshl.i64	d29,d23,#16
534	vmlal.u32	q6,d28,d1[1]
535	vadd.u64	d29,d29,d22
536	vmlal.u32	q7,d28,d2[0]
537	vmul.u32	d29,d29,d30
538	vmlal.u32	q8,d28,d2[1]
539	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+5]
540	vmlal.u32	q9,d28,d3[0]
541	vzip.16	d29,d8
542	vmlal.u32	q10,d28,d3[1]
543	vld1.32	{d28[0]},[r2,:32]!	@ *b++
544	vmlal.u32	q11,d29,d4[0]
545	veor	d10,d10,d10
546	vmlal.u32	q12,d29,d4[1]
547	vzip.16	d28,d10
548	vmlal.u32	q13,d29,d5[0]
549	vshr.u64	d22,d22,#16
550	vmlal.u32	q6,d29,d5[1]
551	vmlal.u32	q7,d29,d6[0]
552	vadd.u64	d22,d22,d23
553	vmlal.u32	q8,d29,d6[1]
554	vshr.u64	d22,d22,#16
555	vmlal.u32	q9,d29,d7[0]
556	vmlal.u32	q10,d29,d7[1]
557	vadd.u64	d24,d24,d22
558	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+5]
559	vmlal.u32	q12,d28,d0[0]
560	vld1.64	{q11},[r6,:128]!
561	vmlal.u32	q13,d28,d0[1]
562	veor	d8,d8,d8
563	vmlal.u32	q6,d28,d1[0]
564	vshl.i64	d29,d25,#16
565	vmlal.u32	q7,d28,d1[1]
566	vadd.u64	d29,d29,d24
567	vmlal.u32	q8,d28,d2[0]
568	vmul.u32	d29,d29,d30
569	vmlal.u32	q9,d28,d2[1]
570	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+6]
571	vmlal.u32	q10,d28,d3[0]
572	vzip.16	d29,d8
573	vmlal.u32	q11,d28,d3[1]
574	vld1.32	{d28[0]},[r2,:32]!	@ *b++
575	vmlal.u32	q12,d29,d4[0]
576	veor	d10,d10,d10
577	vmlal.u32	q13,d29,d4[1]
578	vzip.16	d28,d10
579	vmlal.u32	q6,d29,d5[0]
580	vshr.u64	d24,d24,#16
581	vmlal.u32	q7,d29,d5[1]
582	vmlal.u32	q8,d29,d6[0]
583	vadd.u64	d24,d24,d25
584	vmlal.u32	q9,d29,d6[1]
585	vshr.u64	d24,d24,#16
586	vmlal.u32	q10,d29,d7[0]
587	vmlal.u32	q11,d29,d7[1]
588	vadd.u64	d26,d26,d24
589	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+6]
590	vmlal.u32	q13,d28,d0[0]
591	vld1.64	{q12},[r6,:128]!
592	vmlal.u32	q6,d28,d0[1]
593	veor	d8,d8,d8
594	vmlal.u32	q7,d28,d1[0]
595	vshl.i64	d29,d27,#16
596	vmlal.u32	q8,d28,d1[1]
597	vadd.u64	d29,d29,d26
598	vmlal.u32	q9,d28,d2[0]
599	vmul.u32	d29,d29,d30
600	vmlal.u32	q10,d28,d2[1]
601	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+7]
602	vmlal.u32	q11,d28,d3[0]
603	vzip.16	d29,d8
604	vmlal.u32	q12,d28,d3[1]
605	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
606	vmlal.u32	q13,d29,d4[0]
607	vld1.32	{d0,d1,d2,d3},[r1]!
608	vmlal.u32	q6,d29,d4[1]
609	vmlal.u32	q7,d29,d5[0]
610	vshr.u64	d26,d26,#16
611	vmlal.u32	q8,d29,d5[1]
612	vmlal.u32	q9,d29,d6[0]
613	vadd.u64	d26,d26,d27
614	vmlal.u32	q10,d29,d6[1]
615	vshr.u64	d26,d26,#16
616	vmlal.u32	q11,d29,d7[0]
617	vmlal.u32	q12,d29,d7[1]
618	vadd.u64	d12,d12,d26
619	vst1.32	{d29},[r10,:64]	@ put aside smashed m[8*i+7]
620	add	r10,sp,#8		@ rewind
621	sub	r8,r5,#8
622	b	.LNEON_8n_inner
623
624.align	4
625.LNEON_8n_inner:
626	subs	r8,r8,#8
627	vmlal.u32	q6,d28,d0[0]
628	vld1.64	{q13},[r6,:128]
629	vmlal.u32	q7,d28,d0[1]
630	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+0]
631	vmlal.u32	q8,d28,d1[0]
632	vld1.32	{d4,d5,d6,d7},[r3]!
633	vmlal.u32	q9,d28,d1[1]
634	it	ne
635	addne	r6,r6,#16	@ don't advance in last iteration
636	vmlal.u32	q10,d28,d2[0]
637	vmlal.u32	q11,d28,d2[1]
638	vmlal.u32	q12,d28,d3[0]
639	vmlal.u32	q13,d28,d3[1]
640	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+1]
641	vmlal.u32	q6,d29,d4[0]
642	vmlal.u32	q7,d29,d4[1]
643	vmlal.u32	q8,d29,d5[0]
644	vmlal.u32	q9,d29,d5[1]
645	vmlal.u32	q10,d29,d6[0]
646	vmlal.u32	q11,d29,d6[1]
647	vmlal.u32	q12,d29,d7[0]
648	vmlal.u32	q13,d29,d7[1]
649	vst1.64	{q6},[r7,:128]!
650	vmlal.u32	q7,d28,d0[0]
651	vld1.64	{q6},[r6,:128]
652	vmlal.u32	q8,d28,d0[1]
653	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+1]
654	vmlal.u32	q9,d28,d1[0]
655	it	ne
656	addne	r6,r6,#16	@ don't advance in last iteration
657	vmlal.u32	q10,d28,d1[1]
658	vmlal.u32	q11,d28,d2[0]
659	vmlal.u32	q12,d28,d2[1]
660	vmlal.u32	q13,d28,d3[0]
661	vmlal.u32	q6,d28,d3[1]
662	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+2]
663	vmlal.u32	q7,d29,d4[0]
664	vmlal.u32	q8,d29,d4[1]
665	vmlal.u32	q9,d29,d5[0]
666	vmlal.u32	q10,d29,d5[1]
667	vmlal.u32	q11,d29,d6[0]
668	vmlal.u32	q12,d29,d6[1]
669	vmlal.u32	q13,d29,d7[0]
670	vmlal.u32	q6,d29,d7[1]
671	vst1.64	{q7},[r7,:128]!
672	vmlal.u32	q8,d28,d0[0]
673	vld1.64	{q7},[r6,:128]
674	vmlal.u32	q9,d28,d0[1]
675	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+2]
676	vmlal.u32	q10,d28,d1[0]
677	it	ne
678	addne	r6,r6,#16	@ don't advance in last iteration
679	vmlal.u32	q11,d28,d1[1]
680	vmlal.u32	q12,d28,d2[0]
681	vmlal.u32	q13,d28,d2[1]
682	vmlal.u32	q6,d28,d3[0]
683	vmlal.u32	q7,d28,d3[1]
684	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+3]
685	vmlal.u32	q8,d29,d4[0]
686	vmlal.u32	q9,d29,d4[1]
687	vmlal.u32	q10,d29,d5[0]
688	vmlal.u32	q11,d29,d5[1]
689	vmlal.u32	q12,d29,d6[0]
690	vmlal.u32	q13,d29,d6[1]
691	vmlal.u32	q6,d29,d7[0]
692	vmlal.u32	q7,d29,d7[1]
693	vst1.64	{q8},[r7,:128]!
694	vmlal.u32	q9,d28,d0[0]
695	vld1.64	{q8},[r6,:128]
696	vmlal.u32	q10,d28,d0[1]
697	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+3]
698	vmlal.u32	q11,d28,d1[0]
699	it	ne
700	addne	r6,r6,#16	@ don't advance in last iteration
701	vmlal.u32	q12,d28,d1[1]
702	vmlal.u32	q13,d28,d2[0]
703	vmlal.u32	q6,d28,d2[1]
704	vmlal.u32	q7,d28,d3[0]
705	vmlal.u32	q8,d28,d3[1]
706	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+4]
707	vmlal.u32	q9,d29,d4[0]
708	vmlal.u32	q10,d29,d4[1]
709	vmlal.u32	q11,d29,d5[0]
710	vmlal.u32	q12,d29,d5[1]
711	vmlal.u32	q13,d29,d6[0]
712	vmlal.u32	q6,d29,d6[1]
713	vmlal.u32	q7,d29,d7[0]
714	vmlal.u32	q8,d29,d7[1]
715	vst1.64	{q9},[r7,:128]!
716	vmlal.u32	q10,d28,d0[0]
717	vld1.64	{q9},[r6,:128]
718	vmlal.u32	q11,d28,d0[1]
719	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+4]
720	vmlal.u32	q12,d28,d1[0]
721	it	ne
722	addne	r6,r6,#16	@ don't advance in last iteration
723	vmlal.u32	q13,d28,d1[1]
724	vmlal.u32	q6,d28,d2[0]
725	vmlal.u32	q7,d28,d2[1]
726	vmlal.u32	q8,d28,d3[0]
727	vmlal.u32	q9,d28,d3[1]
728	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+5]
729	vmlal.u32	q10,d29,d4[0]
730	vmlal.u32	q11,d29,d4[1]
731	vmlal.u32	q12,d29,d5[0]
732	vmlal.u32	q13,d29,d5[1]
733	vmlal.u32	q6,d29,d6[0]
734	vmlal.u32	q7,d29,d6[1]
735	vmlal.u32	q8,d29,d7[0]
736	vmlal.u32	q9,d29,d7[1]
737	vst1.64	{q10},[r7,:128]!
738	vmlal.u32	q11,d28,d0[0]
739	vld1.64	{q10},[r6,:128]
740	vmlal.u32	q12,d28,d0[1]
741	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+5]
742	vmlal.u32	q13,d28,d1[0]
743	it	ne
744	addne	r6,r6,#16	@ don't advance in last iteration
745	vmlal.u32	q6,d28,d1[1]
746	vmlal.u32	q7,d28,d2[0]
747	vmlal.u32	q8,d28,d2[1]
748	vmlal.u32	q9,d28,d3[0]
749	vmlal.u32	q10,d28,d3[1]
750	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+6]
751	vmlal.u32	q11,d29,d4[0]
752	vmlal.u32	q12,d29,d4[1]
753	vmlal.u32	q13,d29,d5[0]
754	vmlal.u32	q6,d29,d5[1]
755	vmlal.u32	q7,d29,d6[0]
756	vmlal.u32	q8,d29,d6[1]
757	vmlal.u32	q9,d29,d7[0]
758	vmlal.u32	q10,d29,d7[1]
759	vst1.64	{q11},[r7,:128]!
760	vmlal.u32	q12,d28,d0[0]
761	vld1.64	{q11},[r6,:128]
762	vmlal.u32	q13,d28,d0[1]
763	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+6]
764	vmlal.u32	q6,d28,d1[0]
765	it	ne
766	addne	r6,r6,#16	@ don't advance in last iteration
767	vmlal.u32	q7,d28,d1[1]
768	vmlal.u32	q8,d28,d2[0]
769	vmlal.u32	q9,d28,d2[1]
770	vmlal.u32	q10,d28,d3[0]
771	vmlal.u32	q11,d28,d3[1]
772	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+7]
773	vmlal.u32	q12,d29,d4[0]
774	vmlal.u32	q13,d29,d4[1]
775	vmlal.u32	q6,d29,d5[0]
776	vmlal.u32	q7,d29,d5[1]
777	vmlal.u32	q8,d29,d6[0]
778	vmlal.u32	q9,d29,d6[1]
779	vmlal.u32	q10,d29,d7[0]
780	vmlal.u32	q11,d29,d7[1]
781	vst1.64	{q12},[r7,:128]!
782	vmlal.u32	q13,d28,d0[0]
783	vld1.64	{q12},[r6,:128]
784	vmlal.u32	q6,d28,d0[1]
785	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+7]
786	vmlal.u32	q7,d28,d1[0]
787	it	ne
788	addne	r6,r6,#16	@ don't advance in last iteration
789	vmlal.u32	q8,d28,d1[1]
790	vmlal.u32	q9,d28,d2[0]
791	vmlal.u32	q10,d28,d2[1]
792	vmlal.u32	q11,d28,d3[0]
793	vmlal.u32	q12,d28,d3[1]
794	it	eq
795	subeq	r1,r1,r5,lsl#2	@ rewind
796	vmlal.u32	q13,d29,d4[0]
797	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
798	vmlal.u32	q6,d29,d4[1]
799	vld1.32	{d0,d1,d2,d3},[r1]!
800	vmlal.u32	q7,d29,d5[0]
801	add	r10,sp,#8		@ rewind
802	vmlal.u32	q8,d29,d5[1]
803	vmlal.u32	q9,d29,d6[0]
804	vmlal.u32	q10,d29,d6[1]
805	vmlal.u32	q11,d29,d7[0]
806	vst1.64	{q13},[r7,:128]!
807	vmlal.u32	q12,d29,d7[1]
808
809	bne	.LNEON_8n_inner
810	add	r6,sp,#128
811	vst1.64	{q6,q7},[r7,:256]!
812	veor	q2,q2,q2		@ d4-d5
813	vst1.64	{q8,q9},[r7,:256]!
814	veor	q3,q3,q3		@ d6-d7
815	vst1.64	{q10,q11},[r7,:256]!
816	vst1.64	{q12},[r7,:128]
817
818	subs	r9,r9,#8
819	vld1.64	{q6,q7},[r6,:256]!
820	vld1.64	{q8,q9},[r6,:256]!
821	vld1.64	{q10,q11},[r6,:256]!
822	vld1.64	{q12,q13},[r6,:256]!
823
824	itt	ne
825	subne	r3,r3,r5,lsl#2	@ rewind
826	bne	.LNEON_8n_outer
827
828	add	r7,sp,#128
829	vst1.64	{q2,q3}, [sp,:256]!	@ start wiping stack frame
830	vshr.u64	d10,d12,#16
831	vst1.64	{q2,q3},[sp,:256]!
832	vadd.u64	d13,d13,d10
833	vst1.64	{q2,q3}, [sp,:256]!
834	vshr.u64	d10,d13,#16
835	vst1.64	{q2,q3}, [sp,:256]!
836	vzip.16	d12,d13
837
838	mov	r8,r5
839	b	.LNEON_tail_entry
840
841.align	4
842.LNEON_tail:
843	vadd.u64	d12,d12,d10
844	vshr.u64	d10,d12,#16
845	vld1.64	{q8,q9}, [r6, :256]!
846	vadd.u64	d13,d13,d10
847	vld1.64	{q10,q11}, [r6, :256]!
848	vshr.u64	d10,d13,#16
849	vld1.64	{q12,q13}, [r6, :256]!
850	vzip.16	d12,d13
851
852.LNEON_tail_entry:
853	vadd.u64	d14,d14,d10
854	vst1.32	{d12[0]}, [r7, :32]!
855	vshr.u64	d10,d14,#16
856	vadd.u64	d15,d15,d10
857	vshr.u64	d10,d15,#16
858	vzip.16	d14,d15
859	vadd.u64	d16,d16,d10
860	vst1.32	{d14[0]}, [r7, :32]!
861	vshr.u64	d10,d16,#16
862	vadd.u64	d17,d17,d10
863	vshr.u64	d10,d17,#16
864	vzip.16	d16,d17
865	vadd.u64	d18,d18,d10
866	vst1.32	{d16[0]}, [r7, :32]!
867	vshr.u64	d10,d18,#16
868	vadd.u64	d19,d19,d10
869	vshr.u64	d10,d19,#16
870	vzip.16	d18,d19
871	vadd.u64	d20,d20,d10
872	vst1.32	{d18[0]}, [r7, :32]!
873	vshr.u64	d10,d20,#16
874	vadd.u64	d21,d21,d10
875	vshr.u64	d10,d21,#16
876	vzip.16	d20,d21
877	vadd.u64	d22,d22,d10
878	vst1.32	{d20[0]}, [r7, :32]!
879	vshr.u64	d10,d22,#16
880	vadd.u64	d23,d23,d10
881	vshr.u64	d10,d23,#16
882	vzip.16	d22,d23
883	vadd.u64	d24,d24,d10
884	vst1.32	{d22[0]}, [r7, :32]!
885	vshr.u64	d10,d24,#16
886	vadd.u64	d25,d25,d10
887	vshr.u64	d10,d25,#16
888	vzip.16	d24,d25
889	vadd.u64	d26,d26,d10
890	vst1.32	{d24[0]}, [r7, :32]!
891	vshr.u64	d10,d26,#16
892	vadd.u64	d27,d27,d10
893	vshr.u64	d10,d27,#16
894	vzip.16	d26,d27
895	vld1.64	{q6,q7}, [r6, :256]!
896	subs	r8,r8,#8
897	vst1.32	{d26[0]},   [r7, :32]!
898	bne	.LNEON_tail
899
900	vst1.32	{d10[0]}, [r7, :32]		@ top-most bit
901	sub	r3,r3,r5,lsl#2			@ rewind r3
902	subs	r1,sp,#0				@ clear carry flag
903	add	r2,sp,r5,lsl#2
904
905.LNEON_sub:
906	ldmia	r1!, {r4,r5,r6,r7}
907	ldmia	r3!, {r8,r9,r10,r11}
908	sbcs	r8, r4,r8
909	sbcs	r9, r5,r9
910	sbcs	r10,r6,r10
911	sbcs	r11,r7,r11
912	teq	r1,r2				@ preserves carry
913	stmia	r0!, {r8,r9,r10,r11}
914	bne	.LNEON_sub
915
916	ldr	r10, [r1]				@ load top-most bit
917	mov	r11,sp
918	veor	q0,q0,q0
919	sub	r11,r2,r11				@ this is num*4
920	veor	q1,q1,q1
921	mov	r1,sp
922	sub	r0,r0,r11				@ rewind r0
923	mov	r3,r2				@ second 3/4th of frame
924	sbcs	r10,r10,#0				@ result is carry flag
925
926.LNEON_copy_n_zap:
927	ldmia	r1!, {r4,r5,r6,r7}
928	ldmia	r0,  {r8,r9,r10,r11}
929	it	cc
930	movcc	r8, r4
931	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
932	itt	cc
933	movcc	r9, r5
934	movcc	r10,r6
935	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
936	it	cc
937	movcc	r11,r7
938	ldmia	r1, {r4,r5,r6,r7}
939	stmia	r0!, {r8,r9,r10,r11}
940	sub	r1,r1,#16
941	ldmia	r0, {r8,r9,r10,r11}
942	it	cc
943	movcc	r8, r4
944	vst1.64	{q0,q1}, [r1,:256]!			@ wipe
945	itt	cc
946	movcc	r9, r5
947	movcc	r10,r6
948	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
949	it	cc
950	movcc	r11,r7
951	teq	r1,r2				@ preserves carry
952	stmia	r0!, {r8,r9,r10,r11}
953	bne	.LNEON_copy_n_zap
954
955	mov	sp,ip
956	vldmia	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}
957	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
958	bx	lr						@ bx lr
959.size	bn_mul8x_mont_neon,.-bn_mul8x_mont_neon
960#endif
961.byte	77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
962.align	2
963#endif  // !OPENSSL_NO_ASM && defined(OPENSSL_ARM) && defined(__ELF__)
964