ÃÀ¹ú£¬¾É½ðɽ£¬Ë¹Ì¹¸£´óѧ£¬Ò»×ù°²¾²µÄ¹«Ô¢ÄÚ¡£
ÂüÄþÕýÒÉ»óµØ¿´×ÅËûÑÛǰÎ÷×°¸ïÂĵÄÄÐÈË¡£
¡°Æ¤°£¶û£¬Äã×÷ΪaclµÄÁìÓòÖ÷ϯ֮һ£¬²»ºÃºÃ¸ÉÄãµÄ¹¤×÷£¬Åܵ½ÎÒÕâÀ´¸Éʲô£¿¡±ÂüÄþÎʵÀ¡£
¡°ÂüÄþ½ÌÊÚ£¬ÎÒÊÇÏëÈÃÄú°ïÎÒ¹ýĿһƪÂÛÎÄ¡£¡±Æ¤°£¶ûÈçʵ˵µÀ¡£
¡°Æ¤°£¶û£¬ÎÒÏëÄãÓ¦¸ÃÃ÷°×£¬ÎÒËäÈ»ÊÇaclµÄ»áÔ±£¬µ«ÎÒ²¢²»ÊǺÜÔÚÒâÕâ¸öÉí·Ý¡£¡±ÂüÄþÍ·Ò²²»»ØµØËµµÀ£º¡°¶øÇÒÄ㲢ûÓкÍÎÒԤԼʱ¼ä£¬½ñÌìÊÇÎÒºÍÎÒ·òÈËÄѵõÄÖÜÄ©£¬ÎÒ²»Ï£ÍûÈκÎÊÂÇé´òÈŵ½ÎÒºÍËýµÄÔ¼»á¡£¡±
Ƥ°£¶ûÖ»µÃÞÏÞεØÐ¦×Å£¬ÂüÄþÕâ»°²»µ«ÓÐЩָÔðËûµÄͻȻµÇÃÅ£¬¶øÇÒ»¹ÓÐЩÇáÊÓaclµÄÒâ˼¡£
È»¶ø£¬Æ¤°£¶ûÒ»µãÆ¢Æø¶¼Ã»ÓУ¬ÈçÂüÄþ¸Õ¸ÕËù˵£¬ÂüÄþÊÇÕæµÄÒ»µã²»ÔÚºõacl»áÔ±µÄÉí·Ý£¬±Ï¾¹ÂüÄþ²»µ«ÊÇacl×î¸ßÈÙÓþ»áÔ±£¬»¹ÊÇaaaiºÍacmµÈ¶à¸öÈ˹¤ÖÇÄܶ¥»á»òÕß¹ú¼Ê×éÖ¯µÄ×î¸ßÈÙÓþ»áÔ±£¬ÔÚ±ðÈËÑÛÖÐÇÀÆÆÍ·²ÅÄÜÄõ½µÄ×î¸ßÈÙÓþ»áÔ±£¬ÔÚÂüÄþÑÛÀҲ¾ÍÄÇô»ØÊ¡£
·´¶øÊÇacl·Ç³£ÔÚÒâÂüÄþÕâλ´óÀÏ£¬Õâλ´óÀϵÄÃû×Ö¹ÒÔÚaclµÄ¹ÙÍøÉÏ£¬¶¼ÄÜÈÃaclº¬½ðÁ¿Ìá¸ß²»ÉÙ¡£
ÔÙ˵ÁË£¬ÒªÊÇÈÇÂüÄþÕâλ´óÀϲ»¸ßÐËÁË£¬ÉõÖÁÂüÄþ¶¼²»ÐèÒªÌØµØ×öʲô£¬Ö»ÒªÂÛÎÄͶ¸åµÄÇãÏòÉÔ΢ÍùÆäËû»áÒéÇãбһÏ£¬ÄǶ¼¹»aclºÈÒ»ºøÁË£¬ÒªÖªµÀ£¬Ã¿ÄêÂüÄþʵÑéÊÒµÄÂÛÎÄÊǶàÉÙ¶¥»á¶¥¿¯¶¼ÇóÖ®²»µÃµÄ¡£
×ÜÖ®£¬²»ÄÜÈÇÕâλ´óÀϲ»¿ªÐÄ¡£
Ò»ÇÐΪÁËacl£¡
Ƥ°£¶û¾õµÃ×Ô¼ºÕæµÄÊǸö¾¡ÖÒÖ°ÊØµÄÁìÓòÖ÷ϯ¡£
¡°ÂüÄþ½ÌÊÚ£¬°ÝÍÐÁË£¬ÕâÆªÂÛÎÄʹØÖش󣬺ܿÉÄÜ»áºä¶¯Õû¸öÈ˹¤ÖÇÄÜÁìÓò£¬Èç¹ûÓÐÄúµÄÈ϶¨£¬aclÄDZßÒ²¸ü·ÅÐIJ»ÊÇô¡£ÔÚ¿´µ½ÕâÆªÂÛÎĵÄʱºò£¬ÎÒµÚһʱ¼ä¾ÍÏëÆðÁËÄú£¬ÒòΪÄúÔÚ×ÔÈ»ÓïÑÔ´¦ÀíÖжÔ×¢ÒâÁ¦»úÖÆµÄÔËÓ÷dz£ÇÉÃÄú»òÐíÄܸøÕâÆªÂÛÎÄÏÂÒ»¸öÖÐ¿ÏµÄÆÀ¼Û¡£¡±Æ¤°£¶û°§ÇóµÀ¡£
¡°ºÜÒź¶£¬Æ¤°£¶û£¬ÕâЩ³ÆÔÞ¶ÔÎÒ¿ÉûʲôÓ㬶øÇÒÎҺͷòÈËÂíÉϾÍÒª³ö·¢ÁË£¬»òÐíÄã¿ÉÒÔÏÂÖÜÀ´ÕÒÎÒ¡£¡±ÂüÄþÒ¡ÁËÒ¡Í·£¬ÔٶȾܾø¡£
Ƥ°£¶ûÒ»Õó¿àЦ£¬Õâλ´óÀÏÒ»ÏòÊǷdz£Îº͵쬶øÇҺܺÃ˵»°£¬Æ½³£ÉõÖÁ¶¼²»Ì«»á¾Ü¾ø±ðÈ˵ÄÒªÇ󣬵«Ö»ÒªÉæ¼°µ½Ëû·òÈ˵ÄÊÂÇéµÄʱºò£¬×ÜÏñ±äÁËÒ»¸öÈËÒ»Ñù¡£
ÉîÇéµÄÄÐÈËÕæÄѶԸ¶°¡¡£
¡°ÎҸ㲻Ã÷°×ÓÐʲôÐèÒªÎÒÆÀ¼ÛµÄ£¬ÄѵÀÄãÃÇÉó¸åÈ˳³ÆðÀ´ÁË£¿¡±ÂüÄþÕý°ÑÒ·þÒ»¼þ¼þÈûµ½ÐÐÀîÏäÀ¿ªÍæÐ¦°ãµØËµµÀ¡£
Ïë²»µ½Õâ¾ä»°ÕýºÃ´ÁÖÐÆ¤°£¶ûµÄÍ´´¦£º¡°¿ì´òÆðÀ´ÁË¡£¡±
¡°Õâô¿äÕÅ£¿¡±ÂüÄþ²ïÒìµÀ¡£
aclËäȻҲÊDzÉÓÃäÉóÖÆ¶È£¬µ«±Ï¾¹²»ÊÇÏñaaaiÄÇÑùÁ½ÂÖäÉ󣬻¹ÓиöÁìÓòÖ÷ϯÕâÖÖÈ󻬼ÁÒ»ÑùµÄ´æÔÚºÍÉó¸åÈËÃÇÒ»ÆðÌÖÂÛ£¬Ôõô»áµ½ÕâÖֵز½¡£
¡°²»¹ý¾ÍËãÌìËúÏÂÀ´ÁË£¬Ò²²»ÄÜ×èÖ¹ÎÒºÍÎÒ·òÈ˵ÄÔ¼»á¡£¡±ÂüÄþ¼ÌÐøÊÕʰ×ÅÐÐÀî¡£
¡°ÂüÄþ½ÌÊÚ£¬ÎÒÏòÄú±£Ö¤£¬²»»áµ¢ÎóÄúºÍÄú·òÈ˵ÄÔ¼»á£¬ÄúÖ»Òª¿´ÉÏÁ½ÑÛ£¬Îå·ÖÖӾͺã¬ÕâÆªÂÛÎĵÄÒâÒåÖØ´ó£¬ºÜ¿ÉÄÜ»áÓ°ÏìÈ˹¤ÖÇÄÜÁìÓòµÄ×ßÏò°¡¡£ÏÈÉú£¬ÎÒ»¹¼ÇµÃÄúÔÚǰÄêµÄѧÊõ»áÒéÉÏ˵µÄ£¬È˹¤ÖÇÄÜÊÇÈËÀà¿Æ¼¼µÄÒ»¸ö»Ê¹Ú£¬¶ø×¢ÒâÁ¦»úÖÆÊǻʹÚÉϵÄÒ»¿Åè貵ı¦Ê¯£¬È»¶øÖÁ½ñΪֹ»¹ÎÞÈËÄܼøÉÍÕâ¿Å±¦Ê¯µÄÃÀ¡¡µ«ÏÖÔÚÕâ¿Å±¦Ê¯¾ÍÔÚÕâÀ¾ÍÔÚÄúÊÖÀï°¡¡£¡±
Ƥ°£¶û²»ËÀÐĵϰÈÃÂüÄþµÄ¶¯×÷Ò»¶Ù£¬ËûÔçÌý˵aclµÄÁìÓòÖ÷ϯһ¸ö¸öÄÜ˵»áµÀ£¬½ñÌì×ÜËãÊÇÌå»áµ½ÁË¡£
Ƥ°£¶û³äÂúÆÚ´ýµØ¿´×ÅÂüÄþ£¬¶øÂüÄþÔòÒ»Á³¾À½á¡£
¡°ÂüÄþ½ÌÊÚ£¬Ð´ÕâÆªÂÛÎĵÄÊÇelmoµÄ×÷Õߣ¬fei su¡£¡±Æ¤°£¶û¿´ÂüÄþÈÔÈ»ÓÌÔ¥²»¾ö£¬ÓÖÌíÁËÒ»°Ñ»ð¡£
ÂüÄþÌýµ½Õâ¸öÃû×Ö£¬Ã¼Í·Ò»Ìô£¬¶¢×ÅÆ¤°£¶ûµÄÑÛ¾¦£¬Ëû³ÁĬÁ˺ÃÒ»»á¶ù£¬×îÖÕ³¤Ì¾Ò»¿ÚÆø£¬µÀ£º¡°¾ÍÎå·ÖÖÓ¡£¡±
¡°ÎÒÏòÄú±£Ö¤£¬ÏÈÉú£¡¡±Æ¤°£¶ûЦ×ŰÑÂÛÎĵÝÁ˹ýÈ¥¡£
¡°attention is all you need£¿¡±
¿´µ½Õâ¸ö±êÌ⣬ÂüÄþ¾ÍÊÇÒ»¾ª¡£
ËûÔÚ¿´µ½Õâ¸öÌâÄ¿µÄ˲¼ä±ã±»ÎüÒýסÁË£¬ÕâÖÖÓÐЩ¿ñÍýµÄ̬¶È£¬²»À¢ÊÇÄǸö¹¹½¨³öelmoµÄÌì²Å¡£
ÂüÄþÒ»µãÒ²²»¾õµÃÕâ¸öÓÐЩ¸ß°ÁµÄÂÛÎÄÌâÄ¿ÓÐʲôÎÊÌ⣬Ïà·´£¬Ëû¾õµÃÌì²Å¾Í¸ÃÈç´Ë£¬²»³Ã×ÅÄêÇáµÄʱºò¿ñÍý£¬ÄѵÀµÈÀÏÁËÒԺ󱯴ºÉËÇ
¡°¹¹½¨ÐµÄÄ£Ð͵¥Ôª£¿¡±
¡°½öÓÃ×¢ÒâÁ¦»úÖÆ£¿¡±
ÂüÄþ¸Õ¶ÁÍêÂÛÎĸÅÒª£¬±ã¿ªÊ¼¾ªºô£¬ÕâÊǶàÉÙÈ˳¢ÊÔ¹ý»òÕýÔÚ³¢ÊÔÈ´ÎÞ·¨³É¹¦µÄÊÂÇé¡£
Õâ¸ö±¾¿ÆÉú¡¡²½×ÓÊÇ·ñÂõµÄÌ«´óÁË£¿
ÂüÄþ²»½ûÓÐЩΪËշɵ£ÓÇ£¬Ìì²ÅÇÒ¿ñÍýÊǺÃÊ£¬µ«¿ñÍý²»´ú±í³ç£¬Ñ§Êõ»¹ÊÇÒªÒ»²½Ò»²½À´µÄ¡£
µ«ºÜ¿ì£¬Ëû¾ÍÔÙҲûÓÐÕâÖÖÏë·¨ÁË¡£
Ô½ÍùÏ¿´ËûÔ½Ðľª£¬´ó¸Å¹ýÁËÊ®·ÖÖÓ£¬ÂüÄþ°ÑÐÐÀîÏä·Åµ½Ò»ÅÔ£¬Ã¼Í·½ôËø×Å£¬Ò»¶¯²»¶¯µØ¶¢×ÅÕâÆªÂÛÎÄ¡£
ÓÃλÖÃÏòÁ¿ÒýÈëλÖÃÐÅÏ¢ÒԴ˽â¾öÎÞÐòÎÊÌ⣿
¶àÍ·×¢ÒâÁ¦»úÖÆ½â¾öÐÅÏ¢µ¥Ò»ÎÊÌ⣿
Ê®·Ö´óµ¨¶øÇÉÃîµÄÏë·¨£¡
ÂüÄþ·¢ÏÖËû¸ù±¾ÕÒ²»³öʲô¿ÉÒԸĽøµÄµØ·½£¬Ó²ÒªËµµÄ»°£¬ÄǾÍÊÇÕâ´ÎµÄÂÛÎÄ£¬¶ÁÆðÀ´²»ÊǺÜ˳³©£¬ÓÐһЩÓ﷨覴ã¬±ÈÆðÉϴεÄelmoÄÇÆªÂÛÎÄ£¬¸Ð¾õÓ¢ÎÄд×÷ˮƽϽµÁËһЩ¡£
µ±È»£¬ÕâЩ¶¼ÊÇ¿ÉÒÔºöÂÔµÄСÎÊÌâ¡£
ÂüÄþ¼ÌÐøÍùÏ¿´£¬×÷Õ߸ø³öÁËÕâ¸öÄ£ÐÍÔÚ»úÆ÷·ÒëÉÏµÄÆÀ·ÖºÍËùÓÃʱ¼ä£¬ÐÔÄÜÉÏÔ¶Ô¶³¬³öÁËÏÖÔÚËùÓеÄÖ÷Á÷Ä£ÐÍ¡£
ÔÙÏÂÃæÒ»²¿·Ö»¹ÓÐ×÷Õ߸½´øµÄÀíÂÛÖ¤Ã÷£¬Æóͼͨ¹ýÊýѧµÄ½Ç¶È£¬À´½âÊÍÕâÑù¹¹½¨Ä£Ð͵ÄÒÀ¾Ý¡£
ÔÚÉî¶ÈѧϰÖУ¬´ó¶àÊýÈ˶¼½²²»ÇåÔÀí£¬±Ï¾¹Éî¶ÈѧϰÊǸöºÚºÐ¡£
µ«ÕâÆªÂÛÎÄÈ´ÄÜ´ó¸Å½²Çå³þÔÀí£¬ËäÈ»ÔÚºÜ¶àµØ·½»¹ÊÇ´æÔÚ¾ÑéÐÔµÄÅжϣ¬µ«±ÈÆðÉî¶ÈѧϰÕâ¸öÁìÓòµÄÆäËûÂÛÎÄ£¬ÒѾºÃºÜ¶àÁË¡£
ÉϴεÄelmoÒ²ÊÇ£¬Õâ¸öССµÄ±¾¿ÆÉúºÃÏñ×ÜÊǺܽÏÕæ£¬¸øÈËÒ»ÖַǵðѵÀÀí½²Çå³þ²»¿ÉµÄ¸Ð¾õ¡£
¶øÇÒ¸üÓÐȤµÄÊÇ£¬ÉϴΰÑÄ£ÐÍÈ¡ÃûΪ°£ÃÉ£¬Õâ´ÎÈ¡ÃûΪ±äÐνð¸Õ¡¡
ÓÐÒâ˼£¬Õâ¸ö×÷ÕßÕæµÄºÜÓÐÒâ˼¡£
ÂüÄþ²»½û»áÐÄһЦ¡£
¡°ÂüÄþ½ÌÊÚ£¬ÈçºÎ£¿¡±
Ƥ°£¶û´Ó¸Õ²Å¿ªÊ¼¾ÍÒ»¶¯²»¸Ò¶¯µØÕ¾×Å£¬½Å¶¼ÓÐЩ½©Ó²ÁË¡£
µÚÆßÊ®¾ÅÕ ÂÛÎÄÖ®Õù(1/2),µã»÷ÏÂÒ»Ò³¼ÌÐøÔĶÁ