最初にやること | Sample WordPress

<?php wp_head(); ?>
は、head内で必要なタグなのですが、余計なソースを吐き出すやっかいものです。

て以下をコピーして
/wp-content/themes/xxxxxx/　　テンプレートフォルダにあるfunction,phpの一番下に以下をコピペしてください。

// php wp_head(); 不要タグ削除記述部分

remove_action('wp_head', 'rsd_link'); // Really Simple Discoveryリンクの削除
remove_action('wp_head', 'wlwmanifest_link'); // Windows Live Writerの削除
remove_action('wp_head', 'wp_generator'); // WPのバージョン削除
remove_action('wp_head', 'rel_canonical');
remove_action('wp_head', 'index_rel_link' ); // linkタグの削除
remove_action('wp_head', 'adjacent_posts_rel_link_wp_head'); // link rel='next...'関連の削除
remove_action('wp_head', 'parent_post_rel_link', 10, 0 ); // link rel='next...'関連の削除
remove_action('wp_head', 'start_post_rel_link', 10, 0 ); // link rel='next...'関連の削除
remove_action('wp_head', 'wp_shortlink_wp_head'); // ショートリンクの削除
remove_action( 'wp_head', 'feed_links', 2 );
remove_action('wp_head', 'feed_links_extra',3 ); // コメントフィードの削除
remove_action( 'wp_head','wp_print_styles', 8); // CSSの削除

feed_linksはいるって言われるかもしれません。

その他こんなのや

/* ヘッダー＆背景変更タグ削除 */
add_action( 'after_setup_theme','remove_twentyeleven_options', 100 );
function remove_twentyeleven_options() {
remove_custom_background();
remove_custom_image_header();
remove_action('admin_menu','twentyeleven_theme_options_add_page');
}

こんなのも必要に応じて追加してみてください。

/* インラインスタイル削除 */
function remove_recent_comments_style() {
global $wp_widget_factory;
remove_action( 'wp_head', array( $wp_widget_factory->widgets['WP_Widget_Recent_Comments'], 'recent_comments_style' ) );
}
add_action( 'widgets_init', 'remove_recent_comments_style' );

いるものは、「//」コメントアウトします。

追加しているタグは以下のものなので
add_をremove_に変えると削除出るはずです。

add_action( 'wp_head',             'wp_enqueue_scripts',              1     );
add_action( 'wp_head',             'feed_links',                      2     );
add_action( 'wp_head',             'feed_links_extra',                3     );
add_action( 'wp_head',             'rsd_link'                               );
add_action( 'wp_head',             'wlwmanifest_link'                       );
add_action( 'wp_head',             'adjacent_posts_rel_link_wp_head', 10, 0 );
add_action( 'wp_head',             'locale_stylesheet'                      );
add_action( 'publish_future_post', 'check_and_publish_future_post',   10, 1 );
add_action( 'wp_head',             'noindex',                          1    );
add_action( 'wp_head',             'wp_print_styles',                  8    );
add_action( 'wp_head',             'wp_print_head_scripts',            9    );
add_action( 'wp_head',             'wp_generator'                           );
add_action( 'wp_head',             'rel_canonical'                          );
add_action( 'wp_footer',           'wp_print_footer_scripts',         20    );
add_action( 'wp_head',             'wp_shortlink_wp_head',            10, 0 );
add_action( 'template_redirect',   'wp_shortlink_header',             11, 0 );
add_action( 'wp_print_footer_scripts', '_wp_footer_scripts'                 );
add_action( 'init',                'check_theme_switched',            99    );
add_action( 'after_switch_theme',  '_wp_sidebars_changed'                   );

以下は何を消したのか解説